Kas ir selektīva pārskatīšana lielajos modeļos?

Selekcīvā pārskatīšana ir pieeja lielu modeļu apmācībā, kurā tiek pārskatītas (pārlasītas) tikai tās modeļa daļas vai aprēķini, kas patiešām ir mainījušies vai ir atkarīgi no mainītiem datiem, nevis no jauna aprēķināt visu modeli.

Distribētā mācīšanās un GPU izmantošanas kontekstā tas ļauj:

• Samazināt apmācības laiku, samazinot aprēķinu apjomu.
• Efektīvāk izmantot resursus, atjauninot tikai nepieciešamos parametrus vai slāņus.
• Uzlabot mērogojamību, strādājot ar ļoti lieliem modeļiem.

Piemēram, ja modelī ir mainījies tikai neliels parametru kopums vai daļa ievades datu, selektīvā pārskatīšana ļaus atjaunināt tikai ar tiem saistītos aprēķinus, neietekmējot pārējo modeli.

Tas ir īpaši svarīgi, izmantojot sarežģītus aprēķinu grafikus un distribuētu mācīšanos, kur pilnīga rekonstrukcija un pārskatīšana var būt ļoti dārga laika un resursu ziņā.