Čo je paralelizmus v inferencii?

Paralelizmus v inferencii je súčasné vykonávanie viacerých operácií alebo spracovanie viacerých požiadaviek modelu strojového učenia s cieľom urýchliť výstupy.

Napríklad, ak máte neurónovú sieť, ktorá musí spracovať veľké množstvo vstupných dát, paralelizmus umožňuje:

• Spracovávať viacero požiadaviek súčasne (hromadná spracovanie, batch inference).
• Paralelizovať výpočty v rámci samotného modelu pomocou viacerých jadier CPU alebo GPU.

Toto zvyšuje priepustnosť systému a znižuje oneskorenia.

Príklad: pri použití TensorFlow alebo PyTorch môžete odoslať dávky dát, aby model robil predpovede pre viacero príkladov naraz, čo je efektívnejšie ako robiť to jedno po druhom.

# Batch inference v PyTorch
outputs = model(batch_inputs)  # batch_inputs je tensor s viacerými príkladmi

Tiež je možné paralelizovať inference na úrovni viacerých vlákien alebo procesov, ak model a infraštruktúra to podporujú.