Параллелизми пайплайн бо параллелизми тензор чӣ фарқ дорад?

Пайплайн параллелизм ва тензор параллелизм ду роҳи барои омӯзиши тақсимшудаи шабакаҳои нейронӣ дар чанд GPU мебошад.

Пайплайн параллелизм моделро ба марҳилаҳои пайдарпай (қатламҳо ё гурӯҳҳои қатламҳо) тақсим мекунад, ки ҳар яке дар дастгоҳи алоҳида иҷро мешавад. Маълумотҳо аз ин марҳилаҳо пайдарпай мегузаранд, монанди дар хатти истеҳсолӣ. Ин имкон медиҳад, ки чанд боча ҳамзамон коркард шаванд, аммо дар марҳилаҳои гуногуни модели, ки вақти беамалӣ шудани GPU-ро кам мекунад.

Тензор параллелизм ҳисобкуниҳоро дар дохили як қабат байни чанд дастгоҳ тақсим мекунад. Масалан, амалҳои матрицавӣ ба қисмҳо тақсим мешаванд, ва ҳар қисм дар GPU-и алоҳида дар параллел ҳисоб карда мешавад. Ин барои қабатҳои хеле калон, ки дар хотираи як дастгоҳ ҷой намегиранд, муфид аст.

Хулоса:

• Пайплайн параллелизм — параллелизм дар сатҳи қабатҳо, коркарди пайдарпайи маълумот бо пайплайн.
• Тензор параллелизм — параллелизм дар дохили қабат, тақсимоти ҳисобкуниҳо ба тензорҳо.

Ин усулҳо аксар вақт барои масштабкунии муассири омӯзиш дар якҷоягӣ истифода мешаванд.