Mi az a párhuzamosság az inferenciában?

Az inferenciában a párhuzamosság több művelet egyidejű végrehajtását vagy több kérés feldolgozását jelenti egy gépi tanulási modell esetében a kimenet gyorsítása érdekében.

Például, ha van egy neurális hálózatod, amely sok bemeneti adatot kell feldolgoznia, a párhuzamosság lehetővé teszi:

• Több kérés egyidejű feldolgozását (csomagolt feldolgozás, csomagolt inferencia).
• A számítások párhuzamosítását a modell belsejében, több CPU vagy GPU mag használatával.

Ez növeli a rendszer átviteli képességét és csökkenti a késleltetést.

Példa: TensorFlow vagy PyTorch használatával adatcsomagokat küldhetsz, hogy a modell több példára egyszerre jósoljon, ami hatékonyabb, mint egyenként.

# Csomagolt inferencia PyTorch-ben
outputs = model(batch_inputs)  # a batch_inputs egy tensor több példával

Szintén lehetőség van az inferencia párhuzamosítására több szálon vagy folyamatban, ha a modell és az infrastruktúra támogatja ezt.