Mi az a figyelem?

Figyelem — ez egy mechanizmus a neurális hálózatokban, amely lehetővé teszi a modell számára, hogy az bemeneti adatok legfontosabb részeire összpontosítson a feldolgozás során. A hagyományos modellekkel ellentétben, amelyek az összes információt egyenlően kezelik, a figyelem dinamikusan súlyozza a különböző elemek hozzájárulását, javítva az adatok megértésének és generálásának minőségét.

Például, a természetes nyelvfeldolgozási feladatokban, a figyelem segít a modellnek figyelembe venni a szavak kontextusát, kiemelve a releváns szavakat fordítás vagy kérdések megválaszolása során.

Egyszerű figyelem példája (skálázott pontszorzat figyelem) pszeudokódban:

# Q, K, V — kérés, kulcs és érték mátrixok
scores = Q @ K.T / sqrt(d_k)  # hasonlóság számítása
weights = softmax(scores)    # súlyok normalizálása
output = weights @ V          # értékek súlyozott összege

A figyelem mechanizmusa a transzformer architektúrák alapja, amelyeket széles körben használnak a modern AI keretrendszerekben.