Co je multi-query pozornost a kde se používá?
sobes.tech AI
Odpověď od AI
Multi-dotazová pozornost je modifikace mechanismu pozornosti v transformerech, kde je několik klíčů (keys) a hodnot (values) sloučeno do jednoho společného souboru, a pro každý dotaz (query) je použit samostatný soubor dotazů. To umožňuje výrazně snížit množství paměti a výpočetní náklady, zejména při práci s dlouhými sekvencemi, přičemž si zachovává kvalitu modelu.
Hlavní použití multi-dotazové pozornosti je u velkých jazykových modelů a transformerů, kde je důležitá efektivita a škálovatelnost, například v GPT-4 a dalších moderních architekturách. Tento přístup pomáhá urychlit inference a snížit požadavky na zdroje bez podstatné ztráty přesnosti.
Příklad: místo toho, aby měly jednotlivé hlavy pozornosti (multi-head attention) samostatné klíče a hodnoty, všechny hlavy používají společný soubor klíčů a hodnot, zatímco dotazy zůstávají individuální.