V jakých úlohách pomáhá CoT a v jakých kazí kvalitu?

Chain of Thought (CoT) — je metoda, při které model postupně generuje mezilehlé úvahy před odpovědí.

Kde CoT pomáhá:

• Úkoly vyžadující vícestupňové logické závěry, například aritmetika, logické problémy, uvažování.
• Složité otázky, kde je důležité vysvětlit myšlenkový proces, nikoli jen poskytnout odpověď.
• Zlepšení interpretovatelnosti modelů, protože jsou vidět mezilehlé kroky.

Kde může CoT zhoršit kvalitu:

• Jednoduché úkoly, kde zbytečné úvahy pouze zpomalují a mohou zavádět chyby.
• Úkoly, kde má model tendenci dělat chyby v uvažování — generování nesprávných mezilehlých kroků vede k nesprávné odpovědi.
• Při časových nebo zdrojových omezeních, kdy není praktické generovat dlouhé řetězce uvažování.

Proto je CoT efektivní pro složité, vícestupňové úkoly, ale může snižovat kvalitu a efektivitu v jednoduchých nebo chybám náchylných scénářích.