Čím se MMLU liší od MMLU-Pro?

MMLU (Massive Multitask Language Understanding) je soubor testů k hodnocení schopnosti modelů porozumět a řešit úkoly z různých oblastí znalostí.

MMLU-Pro je rozšířená nebo vylepšená verze MMLU, která může zahrnovat složitější úkoly, další kategorie nebo vylepšené hodnotící metodiky, zaměřené na důkladnější testování schopností modelů.

Hlavní rozdíly:

• MMLU-Pro obvykle obsahuje širší nebo specializovanější sadu otázek.
• Může obsahovat přísnější kritéria hodnocení.
• Je určena pro pokročilejší hodnocení modelů, zejména pro výzkumné účely.

Přesné detaily závisí na konkrétní implementaci a publikaci, proto je vhodné konzultovat oficiální dokumentaci nebo články popisující tyto sady.