Müasir decoder-only LLM-lərdə (LLaMA, Mistral, Qwen) memarlıq tendensiyaları hansılardır?

Müasir decoder-only Large Language Models (LLMs) kimi LLaMA, Mistral, Qwen, bir neçə arxitektura tendensiyalarını izləyir:

• Effektivliyi qoruyaraq parametrların artırılması: modellər ölçülərini artırır, lakin daha effektiv öyrənmə və çıxış üçün optimallaşdırılır.

• Effektiv diqqət mexanizmlərindən istifadə: hesablama mürəkkəbliyini azaltmaq üçün self-attention optimizasiyalarını tətbiq edir.

• Modulluluq və qarışıq arxitekturalar: bəzən müxtəlif qat növlərini birləşdirir və ya xüsusi bloklardan istifadə edir.

• Daha az məlumatla öyrənmə və daha yaxşı ümumiləşdirmə üzərində fokus: təkmilləşdirilmiş pre-öyrənmə metodları və tənzimləmə ilə.

• Xüsusi tapşırıqlar və hardware platformaları üçün optimallaşdırma: modellər real tətbiqlərin tələblərinə və mövcud resurslara uyğunlaşır.

Bu tendensiyalar mətnin keyfiyyətini artırmağa, öyrənmə xərclərini azaltmağa və miqyaslandırmanı yaxşılaşdırmağa yönəlib.