Context uzunluğu nedir ve neden genişletilmesi zordur?

Bağlam uzunluğu (bağlam uzunluğu), büyük dil modeli (LLM) tarafından metin oluşturma veya analiz sırasında aynı anda dikkate alınabilecek maksimum token (kelime veya kelime parçaları) sayısıdır.

Bağlam uzunluğu sınırı, girişin uzunluğu ile karekök büyüyen dikkat hesaplama karmaşıklığına sahip transformer mimarisiyle ilgilidir. Bu, şunlara yol açar:

• Bağlam uzunluğu arttıkça yüksek bellek ve zaman maliyetleri.
• Donanım kaynakları üzerinde sınırlamalar.

Bağlam uzunluğunu genişletmek zordur çünkü:

• Çok daha fazla hesaplama kaynağı gerektirir.
• Model mimarisini değiştirmek veya özel teknikler kullanmak gerekir (örneğin, bağlam sıkıştırma, kaydırmalı pencere, yinelenen mekanizmalar).

Bu nedenle, bağlam uzunluğu, daha fazla bilgi dikkate alma yeteneği ile performans sınırlamaları arasında bir uzlaşmadır.