Uzun süreli çalışmadan sonra ajanın bağlamı yavaş yavaş dolmaya başlarsa, ne yapılabilir?
Senior
152
Machine Learning / AI
3608
0
LangGraph'ta API üzerinden alınan büyük bilgileri nasıl saklarım, arayüzde kullanırım ama LLM bağlamına gereksiz veriler aktarmadan? Örneğin, LLM sadece uzmanların ID ve isimlerini görür, araç ise onların takvimini ve ek verileri alır.
Senior
150
Olay izleme/araştırma sisteminin çalışma kalitesi nasıl değerlendirilebilir?
Senior
149
147
Genel olarak ne yapmak istersin?
Middle
147
Pratikte belirli bir alanda bir modelin sadece kısa bir dizi dize kimliği değerleri ve başka semboller olmadan nasıl üreteceği?
Senior
146
Bağlamda bilgi yoksa yanıtlamaması için LLM nasıl eğitilir?
Senior
146
Dağıtılmış bir ajan çok yavaş yanıt veriyorsa veya LLM'yi barındırmak için yeterli bellek yoksa ne yapılabilir?
Senior
144
142
Kod seviyesinde yapılandırılmış çıktı için model şemasını nasıl iletebilirsiniz?
Senior
141
KV önbelleği hakkında daha fazla bilgi verin: nasıl çalıştığı ve nereden geldiği, Transformer mimarisinden başlayarak.
Senior
140
Pull isteği işleme servisini nasıl uyguladınız ve dağıttınız?
Senior
139
Orkestratör, alt ajans araçlarının çağrı sonuçlarını mı yoksa sadece alt ajansın kendisinin nihai çıktılarını mı görüyor?
Senior
138
Modellerin ayarında kimler yer aldı?
Middle
137
İnferansı hızlandırmak veya en azından modeli 12 GB VRAM'li RTX 3090'da barındırmak için kullanılabilecek başka hangi optimizasyon yöntemleri var?
Senior
135
LLM-as-a-Judge'nin kalitenin doğru değerlendirdiğini nasıl kontrol edilir ve nasıl kalibre edilir?
Senior
133
Orkestratör nasıl yapılandırılmıştır: hangi çerçeve ve mimari kullanılıyor, ne yapıyor, tek aşamalı mı yoksa cevap vermeden önce birkaç kez düşünebiliyor mu?
Senior
132
Örneğin, yapılandırılmış çıktı kullanırken nasıl yapılandırılmış, formalize edilmiş bir yanıt alınır?
Senior
132
LLM'de yeni token örnekleme seçenekleri nelerdir?
Senior
130
Mevcut ekibinizin yapısı nedir?
Middle
125