Bir modelin halüsinasyon yaptığını ve bağlamı kullanmadığını nasıl tespit edebilirsiniz?

Bir modelin halüsinasyon yapıp yapmadığını ve bağlamı kullanıp kullanmadığını tespit etmek için:

• Sağlanan bağlamdan belirli gerçekleri gerektiren sorulara verilen cevapları kontrol edin. Model, bağlamda olmayan gerçeklerle cevap veriyorsa, bu bir halüsinasyon belirtisidir.
• Doğruluk doğrulama yöntemleri kullanın, örneğin cevapları bilgi tabanı veya kaynaklarla karşılaştırın.
• RAG (Retrieval-Augmented Generation) sistemlerinde, modelin bağlamdan ilgili belgelere atıfta bulunup bulunmadığını kontrol edebilirsiniz.
• Modelin günlüklerini ve iç dikkat mekanizmalarını analiz ederek hangi bağlam parçalarını kullandığını anlayın.

Örnek: Model, bağlamda olmayan bir olayın tarihine ilişkin soruya yanıt veriyorsa ve belirli bir tarih söylüyorsa, bu bir halüsinasyon olabilir.