Jailbreak ve dolaylı istem enjeksiyonu nedir?

Yazılım modelleri bağlamında jailbreak, modelin yerleşik kısıtlamalarını veya filtrelerini aşmak için kullanılan bir yöntemdir ve istenmeyen veya yasaklanmış eylemleri gerçekleştirmesini sağlar. Örneğin, bir kullanıcı, modelin gizli bilgileri ifşa etmesini veya zararlı kod üretmesini sağlayacak şekilde talepte bulunabilir, yerleşik kısıtlamalara rağmen.

Dolaylı prompt enjeksiyonu, yapay zeka modellerine yönelik saldırıların bir çeşididir; burada zararlı giriş doğrudan talebe değil, modelin dış kaynaklardan (web sayfaları, belgeler vb.) okuduğu veriler gibi dolaylı kanallar aracılığıyla enjekte edilir. Bu sayede, saldırgan modelle doğrudan etkileşime girmeden davranışını etkileyebilir.

Her iki teknik de adversarial saldırılar kategorisine aittir ve yapay zekanın kullanımı sırasında güvenlik ve gizliliğin sağlanması için önemlidir.