Prompt Injection ve LLM Güvenliği

Dil modellerini uygulamalara entegre etmek, beraberinde yeni güvenlik riskleri getiriyor. Prompt injection, kötü niyetli girdilerin modeli yanlış davranışa yönlendirmesidir.

Prompt injection nedir?

Bir saldırgan, kullanıcı girdisine gizlenmiş talimatlar ekleyerek modelin sistem talimatlarını aşmasını sağlayabilir. Bu, veri sızıntısına veya yetkisiz işlemlere yol açabilir.

Korunma yöntemleri

Girdi doğrulama, çıktı filtreleme, ayrıcalıklı işlemlerde insan onayı ve modeli izole etme, temel savunma katmanlarıdır.

AVAI, LLM tabanlı sistemlerde güvenliği ilk günden mimarinin parçası olarak ele alır.