Bir Softonic yazısı, yapay zeka güvenliği için dostane ateş anını ortaya koymaktadır: bir araştırma ekibi, savunucular olarak sunulan özerk ajanların kendilerinin saldırı başlatmaya kandırılabileceğini göstermiştir. Saldırı yüzeyi istem enjeksiyonudur ve hedef, model çıktısının araçlar, dosyalar veya ağ hakkında kararlar almasına izin veren herhangi bir sistemdir. Masaüstü üzerinde istem enjeksiyonu savunması için en iyi uygulamalar, bu yüzeyi birinci sınıf olarak ele alırlar: kendi istemlerimizi kırmızı takım olarak değerlendirmemize, güvenilmeyen girdileri bir modele ulaşmadan önce filtrelemesine ve araç çağrılarını ajan tarafından çıktığı anda korumamıza izin verirler.
2026’da masaüstü istem enjeksiyonu savunması için Windows, macOS ve Linux üzerinde yedi uygulama ve kütüphaneyi test ettik. Bazıları test paketleridir (istemlerimizi bilinen enjeksiyon yükleri karşısında kırmızı takım olarak değerlendir), bazıları çalışma zamanı güvenlik önlemleridir (isteklerde girdileri ve çıktıları filtrele), bazıları ise politika motorlarıdır (araç çağrılarına izin ver veya reddet). LLM boru hattında savunmanın nerede oturması gerektiğine göre seç.
İstem enjeksiyonu savunması uygulamasında nelere bakılmalı
İstem enjeksiyonu savunması, spam filtresinden daha katmanlıdır. Bunu iyi yapan uygulamalar birkaç özelliği paylaşırlar:
- En az OWASP LLM Top 10 kapsaması, doğrudan ve dolaylı istem enjeksiyonu, güvensiz çıktı işleme ve eğitim verisi zehirlenmesi dahil.
- Hem test (çevrimdışı kırmızı takım) hem de çalışma zamanı uygulama (satır içi güvenlik önlemleri) desteği. Ne yalnız başına yeterlidir.
- Model-agnostik. Yalnızca OpenAI’nin modelleriyle çalışan bir savunma, Claude, Gemini veya açık kaynak modelleri çalıştıran ekiplere yardımcı olmaz.
- Araç çağrılarını filtreleme yeteneği, sadece metni değil. “Lütfen bu kabuk komutunu çalıştır” yazan bir güvenlik önlemi faydasızdır.
- Açık, incelenebilir kural kümeleri. Denetleyemediğimiz kapalı bir sınıflandırıcı, daha az opak yapmamız gereken bir zincirde siyah bir kutudur.
- Gerçek trafik için yeterince hızlı. 300 ms istek üzerinde 500 ms güvenlik önlemi, etkileşimli uygulamalar için başlangıç değildir.
Hızlı karşılaştırma
| Uygulama | En iyi | Platformlar | Ücretsiz plan | Aylık başlangıç fiyatı | Derecelendirme |
|---|---|---|---|---|---|
| Promptfoo | İstem değerlendirmesi ve kırmızı takım CLI | Windows, macOS, Linux | Tamamen ücretsiz, açık kaynak | Kurumsal destek | GitHub üst seviye |
| Garak | NVIDIA’dan LLM güvenlik açığı tarayıcısı | Windows, macOS, Linux | Tamamen ücretsiz, açık kaynak | Ücretsiz | NVIDIA tarafından desteklenen |
| Rebuff | Çok katmanlı istem enjeksiyonu dedektörü | Windows, macOS, Linux | Tamamen ücretsiz, açık kaynak | Ücretsiz | Komunite |
| Lakera Guard | İstem enjeksiyonu sınıflandırıcısı ile yönetilen güvenlik önlemi | API + SDK’lar | Ücretsiz seviye | Mütevazı yıllık abonelik | 4.7 / 5 |
| NeMo Guardrails | NVIDIA’nın programlanabilir güvenlik önlemleri DSL | Windows, macOS, Linux | Tamamen ücretsiz, açık kaynak | Ücretsiz | NVIDIA tarafından desteklenen |
| PyRIT | Microsoft’un Python risk belirleme aracı | Windows, macOS, Linux | Tamamen ücretsiz, açık kaynak | Ücretsiz | Microsoft tarafından desteklenen |
| LLM Guard | Açık kaynak giriş ve çıktı tarayıcısı | Windows, macOS, Linux | Tamamen ücretsiz, açık kaynak | Kurumsal destek | Protect AI projesi |
OpenAI’nin Moderation uç noktası, OpenAI yığınında zaten olan ekipler için referans olarak seçme rehberine dahil edilmiştir.
Uygulamalar
1. Promptfoo
Promptfoo, istemlerini CI’nin bir parçası olarak kırmızı takım olarak değerlendirmek isteyen kod-merkezli bir ekip için seçimdir. CLI, bir istemi yüzlerce düşmanca yük aracılığıyla çalıştırır, çıktıları yazdığımız iddialar karşısında puanlar ve hangi saldırı kategorisinin (jailbreak, enjeksiyon, KŞB sızıntısı, veri sızdırılması) başarılı olduğunu rapor eder. 2026 sürümleri, “her gecede bir kez bilinen kötü yükü çalıştır” işini tek komutlu bir işe dönüştüren bir OWASP LLM Top 10 ön ayarı eklemiştir.
Eksik olduğu yeri: bu bir test aracıdır. Promptfoo çalışma zamanında istek yolunda oturmaz; CI’de hangi istemler bozulduğunu bize söyler. Bir çalışma zamanı güvenlik önlemiyle birleştirin.
Fiyatlandırma:
- Ücretsiz: tamamen ücretsiz, açık kaynak
- Ücretli: kurumsal destek seviyesi
Platformlar: Windows, macOS, Linux, Docker
İndir: Promptfoo
Sonuç olarak: istem kırmızı takımını CI’ye koymak isteyen bir ekip için mantıklı başlangıç noktası.
2. Garak
Garak, NVIDIA’nın LLM güvenlik açığı tarayıcısıdır ve kapsamı Promptfoo’nunkinden daha geniştir. Bir dizi sonda (goodside, dan, promptinject, encoding, malwaregen, xss) bir modele karşı çalıştırır ve hangi sondaların başarılı olduğunu rapor eder. Kendi kendini barındıran açık kaynak bir modeli bilinen saldırılar dizisine karşı test eden herkes için, 2026’da referans araçtır.
Eksik olduğu yeri: taramaları çalıştırmak uzun zaman alır. Bazı sondalar daha gürültülüdür ve tehdit modelimize uyması için ayarlama gerekir.
Fiyatlandırma:
- Ücretsiz: tamamen ücretsiz, açık kaynak
- Ücretli: ücretli seviye yok
Platformlar: Windows, macOS, Linux
İndir: Garak
Sonuç olarak: kendi kendini barındıran bir modeli her bilinen saldırı kategorisine karşı sertleştirmek için seçim.
3. Rebuff
Rebuff, çok katmanlı bir istem enjeksiyonu dedektörüdür: sezgisel bir filtre, bilinen kötü yüklere karşı vektör deposu araması, LLM tabanlı bir sınıflandırıcı ve bir modele gizli sızdırması söylendiğinde yakalayan bir kanarya belirteci dedektörü. Çalışma zamanı performansı etkileşimli uygulamalar için yeterince hızlıdır ve her katman isteğe bağlıdır, böylece yanlış pozitif toleransı için ayarlayabiliriz.
Eksik olduğu yeri: vektör deposunun faydalı olması için kendi bilinen kötü yükleriyle tohumlanması gerekir; sevk edilen küme yaygın enjeksiyonları kapsar ancak alana özgü saldırıları değil. Bazı katmanlar bir LLM çağrısına bağlıdır, bu da gecikme ekler.
Fiyatlandırma:
- Ücretsiz: tamamen ücretsiz, açık kaynak
- Ücretli: ücretli seviye yok
Platformlar: Python, TypeScript, Node veya Python’un çalıştığı herhangi bir yerde çalışır
İndir: Rebuff
Sonuç olarak: olgun çok katmanlı bir tasarımla çalışma zamanı istem enjeksiyonu filtrelemesi için seçim.
4. Lakera Guard
Lakera Guard, 2022’den beri istem enjeksiyonu savunması üzerinde çalışan İsviçre merkezli bir ekibin yönetilen güvenlik önlemidir. API model çağrısının önüne oturur, kullanıcı girdisini ve model çıktısını enjeksiyonlar, KŞB sızdırmaları ve politika ihlalleri için sınıflandırır ve düşük onlarca milisaniyede bir karar döndürür. Siteleri üzerindeki Oyun Alanı, yükü geçerli sınıflandırıcıya karşı etkileşimli olarak test etmemize izin verir.
Eksik olduğu yeri: barındırılan bir API’dir. Düzenlemeye tabi ekipler veri kalıntısı SKU’sunu kontrol etmelidir. Fiyatlandırma, kişi başı değil istek başınadır.
Fiyatlandırma:
- Ücretsiz: küçük iş yükleri için ücretsiz seviye
- Ücretli: üretim trafiği için mütevazı yıllık abonelik
Platformlar: API + Python, JavaScript ve Ruby için SDK’lar
İndir: Lakera Guard
Sonuç olarak: kendi sınıflandırıcımızı sürdürmeden üretim API’si güvenlik önlemi için seçim.
5. NeMo Guardrails
NeMo Guardrails, NVIDIA’nın programlanabilir güvenlik önlemleri DSL’sidir ve listede en esnek açık kaynak çalışma zamanı uygulama kütüphanesidir. Kurallar, hangi konuların izin verildiğini, hangi araçların izin verildiğini ve bir kontrol başarısız olduğunda geri dönüş yanıtının ne olduğunu söyleyen bir Colang betiği içinde tanımlanır. DSL programlanabilir olduğundan, NeMo bir sınıflandırıcının ifade edemeyeceği politikaları ifade edebilir — “asistan, yalnızca kullanıcı kimliği doğrulandığında SQL aracını çağırabilir” — temiz bir şekilde.
Eksik olduğu yeri: Colang yeni bir DSL’dir ve öğrenme eğrisi gerçektir. Çok basit güvenlik önlemleri Rebuff veya Lakera ile yazılması daha kolaydır.
Fiyatlandırma:
- Ücretsiz: tamamen ücretsiz, açık kaynak
- Ücretli: NVIDIA AI Enterprise ücretli destek ekler
Platformlar: Python, Python’un çalıştığı herhangi bir yerde çalışır
İndir: NeMo Guardrails
Sonuç olarak: bir sınıflandırıcının sunabileceğinden daha ötesinde politika ifadesi gerektiren ekipler için seçim.
6. PyRIT
PyRIT, Microsoft’un LLM’ler için Python Risk Belirleme Aracıdır ve yapay zeka sistemleri için tam bir saldırgan güvenliği araç takımına en yakın şeydir. Düşmanca istemler çalıştırır, konuşmaları birden fazla döngü arasında izler ve model çıktısını özel puanlayıcılar karşısında değerlendirir. Çerçevenin hedef kitlesi daha büyük kuruluşlar içindeki kırmızı takımlar ve mavi takımlarıdır; soyutlamalar bunu yansıtır.
Eksik olduğu yeri: çerçeve basit bir kalem test betiğinden daha ağırdır. Küçük ekipler Promptfoo veya Garak’a ulaşmayı daha kolay bulabilir.
Fiyatlandırma:
- Ücretsiz: tamamen ücretsiz, açık kaynak
- Ücretli: ücretli seviye yok
Platformlar: Windows, macOS, Linux
İndir: PyRIT
Sonuç olarak: LLM destekli sistemlere karşı yapılandırılmış çok döngü saldırıları çalıştıran kırmızı takım için seçim.
7. LLM Guard
LLM Guard (Protect AI’dan) istem enjeksiyonu savunmasının yanında veri kaybı önlemeye odaklanmış açık kaynak giriş ve çıktı tarayıcısıdır. KŞB, gizli diziler, istem enjeksiyonu, önyargı ve toksisite için tarayıcılar ile birlikte gelir ve bunları çalışma zamanında hem kullanıcının girdisinde hem de modelin çıktısında çalıştırır. Ana endişesi “model az önce bir API anahtarını kullanıcıya geri alıntı yaptı” olan ekipler için LLM Guard uzmanlaşmıştır.
Eksik olduğu yeri: giriş-çıktı tarayıcı modeli her istekte gecikme ekler. Hangi tarayıcıların ne sırada çalıştığını ayarlamak performans için önemlidir.
Fiyatlandırma:
- Ücretsiz: tamamen ücretsiz, açık kaynak
- Ücretli: kurumsal destek seviyesi
Platformlar: Python, Python’un çalıştığı herhangi bir yerde çalışır
İndir: LLM Guard
Sonuç olarak: KŞB ve gizli sızıntısı enjeksiyonun kendisi kadar bir endişe olduğunda seçim.
Doğru istem enjeksiyonu savunması uygulamasını nasıl seçeceğiz
- İstemlerimizi CI zamanında kırmızı takım olarak değerlendirmek istiyorsak: Promptfoo.
- Kendi kendini barındıran açık kaynak bir modeli sertleştiriyorsak: Garak.
- Çok katmanlı bir tasarımla çalışma zamanı filtrelemesi istiyorsak: Rebuff.
- Barındırılan API güvenlik önlemi istiyorsak: Lakera Guard.
- Politikamız bir sınıflandırıcının ifade edeceğinden daha karmaşıksa: NeMo Guardrails.
- Yapılandırılmış bir kırmızı takım çalıştırırsak: PyRIT.
- KŞB ve gizli sızıntısı birincil risk ise: LLM Guard.
- Zaten OpenAI yığınında isek: OpenAI’nin Moderation uç noktası temel çizgidir; enjeksiyona özgü kapsam için en azından yukarıdakilerden birini üzerine katın.
Küçük bir ekip için en güçlü 2026 yığını CI’de Promptfoo artı çalışma zamanında Rebuff veya Lakera Guard artı üretim modeline karşı zamanlanmış bir Garak taramasıdır. Bu kombinasyon, dağıtmadan önce bilinen kötü yükleri yakalar, istek zamanında bilinmeyenleri filtreler ve dağıtılan modeli bir zamanlamaya göre yeniden tarar.
SSS
İstem enjeksiyonu nedir? İstem enjeksiyonu, güvenilmeyen bir girdi (bir kullanıcı mesajı, bir belge, kazınan bir sayfa) modeli amaçlanan amacına karşı yönlendiren talimatlar içeren saldırı sınıfıdır. Doğrudan enjeksiyon, kullanıcı saldırıyı yazdığında olur. Dolaylı enjeksiyon, model bir belge veya özetlemesi söylenen bir web sayfasından saldırı okuduğunda olur. Her ikisi de OWASP LLM Top 10’dadır.
İstem enjeksiyonu tamamen önlenebilir mi? Hayır. İstem enjeksiyonu, dil modeline özgü bir problemdir ve bilinen mükemmel bir savunma yoktur. Katmanlı savunmalar (test zamanı kırmızı takım, çalışma zamanı sınıflandırıcıları, araç çağrısı politikaları, kanarya belirteçleri, çıktı moderasyonu) riski belirli bir dağıtım için kabul edilebilir bir seviyeye düşürür. Tek bir araçla tüm istem enjeksiyonunu önleyebileceğini iddia eden herkes aşırı basitleştiriyor.
En iyi açık kaynak istem enjeksiyonu savunması nedir? Çalışma zamanı filtrelemesi için Rebuff ve LLM Guard en eksiksiz açık kaynak seçimleridir. Programlanabilir politika için NeMo Guardrails. Test için Promptfoo ve Garak.
OpenAI’nin Moderation uç noktası istem enjeksiyonunu yakalar mı? Kısmi olarak. Moderation uç noktası enjeksiyondan ziyade içerik kategorileri (taciz, kendine zarar verme, şiddet) için tasarlanmıştır. Özel bir istem enjeksiyonu sınıflandırıcısı (Rebuff, Lakera Guard, LLM Guard) Moderation’un kaçırdığı saldırıları yakalar.
LangGraph veya CrewAI ajanına istem enjeksiyonu savunması nasıl ekleyeceğim? Araç çağrılarını modelin önerilen eylemi üzerinde LLM Guard veya Rebuff çalıştıran bir güvenlik önlemi adımına sarın ve güvenlik önlemi çağrıyı işaretlediğinde LangGraph’ın kesintisini veya CrewAI’nin onay kapısını kullanarak duraklatın. Promptfoo, düşmanca yüklerin bir pili karşısında aynı güvenlik önlemi zincirini CI’de çalıştırabilir.
Bu araçları ticari olarak kullanmak ücretsiz mi? Promptfoo, Garak, Rebuff, NeMo Guardrails, PyRIT ve LLM Guard ticari kullanıma izin veren izinli açık kaynaklı lisanslara sahip açık kaynaktır. Lakera Guard, küçük iş yükleri için ücretsiz seviyesi olan ücretli yönetilen bir hizmettir.
