Güvenlik botlarının saldırı başlatmaya kandırılabileceğine dair manşet hiçbirden ortaya çıkmadı. Ajansiyel AI sistemlerinin, yanlış belgeyle, operatörün asla yetkilendirmediği kararlar için yönlendirilebileceğini gösteren bir yıllık araştırmanın ürünüydü. Ekibiniz bir dil modelinin hareket etmesine izin veren herhangi bir şey gönderiyorsa, bu AI red teaming uygulamalarından biri araç zincirinde olması gerekir.
Masaüstü iş istasyonlarında çalışan ve kendi modellerini ve ajanlarını dış bir düşman yapmadan önce stress-test etmek isteyen mühendisler için yedi uygulamayı test ettik. Liste komut satırı çerçeveleri, GUI tabanlı tarayıcılar ve CI içinde çalışmak üzere tasarlanmış kitaplıkları karıştırır.
AI red teaming uygulamasında ne aramamalı
Kategori yeni ve araçlar değiştirilemez. Şunları ara:
- Somut bir saldırı kataloğu. Prompt injection, veri exfiltration, prompt sızıntısı, jailbreak ve çok turlu manipülasyon hepsi mevcut olmalı.
- Modelinize takı yapabilmenin bir yolu. OpenAI uyumlu uç noktalar aracılığıyla yerel modeller, barındırılan API’ler ve özel Python çağrılanabilirler hepsi önemli.
- Yeniden üretebilir raporlar. Güvenlik ekibinin işlem yapabileceği yazılı bir bulgu.
- Otomasyon. Araç CI’de veya gece cron’unda çalışması gerekir, yalnızca laptop konsolunda değil.
- Canlı guardrails veya sadece test. Bazı araçlar tarar; diğerleri çıkarım zamanında engeller. Hangisine ihtiyacınız olduğunu bilin.
Hızlı karşılaştırma
| Uygulama | En iyi | Platform | Ücretsiz plan | Öne çıkan |
|---|---|---|---|---|
| Promptfoo | Sürekli eval ve red teaming | Windows, macOS, Linux | Tamamen ücretsiz, açık kaynak | CI-dostu konfigürasyon, büyüyen saldırı paketi |
| Garak | Geniş zafiyet taraması | Windows, macOS, Linux | Ücretsiz, açık kaynak | NVIDIA tarafından desteklenen, sonda kataloğu |
| PyRIT | Microsoft’un otomasyonu çerçevesi | Windows, macOS, Linux | Ücretsiz, açık kaynak | Çok turlu saldırı orkestrasyonu |
| NeMo Guardrails | Canlı guardrail politikası | Windows, Linux | Ücretsiz, açık kaynak | Gerçek zamanlı kurallar için Colang politika dili |
| Lakera Guard | Barındırılan guardrails ve tarama | Bulut, artı SDK | Ücretsiz seviye | Yönetilen prompt-injection algılama |
| Adversarial Robustness Toolbox | Daha geniş ML saldırıları ve savunmaları | Windows, macOS, Linux | Ücretsiz, açık kaynak | Sadece LLM değil, vizyon ve tablo da |
| Rebuff | LLM için ayarlanmış injection algılama | Windows, macOS, Linux | Ücretsiz seviye | Vektör deposu kuş benzeri algılama |
Uygulamalar
1. Promptfoo — Sürekli eval için en iyi
Promptfoo AI red teaming’i CI işine dönüştürür. Yapılandırma, promptları, sağlayıcıları ve saldırıları tanımlayan tek bir YAML dosyasıdır ve CLI, Ollama aracılığıyla yerel modellere karşı veya barındırılan API’lere karşı aynı paketi çalıştırır. Red-teaming paketi, genişletebileceğiniz jailbreak, veri exfiltration sondaları ve prompt-injection testleriyle gelir.
Eksik olduğu yer: Ücretsiz seviyede raporlama UI işlevseldir; takım panoları ücretli bir eklentidir.
Fiyatlandırma:
- Ücretsiz: Tam CLI ve açık kaynak kitaplığı
- Ücretli: Paylaşılan çalıştırmalar ve kuruluş panoları için yönetilen takım seviyesi
Platform: Windows, macOS, Linux (Node.js runtime)
İndir: promptfoo.dev
Sonuç: Red teaming’in her gece birim testlerinin yanında çalışmasını isteyen bir takım için seçim.
2. Garak — En iyi geniş zafiyet tarayıcı
Garak NVIDIA’nın LLM zafiyet tarayıcısıdır. Sonda kataloğu (prompt injection, veri sızıntısı, kötü amaçlı yazılım oluşturma, basınç altında halüsinasyon) ile gelir ve bulguları tanıdık bir güvenlik iş akışıyla eşleşen bir biçimde bildirir.
Eksik olduğu yer: Çıktı metne ağır; bunu bir işletme sahibine sunmak ikinci geçiş özeti gerektirir.
Fiyatlandırma:
- Ücretsiz: Tam açık kaynak tarayıcı
- Ücretli: Hiçbiri
Platform: Windows, macOS, Linux (Python)
İndir: GitHub
Sonuç: Yeni bir modele karşı ilk geçişi çalıştıran güvenlik mühendisleri için seçim neyin göze çarptığını görmek için.
3. PyRIT — En iyi otomasyona dayalı saldırı orkestrasyonu
PyRIT Microsoft’un Python Risk Identification Toolkit’idir. Çok turlu saldırıları otomatikleştirir, bir gerçek düşmanın yapacağı şekilde eskalasyon yapmak için sohbet boyunca promptları birbirine bağlar ve herhangi bir modele takılan bir çağrının arkasında takı yapar.
Eksik olduğu yer: Dik ilk yapılandırma. Python’u akıcı bir şekilde okuyan bir güvenlik mühendisine sahip takımlar tarafından en iyi kullanılır.
Fiyatlandırma:
- Ücretsiz: Tam açık kaynak kitaplığı
- Ücretli: Hiçbiri
Platform: Windows, macOS, Linux
İndir: GitHub
Sonuç: Tek seferlik sondalar yerine komut dosyası, kademeli saldırılar yazarken dahili bir kırmızı ekip için seçim.
4. NeMo Guardrails — En iyi canlı guardrail
NeMo Guardrails NVIDIA’nın çalışma zamanı politika motorudur. Colang, politika dili, bir modelin ne diyebileceğini ve ne yapamayacağını tanımlar ve çerçeve bu kuralları prompt ile yanıt arasında gerçek zamanda uygular.
Eksik olduğu yer: Tarayıcı değil, çalışma zamanı. Promptfoo veya Garak’a tamamlayıcı, yerine geçecek değil.
Fiyatlandırma:
- Ücretsiz: Tam açık kaynak kitaplığı
- Ücretli: Hiçbiri
Platform: Windows, Linux (Python)
İndir: GitHub
Sonuç: Red teaming vektörü ortaya çıkardıktan sonra üretimde kötü bir yanıtı gerçekten engellemek için seçim.
5. Lakera Guard — En iyi barındırılan guardrail
Lakera Guard ana diller için SDK’larla barındırılan bir hizmet olarak gelir. Prompt-injection algılama bayraktadır ve takım, detektöre akan yeni keşfedilen prompt-injection desenleri hakkında bir araştırma akışı yayınlar.
Eksik olduğu yer: Yalnızca yönetilen. Katı veri yerleşimi gereksinimleri olanların kendi kendine barındırılan dağıtım için bir tier’e gitmeleri gerekir.
Fiyatlandırma:
- Ücretsiz: Aylık istek sınırı ile ücretsiz tier
- Ücretli: Takım ve kurumsal tier’ler, tepe noktasında kendi kendine barındırılan seçenek
Platform: Bulut, tüm ana çalışma zamanları için SDK
İndir: lakera.ai
Sonuç: Prompt-injection algılaması satın almayı inşa etmeye tercih eden takımlar için seçim.
6. Adversarial Robustness Toolbox — LLM’nin ötesinde en iyi
Adversarial Robustness Toolbox, Linux Vakfı tarafından korunan ve orijinal olarak IBM Research tarafından yayınlanan, daha geniş makine öğrenimi yüzeyi için saldırılar ve savunmalarla gelir: vizyon modelleri, tablo sınıflandırıcıları ve konuşma sistemleri. LLM desteği mevcuttur ancak pitch değildir.
Eksik olduğu yer: LLM odaklı çoğu takımın ihtiyaç duyduğundan daha geniş. Öğrenme eğrisi bu listedeki en dikdir.
Fiyatlandırma:
- Ücretsiz: Tam açık kaynak kitaplığı
- Ücretli: Hiçbiri
Platform: Windows, macOS, Linux (Python)
İndir: GitHub
Sonuç: Sadece LLM değil, çoklu ML modları için bir ekip için seçim.
7. Rebuff — En iyi injection odaklı algılama
Rebuff, buluşsal kontroller, LLM tabanlı kontroller ve bir prompt bir veri deposuna sızması gerektiğinde kaydeden vektör deposu “kuş benzeri” sahip odaklı bir prompt-injection algılama kitaplığıdır.
Eksik olduğu yer: Dar odak. Prompt injection konusunda harika, diğer saldırı sınıflarında sessiz.
Fiyatlandırma:
- Ücretsiz: Açık kaynak kitaplığı
- Ücretli: Panolarla barındırılan yönetilen tier
Platform: Windows, macOS, Linux
İndir: GitHub
Sonuç: Temel tehdit yüzeyi bağlamında kullanıcı tarafından sağlanan belgelerle bir sohbet botu olan bir proje için seçim.
Doğru olanı seçme
CI’de sürekli red teaming istiyorsanız: Promptfoo. YAML giriş, bulgular çıkış, birim testleriniz gibi aynı işçi üzerinde çalışır.
Geniş zafiyet taraması istiyorsanız: Garak. Güvenlik mühendisi iş akışını en iyi yansıtan olandır.
Komut dosyası çok turlu saldırıları istiyorsanız: PyRIT. Microsoft’un araç seti eskalasyonu varsayar ve bunu birinci sınıf bir endişe olarak ele alır.
Üretimde engel istiyorsanız: NeMo Guardrails veya Lakera Guard. Veri yerleşimi gereksinimlerine göre kendi kendine barındırılan veya yönetilen seçin.
Yüzeyiniz vizyon ve tablo modellerini içeriyorsa: Adversarial Robustness Toolbox. Daha geniş kapsam, daha yüksek kurulum maliyeti.
Prompt injection belirli bir endişe ise: Rebuff. Odaklı, hedefli, mevcut bir yığına takı yapmak kolay.
SSS
AI red teaming nedir? Operatörün istemediği davranışları keşfetmek için bir AI sistemine karşı olumsuz test uygulaması, harici bir saldırganın yapmasından önce. Terimi ağ güvenliği red-team etkileşimlerinden ödünç alır.
Modelim barındırılan bir API ise AI red teaming’e ihtiyacım var mı? Evet. Prompt injection, araçlar aracılığıyla veri exfiltration ve sorumluluk yaratan halüsinasyonlar API sınırını geçer. Barındırılan modeller yine de uygulama düzeyinde test gerektirir.
Bu araçlar ücretsiz mi? Bu listedeki çoğu ücretsiz ve açık kaynaktır. Lakera Guard ve Promptfoo ile Rebuff yönetilen seviyelerinin ücretli seçenekleri vardır.
Hangi uygulama başlamak en kolayı? Promptfoo. Bir YAML dosyası, bir sağlayıcı ve bir komut bir saat içinde ilk sonucu verir.
Bu araçlar kendi yerel modelimi test edebilir mi? Evet. Bu listedeki her açık kaynak aracı OpenAI uyumlu uç noktaları destekler, bu nedenle yerel Ollama veya LM Studio sunucusu geçerli bir hedeftir.
Bu uygulamalar bir güvenlik ekibiyle paylaşabileceğim bir rapor üretir mi? Promptfoo, Garak, PyRIT ve Rebuff hepsi triage için tasarlanmış raporlar üretir. Formatlar değişir. Yönetilen seviyeler pano ve paylaşılan çalıştırmalar ekler.
