Anubis kendi barındırmalı AI scraper güvenlik duvarı

Meta’nın web botları bu yıl tek bir çeyrekte dokuz milyar istek gönderdiler ve giden trafik neredeyse hiçbir zaman crawler’ların kazıdığı sitelere geri dönmedi. Cloudflare artık varsayılan olarak reklam gösteren herhangi bir sayfada eğitim botlarını ve ajanları engelliyor. “Arama ziyareti” ile “eğitim külliyatı” arasındaki çizgi hareket etti ve bir siteyi işletiyorsanız, muhtemelen bunun “engelleme” tarafında olmak istiyorsunuz.

2026’da masaüstünde AI web scraper’larını engellemek için en iyi uygulamalar üç kategoriye ayrılır: isteklerin origin’inize ulaşmadan önce ağın kenarında engelleyen edge hizmetleri, uygulamanızın yanında çalışan kendi barındırmalı proof-of-work güvenlik duvarları ve geldikten sonra istekleri filtreleyen origin taraflı kurallar. Cloudflare’in basit bir toggle’ından Anubis’e (zaten Linux kernel kaynak kodu, Codeberg ve FFmpeg tarafından dağıtılan) birlikte çalışan yediyi seçtik.

AI scraper engelleme aracında neye bakmalısınız?

Hızlı karşılaştırma

Araç İçin en iyisi Ücretsiz plan Ücretli Dağıtım
Cloudflare AI Crawl Control Cloudflare’in arkasındaki herhangi bir site Tüm seviyelerde dahil Cloudflare Pro/Biz ile paketlenmiş Tek tıkla geçiş
Dark Visitors (Known Agents) Hangi AI botlarının sizi ziyaret ettiğinin görünürlüğü Ücretsiz seviye Mütevazı aylık ücretlerden itibaren ekip planları robots.txt + ajan izleyici
Anubis Kendi barındırmalı proof-of-work duvarı Açık kaynak, ücretsiz Sadece ücretsiz Ters proxy (Go ikili)
Nepenthes Kazıyıcıların zamanını aktif olarak boşa harcama Açık kaynak, ücretsiz Sadece ücretsiz Tarpit konteyneri
Fail2Ban Origin taraflı ban-by-log aracı Açık kaynak, ücretsiz Sadece ücretsiz Sunucu daemon’u
ModSecurity + OWASP CRS Origin tarafında kural tabanlı WAF Açık kaynak, ücretsiz Ticari kural setleriyle ücretsiz nginx/Apache modülü
DataDome Kurumsal sınıf bot yönetimi Yalnızca deneme Kurumsal sözleşmeler Edge / API entegrasyonu

Araçlar

1. Cloudflare AI Crawl Control – Herhangi bir site için en iyi tek tıkla engelleme

Cloudflare AI Crawl Control, AI eğitim botlarını durdurmak için en hızlı yoldur. Herhangi bir seviyedeki herhangi bir müşteri (ücretsiz dahil) panodan Security → Bots’a gidebilir ve “AI Crawls and Scrapers” düğmesini açabilir. GPTBot, ClaudeBot, Applebot Extended, PerplexityBot ve yüzlerce diğerini tanımlamak için Cloudflare’in bot parmak izi veritabanını ve davranış sinyallerini kullanır. 15 Eylül 2026’dan itibaren yeni alanlar, reklam gösteren sayfalarda eğitim botlarını ve ajanları varsayılan olarak engeller.

Ağın kenarında çalıştığından, engellenen istekler origin’inize asla dokunmaz. Bu bant genişliğini ve origin CPU’yu tasarrufu yapıyor ve sitenizin hangi yığında olduğu önemli değil. Belirli botlara da izin verebilirsiniz (Googlebot varsayılan olarak yeşil kalır), Cloudflare’in kazı başına ödeme programı aracılığıyla erişim için ücret alabilir veya daha iyi kontrol için özel kurallar yazabilirsiniz.

Nerede yetersiz kalıyor: Siteniz Cloudflare’in arkasındaysanız sadece kullanışlıdır. Cloudflare’in sınıflandırıcısı bazen yasal araştırma veya arşiv crawler’larını yanlış etiketler, bu nedenle önemli bir şey için autopilot modunda bırakmadan önce analitiği kontrol edin.

Fiyatlandırma:

Platformlar: Cloudflare’in önünündeki herhangi bir site (Windows, macOS, Linux origin’leri hepsi çalışıyor)

Özet: Cloudflare’deyseniz, listenin geri kalanını okumadan bunu açın.

2. Dark Visitors (Known Agents) – Hangi botların gerçekten sizi ziyaret ettiğini bilmek için en iyisi

Dark Visitors (2026’da Known Agents olarak yeniden adlandırıldı), çoğu siteden eksik olan görünürlük katmanıdır. AI ajanlarının kurlu bir veritabanını (eğitim botları, RAG kazıyıcıları, tarama ajanları, LLM yardımcıları) tutar ve hem canlı güncellenen bir robots.txt dosyası hem de gerçekten kim vurduğunu gösteren bir analitik panosu sağlar. Bir snippet ekleyin ve GPTBot, ClaudeBot, PerplexityBot ve muhtemelen duymadığınız düzinelerce yeni ajan hakkında gerçek rakamlar alın.

Ücretsiz seviye temelleri kapsar: ajan listesi, robots.txt dosyası, temel ziyaret takibi. Ücretli seviyeler tam analitik, çok site ve API erişimini açar. Cloudflare ile iyi eşleşir: Cloudflare kenarında neyin engellendiğini söyler, Known Agents neyin denediğini söyler (ve Cloudflare henüz tanımadığı herhangi bir şey için) neyin yine de geçtiğini söyler.

Nerede yetersiz kalıyor: robots.txt bir istek, bir kural değildir. İyi davranan crawler’lar buna saygı gösterir; kötü aktörler onu yoksayar. Bu araç size kuralları yoksayan kişiler hakkında gerçeği söyler, ama kendi başına uyumu zorlamaz.

Fiyatlandırma:

Platformlar: Herhangi bir site (snippet tabanlı)

Özet: Zaten Cloudflare’iniz var olsa bile bunu kurun, çünkü hangi botların büyüyen bir sorun haline geldiğini söyler.

3. Anubis – AI scraper’larına karşı en iyi kendi barındırmalı duvar

Anubis, TecharoHQ tarafından Go’da yazılmış kendi barındırmalı bir Web AI Firewall’dur. Uygulamanızın önünde ters bir proxy olarak oturur ve bir istek sunmadan önce JavaScript proof-of-work zorlama sağlar. Gerçek tarayıcılar zorlukları bir saniyenin kesirinde görünmez şekilde çözer; saf kazıyıcılar çalışmazlar çünkü JS çalıştırmazlar veya ölçeklerinde CPU döngülerini yakmak istemezler.

Benimseme hikayeyi anlatır: Codeberg, FFmpeg, Linux kernel kaynak kodu ve çoğu non-Cloudflare FOSS projesi bunu çalıştırır. Yapılandırma tek bir YAML dosyasıdır; Anubis’i upstream’inize yönlendirir, rota başına zorluk zorluğu belirler ve iyi botlar (Googlebot, IA_Archiver vb.) için izin listesi eklersiniz.

Nerede yetersiz kalıyor: JS çalıştıran kazıyıcılar (headless Chromium, Playwright) PoW’u da çözebilir; sadece mütevazı bir CPU maliyeti öderler. Anubis güçlü bir caydırıcıdır, geçilmez bir duvar değildir. Ayrıca her istek için küçük bir latans atlaması ekler.

Fiyatlandırma:

Platformlar: Linux (Docker, systemd), Windows, macOS (Go ikili aracılığıyla)

Özet: Kendi altyapınızı çalıştırırken ve Cloudflare üzerinden yönlendirmek istemediğinizde doğru seçim.

4. Nepenthes – Kazıyıcıların zamanını boşa harcamak için en iyisi

Nepenthes zıt bir yaklaşım alır: kazıyıcıları engellemek yerine, onları asla bitmeyen işlemsel olarak üretilen, inandırıcı görünen sayfaların sonsuz bir labirentine sürükler. Sonuç, kazıyıcının CPU ve bant genişliğine mal olan ancak kullanışlı eğitim verisi döndürmeyen bir tarpit’tir. Özellikle AI crawler’larının robots.txt’yi görmezden gelmesine yanıt olarak yapılmış olan, admin’ler tarafından kabul edilmiştir ve pasif olarak reddetmek yerine kazımanın maliyetini aktif olarak arttırmak ister.

Bir alt alan veya yolda Docker konteyner olarak dağıtın, kötü botları ona işaret eden bir robots.txt yönergesi ekleyin ve kazıyıcının kaynaklarını boşa harcadığını izleyin. Ayrıca eğitim verilerini hafifçe zehirler: Nepenthes çıktısını içine alan herhangi bir kazıyıcı, gürültülü ama inandırıcı ama sahte metni onu besleyen her pipline’a geri getirir.

Nerede yetersiz kalıyor: Bazı operatörler için etik olarak sınırda; kasıtlı olarak yanıltıcı veri sunuyorsunuz. Yalnızca ilk etapta robots.txt’ye saygı göstermeyen botları etkiler, bu da önemli ama düşünmeye değer.

Fiyatlandırma:

Platformlar: Başlıca Linux (Docker); macOS ve Windows Docker aracılığıyla

Özet: Zaten engelleme yerine koyduğunuzda ve kazımayı aktif olarak pahalı yapmak istediğinizde bunu ekleyin.

5. Fail2Ban – Origin taraflı ban-by-log için en iyi araç

Fail2Ban, sunucu günlüklerini okumak, kalıpları algılamak ve IP seviyesi yasağını güvenlik duvarına göndermek için klasik araçtır. Her Linux admin bunu bilir. AI kazıması için özel olarak, bir Fail2Ban filtresi nginx veya Apache günlüklerini User-Agent regex (GPTBot, ClaudeBot, Bytespider vb.) için veya davranış imzalarını (tek bir IP’den saniye başına istek patlaması) izleyebilir ve suçluyu iptables’a yerleştirebilir.

Yasak çekirdek güvenlik duvarında gerçekleştiği için origin kazıyıcıya hizmet etmek için döngü harcamaz. Kenarda Cloudflare kurulumu ve ortada Anubis ile birleştirin ve derinlemesine bir savunmanız var.

Nerede yetersiz kalıyor: IP tabanlı yasaklar, ciddiyetli kazıyıcıların kullandığı dönen konut proxy’lerine karşı kırılgandır. Ve filtreler yazılmalı ve ayarlanmalıdır; tek tıkla kurulum değildir.

Fiyatlandırma:

Platformlar: Linux (yerli); Windows ve macOS desteği sınırlıdır

Özet: Zaten regex filtreleri yazan ve paket seviyesinde yasak isteyen sysadmin’ler için doğru seçim.

6. ModSecurity + OWASP CRS – Origin tarafında en iyi kural tabanlı WAF

ModSecurity ile OWASP Core Rule Set, nginx ve Apache admin’lerinin edge hizmeti alamadıklarında veya istemediğinde origin’de dağıttıkları açık kaynak WAF’dir. CRS yaygın saldırılar (SQLi, XSS, RCE) için kurallarla gelir ve topluluk tarafından yönetilen AI-bot kurallari User-Agent filtreleri, davranış eşikleri ve AI kazıyıcıları için bilinen kötü IP beslemeleri ekler.

Kural tabanlı olduğundan tam kontrol sahibi olursunuz. İç analitik aracını beyaz listeye alabilir, belirli bir user-agent’i küresel olarak engelleyebilir veya rota başına kurallar yazabilirsiniz. Ayrıca Fail2Ban ile iyi oynar: ModSecurity bir isteği anormal olarak işaretler, Fail2Ban bayrağı okur ve kaynağı yasaklar.

Nerede yetersiz kalıyor: Kurallar bakım gerektirir. Özel uygulamalarda yanlış pozitifler oluşur. Ve nginx veya Apache için yerli bir modüldür, bu nedenle konteyner dağıtımları buna baked Docker görüntülerine ihtiyaç duyar.

Fiyatlandırma:

Platformlar: Linux (nginx/Apache yerli), Windows (IIS aracılığıyla sınırlamalarla)

Özet: Cloudflare’in arkasında olmadığınızda ve tam şeffaflık istediğinizde at-origin WAF’in varsayılanı.

7. DataDome – En iyi kurumsal sınıf bot yönetimi

DataDome, kişisel bir blogdan gerçek bir işletmeye ölçeklendirdiğinizde yerinde olursunuz. Amerika ve Avrupa çapında yaklaşık 1.200 şirket, WAF’sını çalıştırıyor ve 85.000’den fazla müşteriye özel makine öğrenmesi modelini işletmektedir; bu, korunan her sitenin bir kazıyıcı için kendi algılama zorlukları haline geldiği anlamına gelir. Edge’de (CDN veya DNS aracılığıyla) entegre olur ve algılama, AI eğitim botlarının ötesine referans dolgu, reklam dolandırıcılığı ve hizmet olarak kazıma çiftliğine kadar uzanır.

Dashboard bu kategoride en güçlü, size per-request sınıflandırması, coğrafi dökümü ve gelir etkisi tahminleri veriyor. Algılama yanıt süresi milisaniye cinsinden ölçülür. Kurumsal sınıf destek dahil edilmiştir.

Nerede yetersiz kalıyor: Fiyat bireyler için değildir; bir teklif talep edersiniz. Kurulum DNS, CDN ve origin’inize işbirliği gerektirir, bu nedenle geçiş değil bir projedir.

Fiyatlandırma:

Platformlar: Herhangi bir origin (Windows, macOS, Linux); edge’de dağıtıldı

Özet: Kazınan içeriğin veya dolandırıcılığın maliyeti yıllık bot yönetimi faturasından daha büyük olduğu zaman doğru seçim.

Doğru olanı seçme yöntemi

SSS

En iyi ücretsiz AI scraper engelleme aracı nedir?

Siteniz Cloudflare’in arkasındaysanız Cloudflare AI Crawl Control (ücretsiz seviye bunu içerir). Self-host’u yaparsanız Anubis en güçlü ücretsiz açık kaynak seçeneğidir. Her ikisi de yığının farklı taraflarından aynı sorunu ele alır.

AI botları Cloudflare’i geçebilir mi?

Evet, bazıları yapabilir. Cloudflare’in sınıflandırıcısı imza tabanlı engellemeyi gerçekten iyi yapıyor ama gelişmiş kazıyıcılar insan görünmek için konut proxy rotasyonu ve başsız tarayıcıları kullanır. Bu nedenle tabakalar halinde savunma (edge + origin + görünürlük) hiçbir tek araçtan daha iyi çalışır.

Kişisel bir blogta AI botlarını engellemem gerekiyor mu?

Bu senin çağrın. İçeriğinizin ticari LLM’leri eğitmek için kullanılmasını istiyorsanız, hiçbir şey yapmayın. Tercih ederseniz Cloudflare geçişini açın veya Anubis ekleyin. En yaygın orta yol Known Agents robots.txt artı en büyük eğitim kazıyıcıları için Cloudflare engeli.

AI botlarını engellemek arama sıralamasına zarar verir mi?

Hayır, engellemeyi doğru şekilde yapılandırırsanız. Bu listedeki tüm araçlar Googlebot, Bingbot ve diğer geleneksel arama kazıyıcılarına izin verirken GPTBot, ClaudeBot ve PerplexityBot gibi yalnızca eğitim botlarını engelleyebilir. Dağıtmadan önce izin listesini kontrol edin.

Anubis ile Cloudflare arasındaki fark nedir?

Cloudflare isteklerin sunucunuza ulaşmadan önce ağ kenarında engeller. Anubis sunucunuzda ters proxy olarak çalışır ve proof-of-work zorlama sağlar. Cloudflare daha kolaydır ve daha fazla alanı kapsar; Anubis kendi barındırmalı, şeffaf ve üçüncü taraf gerektirmez.