Yerel LLM’nin en büyük sınırlaması artık halüsinasyon değildir. Bu eğitim kesme noktasıdır. Llama 3.1’e kesme noktasından altı ay sonra yayınlanan bir kütüphane hakkında sorun ve model hiç varolmayan API çağrılarını kendinden emin bir şekilde icat eder. Çözüm web arama entegrasyonudur ve yakın zamana kadar OpenAI’nin API’sini gerektiriyordu. Şimdi yerel bir modele gerçek zamanlı arama eklemeye yönelik araçlar mevcuttur, çalışır ve özel kalırlar.
Yerel bir LLM’ye mevcut web’e erişim sağlayan yedi uygulamayı test ettik. Bazıları yerleşik aramaya sahip tam ön uçlardır. Bazıları bir arama motoru ile Ollama bitiş noktanız arasında ara katmandır. Aşağıda her birinin ne yaptığı, nerede başarısız olduğu ve yaygın yerel-LLM yığınları için hangi kombinasyonun en iyi çalıştığı açıklanmıştır.
Yerel LLM web arama aracında ne arayacağınız
Web arama katmanı bunun arkasındaki modelden daha önemlidir. Birkaç kriter.
- Arama kaynağı. SearXNG (meta-arama, özel), Bing API, Brave Search API veya kazınmış Google. Bazı araçlar hepsiyle çalışır; bazıları sizi kilitler.
- Parçalama ve yeniden sıralama. Ham arama sonuçları çoğu yerel modeli kafalar. İyi araçlar ilk sonuçları parçalara ayırır, bunları gömülü hale getirir, alaka düzeyine göre yeniden sıralar ve yalnızca üst pasajları isteme besler.
- Alıntı kalitesi. Yanıt, hangi URL’lerden çıkarıldığını söylemelidir. Perplexity tarzı alıntı bağlantıları altın standartdır.
- Ollama veya llama.cpp uyumluluğu. Bazı araçlar OpenAI’nin API’sini varsayar. Ollama uyumluluğu artık standarttır ama kontrol edin.
- Akış. Arama + alma + üretmenin tamamlanmasını beklemek hiçbir şey göstermeden UX’i bozar. Akış, belirteçler hazır olur olmaz başlamalıdır.
Hızlı karşılaştırma
| Uygulama | En iyi | Platformlar | Ücretsiz plan | Başlangıç fiyatı/ay | Derecelendirme |
|---|---|---|---|---|---|
| Perplexica | Perplexity tarzı ön uç | Docker | Tamamen ücretsiz | Ücretsiz | 4.7 |
| SearXNG | Özel meta-arama arka ucu | Docker, Linux | Tamamen ücretsiz | Ücretsiz | 4.6 |
| Open WebUI | Web eklentili LLM ön ucu | Docker | Tamamen ücretsiz | Ücretsiz | 4.7 |
| AnythingLLM | RAG + web tarama aracı | Windows, macOS, Linux | Tamamen ücretsiz | Ücretsiz | 4.5 |
| LibreChat | Arama eklentileri ile ChatGPT klonu | Docker | Tamamen ücretsiz | Ücretsiz | 4.6 |
| LlamaIndex | DIY web-farkında boru hatları | Python kütüphanesi | Tamamen ücretsiz | Ücretsiz | 4.5 |
| Msty | Yerel-ilk masaüstü uygulaması LLM sohbeti ile | Windows, macOS, Linux | Ücretsiz katman | Yaklaşık $10/ay Pro | 4.4 |
Uygulamalar
1. Perplexica — Yerel LLM’ler için en iyi Perplexity klonu
Perplexica yerel modeller için Perplexity.ai UX’sini yeniden oluşturur. Bir soru sorun, arar (varsayılan olarak SearXNG aracılığıyla), üst sayfaları çıkarır, parçalara ayırır ve ilgili pasajları alıntı yanıtları isteyen bir isteme sahip yerel LLM’inize besler.
Yanıt, kaynak sayfalarına geri bağlanan satır içi alıntılarla akar. Ollama ve OpenAI uyumlu herhangi bir bitiş noktası ile çalışır, bu nedenle OpenAI shim ile llama.cpp da çalışır.
Nerede başarısız olur: Kurulum, Docker artı SearXNG’nin yan yana çalışmasını gerektirir. UI cilası ticari Perplexity’nin gerisindedir.
Fiyatlandırma:
- Ücretsiz: Açık kaynak
- Ücretli: Hiçbiri
Platformlar: Docker (Docker’ın çalıştığı her yerde çalışır)
İndir: Perplexica
Sonuç: Yerel olarak çalışan Perplexity yerine istiyorsanız varsayılan seçim. Kurulum Docker Compose ile 30 dakika gerekir.
2. SearXNG — En iyi özel arama arka ucu
SearXNG, Google, Bing, DuckDuckGo, Brave ve diğer onlarca kaynağı sorgulayan ve birleşik sonuçlar döndüren bir meta-arama motorudur. Kendi kendine barındırın ve yerel LLM yığınınızdan yapılan her arama orijinal motörler için anonim hale gelir.
Yukarıdaki her araç (Perplexica, Open WebUI, LibreChat), arama arka ucu olarak SearXNG’yi destekler. Bütün yığının altında oturur.
Nerede başarısız olur: Tek başına SearXNG bir arama sayfasıdır, LLM aracı değildir. Sonuçlarını tüketen bir ön uça ihtiyacınız vardır.
Fiyatlandırma:
- Ücretsiz: Açık kaynak
- Ücretli: Hiçbiri
Platformlar: Docker, Python
İndir: SearXNG
Sonuç: Bunu bir kez kurun ve diğer tüm yerel-LLM araçlarını işaret edin. “Hangi API anahtarına ihtiyacım var” sorununu ortadan kaldırır.
3. Open WebUI — Web araması ile en iyi hepsi bir arada LLM ön ucu
Open WebUI, web aramasını eklenti olarak gönderir. Yönetici panelinde arama aracını etkinleştirin, SearXNG veya ücretli bir API (Serper, Brave) seçin ve her sohbet, model istediğinde aramasını tetikleyebilir.
Open WebUI’nin belge RAG’i, kullanıcı başına kimlik doğrulama ve çoklu model desteği ile birleştirildiğinde, bu yerel bir LLM kullanıcısının bir arayüzde ihtiyaç duyduğu şeylerin çoğunu kapsar.
Nerede başarısız olur: Arama eklentisi varsayılan olarak sohbet başına katılımcıdır, bu nedenle ilk kez kullananlar bunu otomatik olarak almaz. Ek bir yapılandırma adımı gerektirir.
Fiyatlandırma:
- Ücretsiz: Açık kaynak
- Ücretli: Hiçbiri
Platformlar: Docker (herhangi bir Linux, macOS, Windows ana bilgisayar)
İndir: Open WebUI
Sonuç: Eğer zaten Open WebUI çalıştırıyorsanız en iyi seçim. Arama eklemek bir yapılandırma değişikliğidir.
4. AnythingLLM — Aracılarla masaüstü uygulaması için en iyi
AnythingLLM, Windows, macOS ve Linux’ta çalışan bağımsız bir masaüstü uygulamasıdır (sadece Docker değil). Ajan primitiflerle gelir ve web-arama aracı geçerli sayfaları almak için SearXNG, Serper veya Bing API’sini kullanır.
Yerel belgeler üzerinde RAG aynı arayüzde olduğundan, bir sohbette “web’de ara” ile “Obsidian kasam’da ara"yı karıştırabilirsiniz.
Nerede başarısız olur: Masaüstü uygulaması tarayıcı tabanlı bir arayüzden daha ağırdır. Bazı arama modları ücretsiz katman ile bile API anahtarı gerektirir.
Fiyatlandırma:
- Ücretsiz: Masaüstü uygulaması, tüm özellikler
- Ücretli: Barındırılan için yaklaşık $50/ay Cloud katmanı
Platformlar: Windows, macOS, Linux, Docker
İndir: AnythingLLM
Sonuç: Localhost sekmesi yerine gerçek bir masaüstü uygulaması istiyorsanız bunu seçin. Kişisel kullanım için en iyi hepsi bir arada.
5. LibreChat — Arama eklentileri ile ChatGPT tarzı UX için en iyi
LibreChat, ChatGPT arayüzünü klonlar ve eklenti desteği ekler. Web araması yerleşik Web Tarama eklentisinden gelir ve Google, Brave ve Serper arka uçlarını destekler. Sohbeti Ollama’ya yönlendirin ve yerel bir modelin üstünde web erişimi olan ChatGPT elde edin.
Eklenti mimarisi, yeni araçların (hesap makinesi, kod yürütme, görüntü üretimi) ön uç değiştirilmeden kurulabileceği anlamına gelir.
Nerede başarısız olur: Eklenti yapılandırması Perplexica veya Open WebUI’den daha ağırdır. JSON dosyalarını düzenleme gerektirir.
Fiyatlandırma:
- Ücretsiz: Açık kaynak
- Ücretli: Hiçbiri
Platformlar: Docker, Node.js
İndir: LibreChat
Sonuç: Özellikle ChatGPT UI klonu istiyorsanız en iyi seçim. Eklenti ekosistemi çoğu alternatiften daha geniştir.
6. LlamaIndex — Kendi web-farkında boru hattınızı oluşturmak için en iyi
LlamaIndex, ön uç değil bir Python çerçevesidir. Özel bir uygulama istediğinizde kullanın: web + PDF + veritabanı üzerinde RAG, ajan döngüleri, araç çağrıları ve Ollama veya llama.cpp bitiş noktanız aracılığıyla hepsi bağlantılı.
Web-arama entegrasyonu Google, Bing, DuckDuckGo, Serper, Tavily ve diğerlerini destekler. Yeniden sıralama primitifleri (BM25, çapraz kodlayıcılar) önceden oluşturulmuş ön uçların sunduğunun ötesine geçer.
Nerede başarısız olur: UI yok. Uygulamayı siz yazarsınız.
Fiyatlandırma:
- Ücretsiz: Açık kaynak (MIT)
- Ücretli: Hiçbiri (yönetilen LlamaCloud ayrı olarak mevcuttur)
Platformlar: Python kütüphanesi
İndir: LlamaIndex
Sonuç: Önceden oluşturulmuş ön uçların sunduğunun ötesinde herhangi bir şey için bunu seçin. En dik öğrenme eğrisi, en yüksek tavan.
7. Msty — Yerleşik aramayla yerel-ilk masaüstü uygulaması için en iyi
Msty, sohbet arayüzünü, model yönetimini ve yerleşik web-arama modunu birleştiren tek indirmeli bir masaüstü uygulamasıdır. Herhangi bir sohbette “web’de ara"yı açın ve Msty sonuçları çıkarır ve bunları isteminize besler.
Ollama modelleri için tek tıklayın model yükleyici, hiç Docker veya terminaline dokunmamış biri için en kolay başlangıç noktasıdır.
Nerede başarısız olur: Ücretsiz katman bazı özellikleri sınırlar (çoklu model bölmeleri, çalışma alanları). Arama kaynağı tescilli.
Fiyatlandırma:
- Ücretsiz: Kişisel, temel özellikler
- Ücretli: Yaklaşık $10/ay Pro, $50 ömür boyu
Platformlar: Windows, macOS, Linux
İndir: Msty
Sonuç: Yerel bir LLM istenen ve bir terminale dokunmak istemeyen teknisyen olmayan bir kullanıcı için en iyi seçim web erişimi ile.
Doğru olanı seçme
En hızlı kurulumunu istiyorsanız: Msty. İndirin, kurun, web aramasını açın.
En yakın Perplexity yerine istiyorsanız: Perplexica + SearXNG. Docker Compose ile otuz dakika.
Zaten yerel bir LLM ön ucu çalıştırıyorsanız: Open WebUI, LibreChat veya AnythingLLM içinde web aramasını etkinleştirin. İkinci bir araç dağıtmaktan daha hızlıdır.
Özel AI uygulamaları oluşturuyorsanız: LlamaIndex. UI’leri tamamen atla.
Gizlilik öncelik ise: Ortada SearXNG, üçüncü taraf API’leri yok. Üstünde Perplexica veya Open WebUI.
FAQ
Hangi yerel LLM web tarafından artırılan yanıtları en iyi şekilde işler? Llama 3.1 8B veya Qwen 2.5 7B uyumlu çok kaynağa sentez için pratik minimumdur. 7B parametrenin altında, model çatışan kaynakları uzlaştırmak için mücadele eder. 30B’nin üzerinde, kalite marjinal olarak iyileşir ancak donanım talebı hızla artar.
Web araması için bir API anahtarına ihtiyacım var mı? Hayır. SearXNG artı yukarıdaki ön uçlardan herhangi biri harici hesaplar olmadan çalışır. Ücretli arka uçlar (Serper, Brave API, Tavily) sorgu başına daha güvenilir sonuçlar ve daha yüksek işleme verir.
Bunu LM Studio ile kullanabilir miyim?
LM Studio OpenAI uyumlu bir bitiş noktasını ortaya çıkarır. Perplexica, Open WebUI, LibreChat, AnythingLLM ve LlamaIndex hepsi buna bağlanır. Bunları http://localhost:1234/v1 adresine yönlendirin ve modeli seçin.
Web tarafından artırılan yerel LLM yerel belgeler üzerinde RAG’ten nasıl farklıdır? Yerel belgeler üzerinde RAG kendi dosyalarınızda arar. Web araması mevcut internet ile artırır. Yukarıdaki araçların çoğu aynı sohbetten her ikisini de yapar.
En iyi ücretsiz yerel LLM artı web arama yığını nedir? Ollama Llama 3.1 8B çalıştırıyor, Open WebUI ön uç olarak, SearXNG arama arka ucu olarak, Docker’da hepsi. Selamlar için ücretsiz, üçüncü taraf API gerekli değil.
Bunu 16GB RAM’li bir dizüstü bilgisayarda çalıştırabilir miyim? Evet Q4 nicelemede 7B ve 8B modelleri için. Daha büyük modeller 32GB veya daha fazlasını ister.