Yerel bir LLM’yi PDF’leriniz, notlarınız ve kodunuz hakkındaki soruları gerçekten cevaplayacak şekilde ayarlamak, bir demoyu iş akışından ayırır. “Model yazılım donanımımda çalışıyor” ile “model belgelerimi okuyor ve yanıtlarına güveniyorum” arasındaki boşluk, gömülü vektörler, geri alma ve her iddia kaynağını gösteren bir sohbet arayüzüdür. Üç parçayı da sunan ve verileri makinede tutan sekiz masaüstü uygulamasını karşılaştırdık.
Liste, normal uygulamalar gibi davranış gösteren yerel yükleyicileri, Ollama’nın yanında yaşayan kendi kendine barındırılan tarayıcı araçlarıyla karıştırıyor ve kodu içinde RAG ardışık düzenini görmek isteyenler için bir Python ağırlıklı seçeneği içeriyor.
Yerel belge-sohbet uygulamasında ne aranmalı
Belgeler oyuna girdiğinde, araç modelden daha önemlidir. Ara:
- Yerli belge alımı. Minimum olarak PDF, Word, Markdown ve düz metin. Kaynak malzeme karışıksa HTML ve PowerPoint.
- Diskte Vector store. Gömülü vektörler yerel olarak yaşamalı, uzak bir veritabanında değil.
- Alıntı yüzeyleme. Yanıt, doğrulayabilmeniz için hangi parçadan geldiğini göstermeli. Kaynağı gizleyen araçlar halüsinasyonlarla kumara oynuyorlar.
- Model taşınabilirliği. Yerel çalışma zamanları (Ollama, llama.cpp, MLX) arasında geçiş yapabilmek her şeyi yeniden yüklemeden.
- Chunking kontrolü. Varsayılan bölücü uzun tablolar ve kodda başarısız olur. YAML düzenlemeden chunk boyutunu ve örtüşmeyi ayarlamanıza izin veren araçlar daha yüksek puan alır.
- Workspace veya klasör kapsamı. Her belgeyi bir kovaya atmadan “yalnızca bu projeden cevap ver” diyebilmek.
Hızlı karşılaştırma
| Uygulama | Yükleme | Yerel çalışma zamanı | Vector store | Alıntılar |
|---|---|---|---|---|
| AnythingLLM | Yerel veya Docker | Ollama, LM Studio, uzak | LanceDB, diskte | Evet |
| GPT4All | Yerel | llama.cpp yerleşik | Yerel | Evet |
| LM Studio | Yerel | llama.cpp ve MLX | Temel PDF sohbeti | Sınırlı |
| Open WebUI + Ollama | Docker | Ollama | pgvector veya ChromaDB | Evet |
| Jan | Yerel | Cortex (llama.cpp) | Yerel (uzantılar) | Evet |
| PrivateGPT | Python | llama.cpp, Ollama | Qdrant, Chroma | Evet |
| Msty | Yerel | Ollama, LM Studio, uzak | Knowledge Stacks | Evet |
| Chatbox | Yerel | Ollama, uzak | Temel RAG | Sınırlı |
1. AnythingLLM — Workspace kapsamlı belge RAG için en iyi
AnythingLLM yerel modeller için özel olarak oluşturulmuş bir belge çalışma alanı gibi şeydir. Bir çalışma alanı oluşturun, dosyaları bırakın, yerel bir model seçin ve uygulama kaynak PDF sayfasına işaret eden alıntılarla chunking, gömülü vektörler ve geri almayı işler. Ajanlar web’de arama yapabilir veya araçları çağırabilir ve izinler modelleri ve belgeleri belirli çalışma alanlarına kapsamlandırmanıza izin verir.
Eksik olduğu yerleri: masaüstü uygulaması bazen büyük güncellemelerden sonra gömülü vektörleri sıfırlamıştır. Ayarlar paneli büyümeye devam ediyor.
Fiyatlandırma:
- Ücretsiz masaüstü uygulaması.
- Barındırılan çalışma alanları için bulut katmanı, isteğe bağlı.
İndir: anythingllm.com
Sonuç: amaç “bir modeli belgelerime yönlendirin ve alıntıları geri alın” ise en güçlü varsayılan seçim.
2. GPT4All — Tek kurulum çevrimdışı sohbet için en iyi
GPT4All üç masaüstü için de yerel yükleyici sağlar, llama.cpp çalışma zamanını paketler ve bir klasörü indeksleyen ve ilgili parçaları sohbete enjekte eden LocalDocs özelliğini içerir. Gömülü vektör modeli de dahil olmak üzere kutunun dışında her şey çevrimdışı çalışır.
Eksik olduğu yerleri: geri alma temeldir, yeniden sıralamaksızın top-K. Uzun belgeler çalışma alanı odaklı araçlardan daha agresif bir şekilde kesilir.
Fiyatlandırma:
- Ücretsiz.
- Kurumsal destek katmanı mevcuttur.
İndir: nomic.ai/gpt4all
Sonuç: öncelik “bir şey yükle ve bir klasörle sohbete başla” olduğunda en kolay entegrasyon.
3. LM Studio — Herhangi bir yerel model ile tek PDF sohbeti için en iyi
LM Studio çoğu insanın yerel bir model çalıştırmak için kullandığı araçtır ve son sürümler, tam bir çalışma alanı konsepti olmadan tek belge S&J’si işleyen PDF ile sohbet modu eklenmiştir. Katalog makinenin RAM’i için doğru nicemlemeyi yüzeye çıkarır ve yerleşik OpenAI uyumlu sunucu diğer araçların aynı modeli kullanmasına izin verir.
Eksik olduğu yerleri: kalıcı çok belge çalışma alanları yok. Her oturum yeni başlar.
Fiyatlandırma:
- Kişisel kullanım için ücretsiz.
- Ticari kullanım LM Studio ekibine başvurmayı gerektirir.
İndir: lmstudio.ai
Sonuç: “işte bir PDF, soruları cevapla” için bunu seçin ve çalışma alanı tarafı önemli olduğunda AnythingLLM ile eşleştirin.
4. Ollama ile Open WebUI — RAG ile kendi kendine barındırılan takım sohbeti için en iyi
Open WebUI Ollama’nın önünde oturan, belge yüklemeyi ekleyen ve gömülü vektörleri pgvector veya ChromaDB’de depolayan ChatGPT tarzı bir tarayıcı arayüzüdür. Multi-kullanıcı auth, kullanıcı başına bilgi koleksiyonları ve yeniden sıralama için ardışık düzenler, bir kişinin evde kullandığı aynı kurulumu isteyen takımlar için uygun hale getirir.
Eksik olduğu yerleri: Docker artı Ollama artı veritabanı yerel uygulamadan daha fazla kurulumudur.
Fiyatlandırma:
- BSD-3 altında ücretsiz ve açık kaynak.
İndir: openwebui.com
Sonuç: birden fazla kişinin aynı belge bilgi tabanına erişmesi gerektiğinde doğru seçim.
5. Jan — Açık kaynaklı LM Studio için en iyi
Jan LM Studio’nun açık kaynak alternatifidir: yerel yükleyici, yerleşik llama.cpp, model kataloğu ve topluluk uzantıları aracılığıyla RAG ekleyen bir eklenti sistemi. Çekirdek küçüktür ve topluluk geri kalanını doldurur.
Eksik olduğu yerleri: belge sohbeti çekirdek yerine uzantılarda yaşar, bu nedenle kurulum ekstra bir adım alır.
Fiyatlandırma:
- AGPL altında ücretsiz ve açık kaynak.
İndir: jan.ai
Sonuç: kapalı kaynak bir anlaşma kırıcı ise ve LM Studio’nun polisini istemiyorsanız bunu seçin.
6. PrivateGPT — RAG ardışık düzenin kod düzeyi kontrolü için en iyi
PrivateGPT “senin belgeler, senin model, senin makine” taramasını popüler hale getiren Python projesidir. Alım ardışık düzeni, bölücü, gömülü vektör üretici, vektör depolama (Qdrant, Chroma veya Postgres) ve model çalışma zamanı üzerinde tam kontrol sağlar. Her katman değiştirilebilir.
Eksik olduğu yerleri: Python kurulumu, yerel uygulama değil. En iyi bir kütüphane ve başlangıç arayüzü olarak ele alınır, shrink-wrap ürünü değil.
Fiyatlandırma:
- Apache 2.0 altında ücretsiz ve açık kaynak.
İndir: github.com/zylon-ai/private-gpt
Sonuç: RAG ardışık düzeni kendisi yineleme yapmaya değer, sohbet arayüzü değil.
7. Msty — Birden fazla yerel modeldan yanıtları karşılaştırmak için en iyi
Msty Windows, macOS ve Linux için bölünmüş görünüm sohbeti etrafında inşa edilen yerel bir masaüstü uygulamasıdır: aynı soruyu iki veya üç modele gönderin ve yanıtlarını yan yana karşılaştırın. Bilgi Yığınları belgeleri herhangi bir sohbetinin başvurabileceği adlandırılmış bağlamlara gruplandırır, yerel gömülü vektörler ve alıntı yüzeyleme ile.
Eksik olduğu yerleri: kapalı kaynak. Bazı ileri özellikleri ücretli bir katman üzerindedir.
Fiyatlandırma:
- Temel özellikleri olan ücretsiz katman.
- Gelişmiş senkronizasyon ve genişletilmiş özellikler için Aurum ücretli katmanı.
İndir: msty.app
Sonuç: soru “hangi yerel model bunu en iyi cevaplandırıyor” ve yan yana karşılaştırma iş akışı olduğunda kullanılacak araç.
8. Chatbox — Hafif çapraz platform sohbet istemcisi için en iyi
Chatbox Ollama, LM Studio ve OpenAI uyumlu uç noktalara bağlanan küçük, çapraz platform bir masaüstü sohbet istemcisidir. Bir belgeseye veya klasöre PDF ekleyebilmenize izin veren temel bir RAG özelliği ekledi, geri alma bağlı model aracılığıyla çalışıyor.
Eksik olduğu yerleri: RAG temeldir. Kalıcı çalışma alanı yok, gelişmiş geri alma ayarları yok.
Fiyatlandırma:
- Ücretsiz masaüstü uygulaması.
- Barındırılan senkronizasyon için ücretli bulut katmanı.
İndir: chatboxai.app
Sonuç: Ollama zaten çalışıyorken ve eksik parça PDF ekini de işleyen bir istemci olduğunda hafif seçim.
Doğru olanı seçme
Minimum hava sürünmesi ile ilk kurulum için GPT4All kullanın. Alıntılarla çalışma alanı kapsamlı RAG için AnythingLLM varsayılandır. Bir ekibin aynı kuruluma ihtiyacı varsa Ollama’nın üzerinde Open WebUI çalıştırın. Hızlı tek PDF sohbeti için LM Studio bunu satır içinde işler. Ardışık düzen deneme için PrivateGPT her düğmesini verir. Modelleri karşılaştırmak herhangi bir tek yanıttan daha önemli olduğunda Msty seçimidir. Chatbox Ollama zaten çalışıyorken hafif istemcidir.
FAQ
Yerel belge sohbeti için en iyi ücretsiz uygulama nedir?
En kolay kurulum için GPT4All, çalışma alanları için AnythingLLM ve bir takım söz konusu olduğunda Open WebUI. Üçü de ücretsizdir.
Bu uygulamaları çevrimdışı çalıştırabilirim?
Evet. Bu listedeki her araç modeli, gömülü vektör üreticiyi ve vektör deposunu yerel olarak çalıştırır. İlk model indirme bir bağlantı gerektirir, ancak sohbetin kendisi çevrimdışı çalışır.
Hangi uygulamanın en iyi PDF sohbeti vardır?
AnythingLLM ve Open WebUI alıntılarla çok PDF çalışma alanlarını işler. LM Studio en iyi tek PDF tek atışıdır. GPT4All’un LocalDocs özelliği ekstra kurulum olmadan klasör düzeyinde sohbeti kapsar.
Belgelerimle sohbet etmek için GPU’ya ihtiyacım var mı?
Hayır, ancak performans modele bağlıdır. Küçük modeller (3B’den 8B parametreye kadar) modern CPU’larda kabul edilebilir şekilde çalışır. Daha büyük modeller llama.cpp veya Apple Silicon üzerinde MLX aracılığıyla GPU boşaltmadan fayda sağlar.
Yerel belge sohbeti için en iyi model nedir?
Orta boyutlu instruction-tuned modelleri belge S&J’si iyi işler. Llama, Mistral ve Qwen ailelerinden son open-weight modelleri yukarıdaki araçlarla çalışır. Doğru seçim makinenin bellek tavanına bağlıdır.
