XDA bu ay yerel LLM sorusunu merkeze alan iki hikaye yayınladı: cihazda çalışan 284 milyar parametreli DeepSeek V4 Flash hakkında bir ev laboratuvarı yazısı ve Tailscale aracılığıyla her yerden erişilebilen yerel bir modele sahip olduktan sonra ChatGPT’yi terk etme hakkında bir takip. Her ikisi de aynı araçlara geri döner. Abonelik olmadan, makinenizden veri sızdırmadan ve hız sınırı olmadan yapay zeka istiyorsanız, masaüstünde yerel LLM çalıştırmak için en iyi uygulamalar 2026’da şaşırtıcı derecede kurulum olarak bitmiş durumdadır.
16 GB GPU’lu bir Windows 11 masaüstünde, bir M3 MacBook Pro’da ve bir Fedora iş istasyonunda sekiz uygulamayı test ettik. Her biri, çalışan bir modeli ne kadar hızlı çekebileceğiniz, karışık iş yükünü (sohbet, kod, uzun belgeler) ne kadar iyi işleyebildiği ve diğer araçlarla iyi oynadığı konusunda değerlendirilir.
Yerel LLM uygulamasında nelere bakmalısınız
- Model kataloğu. Uygulama, YAML yazmadan popüler açık ağırlıkları (Llama, Qwen, DeepSeek, Mistral, Gemma) çeker mi?
- Kuantizasyon ön ayarları. GGUF bayraklarıyla uğraşmadan 4-bit, 5-bit ve 8-bit quants çalıştırır.
- GPU boşaltma. NVIDIA, AMD veya Apple Silicon GPU’unuzu sorun olmadan kullanır.
- OpenAI uyumlu API. Böylece OpenAI API ile konuşan araçlar (VS Code Continue, Zed, Open WebUI, LangChain) takılabilir.
- Çok kullanıcılı veya tek kullanıcılı. Kişisel makine vs. ev sunucusunda küçük bir takım.
- RAG ve dosya sohbeti. Bir PDF veya klasör bırakın ve o içerikte yerleştirilmiş cevaplar alın.
Hızlı karşılaştırma
| Uygulama | İçin en iyisi | Platformlar | Ücretsiz plan | Ücretli | Derecelendirme |
|---|---|---|---|---|---|
| Ollama | En basit yerel model çalıştırıcı | Windows, macOS, Linux | Tamamen ücretsiz | Yok | 4.9 |
| LM Studio | Model keşfi + GUI sohbeti | Windows, macOS, Linux | Tamamen ücretsiz | Yok | 4.8 |
| Jan | Açık kaynaklı ChatGPT stili istemci | Windows, macOS, Linux | Tamamen ücretsiz | Yok | 4.6 |
| GPT4All | Yerel + bir uygulamada isteğe bağlı bulut | Windows, macOS, Linux | Tamamen ücretsiz | Yok | 4.5 |
| Msty | Modellerde bölünmüş sohbet karşılaştırması | Windows, macOS, Linux | Tamamen ücretsiz | Aurum $99 ömür boyu | 4.7 |
| AnythingLLM | Yerel modelleri bir uygulamaya dönüştürün | Windows, macOS, Linux | Tamamen ücretsiz | Bulut $50/ay dan | 4.6 |
| text-generation-webui | Power-user deneyimi | Windows, macOS, Linux | Tamamen ücretsiz | Yok | 4.4 |
| Open WebUI | Ollama üzerine ChatGPT stili UI | Windows, macOS, Linux | Tamamen ücretsiz | Yok | 4.8 |
Uygulamalar
1. Ollama — En basit yerel model çalıştırıcı için en iyisi
Ollama yerel LLM’leri rutin hale getiren yazılımdır. Kurun, ollama run llama3.2 çalıştırın ve sohbet ediyorsunuz. 11434 portunda OpenAI uyumlu bir API ile modelleri getirir, kuantize eder ve hizmet eder.
Nerede eksik kaldığı: Yerel sohbet GUI yok, sadece CLI artı API. Bunu bir sohbet arayüzü için Open WebUI veya Msty ile eşleştireceksiniz.
Fiyatlandırma:
- Ücretsiz: Tamamen ücretsiz, açık kaynak.
- Ücretli: Yok.
Platformlar: Windows, macOS, Linux.
İndir: ollama.com
Sonuç: Diğerlerinin inşa ettiği çalışma zamanı. Daha sofistike bir sohbet istemcisi de kurup kurmasanız bile burada başlayın.
2. LM Studio — Model keşfi + GUI sohbeti için en iyisi
LM Studio hepsi bir arada masaüstü uygulamasıdır: model tarayıcı (Hugging Face entegre), kuantizasyon seçici, sohbet UI ve yerel API sunucusu. Üç farklı DeepSeek quants’i yan yana denemek için en hızlı yoldur.
Nerede eksik kaldığı: Açık kaynak değil ve Linux desteği Windows/macOS’un gerisinde. Bazı kurumsal kullanım durumları ücretli bir düzenleme gerektirir.
Fiyatlandırma:
- Ücretsiz: Kişisel kullanım için tamamen ücretsiz.
- Ücretli: İş kullanımı için satışla iletişime geçin.
Platformlar: Windows, macOS, Linux.
İndir: lmstudio.ai
Sonuç: Kişisel bir makine için en iyi hepsi bir arada GUI. “Sadece yerel LLM’leri denemek isteyen” çoğu insanın kurması gereken şeydir.
3. Jan — Açık kaynaklı ChatGPT stili istemci için en iyisi
Jan açık kaynaklı, çevrimdışı-ilk ChatGPT klonudur. Kendi çıkarım motoru olan Cortex’te çalışır ve ayrıca Ollama, LM Studio ve OpenAI uyumlu uç noktalarla konuşabilir. Asistanlar, iş parçacıkları ve dosya yüklemeleri yerleşiktir.
Nerede eksik kaldığı: Bazı modeller hala el ile indirme adımı gerektirir. Windows’ta eski makinelerde başlatma yavaş olabilir.
Fiyatlandırma:
- Ücretsiz: Tamamen ücretsiz, açık kaynak.
- Ücretli: Yok.
Platformlar: Windows, macOS, Linux.
İndir: jan.ai
Sonuç: ChatGPT şeklinde tamamen yerel ve tamamen açık kaynaklı bir uygulama istiyorsanız seçim.
4. GPT4All — Yerel ve bulutla konuşan bir uygulama için en iyisi
GPT4All yerel GGUF modellerini çalıştıran ve istediğinizde OpenAI veya Groq’a yönlendirebilen dostça bir masaüstü sohbeti gönderir. LocalDocs, bir klasöre işaret etmenizi ve yerleştirilmiş cevaplar almanızı sağlar.
Nerede eksik kaldığı: Model kataloğu LM Studio’dan bir adım gerisinde. GPU boşaltma işe yarar ancak Windows’ta daha fazla tuş ayarı gerektirir.
Fiyatlandırma:
- Ücretsiz: Tamamen ücretsiz, açık kaynak.
- Ücretli: Yok.
Platformlar: Windows, macOS, Linux.
İndir: gpt4all.io
Sonuç: Şimdi yerel, yarın bulut yapabilen tek bir istemci isteyen biri için iyi bir seçim.
5. Msty — Modelleri yan yana karşılaştırmak için en iyisi
Msty iki veya üç model yanıtını bölünmüş bir görünümde yan yana yerleştirir. Qwen 2.5’in mi yoksa DeepSeek V3’ün mi prompt stiliniz için daha iyi olduğunu kararlaştırırken yararlıdır. Ollama, LM Studio ve bulut API’leriyle konuşur.
Nerede eksik kaldığı: Bazı gelişmiş özellikler ücretli Aurum seviyesinin arkasında. Açık kaynak değil.
Fiyatlandırma:
- Ücretsiz: Sohbet ve bölünmüş görünüm tamamen ücretsiz.
- Ücretli: Aurum $99 ömür boyu bilgi yığınlarını ve premium özellikleri açar.
Platformlar: Windows, macOS, Linux.
İndir: msty.app
Sonuç: Sık sık modelleri değerlendiriyorsanız ve onları tartışırken görmek istiyorsanız en iyi seçim.
6. AnythingLLM — Yerel modeli uygulamaya dönüştürmek için en iyisi
AnythingLLM yerel modelinizin arkasına tam bir RAG hattı koyar. Bir klasöre, web sitesine, Confluence’a veya Notion’a işaret edin ve bu içerikte aranan bir asistan olur. Ayrıca araç çağırabilen aracıları ortaya koymaktadır.
Nerede eksik kaldığı: Çok kaynaklı hatt kurulumu LM Studio’yu açmaktan daha uzun sürer. Cilalı bulut teklifi ücretlidir.
Fiyatlandırma:
- Ücretsiz: Masaüstü tamamen ücretsiz.
- Ücretli: AnythingLLM Cloud yaklaşık $50/ay’dan.
Platformlar: Windows, macOS, Linux.
İndir: anythingllm.com
Sonuç: Bir sohbet penceresi yeterli olmadığında ve belgeye dayalı bir asistana ihtiyaç duyduğunuzda bunu seçin.
7. text-generation-webui — Power-user deneyimi için en iyisi
oobabooga lezzeli text-generation-webui her hayal edilebilir arka uçu (llama.cpp, ExLlamaV2, transformers, TensorRT-LLM) destekleyen Gradio tabanlı arabirimdir. LoRA’lar, karakter kartları, ince ayar kancaları — burada hepsi.
Nerede eksik kaldığı: Öğrenme eğrisi gerçektir. Hatalar tüketici uygulaması değil araştırma deposu gibi okur.
Fiyatlandırma:
- Ücretsiz: Tamamen ücretsiz, açık kaynak.
- Ücretli: Yok.
Platformlar: Windows, macOS, Linux.
İndir: github.com/oobabooga/text-generation-webui
Sonuç: Her arka ucu her modelde çalıştırmak istiyorsanız bunu seçin. Rasgele kullanıcılar için değil.
8. Open WebUI — Ollama üzerine ChatGPT stili UI için en iyisi
Open WebUI bir Docker konteynırında çalışır ve Ollama veya herhangi bir OpenAI uyumlu uç noktaya işaret eden bir ChatGPT stili çok kullanıcılı web uygulaması sunar. RAG, işlevler ve paylaşılan konuşmaları destekler.
Nerede eksik kaldığı: Yerel masaüstü istemci değil bir web uygulamasıdır. Çalışma zamanını (Ollama) kendiniz getirirsiniz.
Fiyatlandırma:
- Ücretsiz: Tamamen ücretsiz, açık kaynak.
- Ücretli: Yok.
Platformlar: Windows, macOS, Linux (Docker’da çalışır).
İndir: openwebui.com
Sonuç: Modeli çalıştıran makine oturmakta olduğunuz makine olmadığında veya bir hane paylaşılan sohbet istediğinde en iyi seçim.
Doğru olanı seçme
En basit çalışan kurulum istiyorsanız: Ollama + Open WebUI. Ollama modeli sunar, Open WebUI size sohbeti verir. Birer komut.
Tek bir masaüstü uygulaması istiyorsanız: LM Studio. En yumuşak hepsi bir arada.
Açık kaynak önemliyse: Jan veya Ollama + Open WebUI. Her ikisi de tamamen açık, her ikisi de cilalı.
Modelleri karşılaştırmak istiyorsanız: Msty. Bölünmüş görünüm ölüm özelliğidir.
Yerel modellerle bir şey inşa etmek istiyorsanız: AnythingLLM veya text-generation-webui. Her ikisi de bir API yüzeyi ve eklenti hikayesi verir.
Tailscale üzerindeyseniz ve evden ChatGPT istiyorsanız: masaüstünüzde Ollama çalıştırın, Open WebUI‘i aynı kutuya koyun, ağınız üzerinden açığa çıkarın ve telefon sonunda modelinize ChatGPT’ye ulaştığı şekilde ulaşır.
SSS
En iyi ücretsiz yerel LLM uygulaması nedir? Çalışma zamanı için Ollama, GUI istiyorsanız LM Studio. Her ikisi kişisel kullanım için ücretsizdir.
Hangi modeli ilk çalıştırmalıyım? Mütevazı donanımda genel amaçlı başlatıcı için Llama 3.2 8B, 12 GB VRAM veya daha fazla varsa Qwen 2.5 14B ve kodlama görevleri için DeepSeek V3.
Bana GPU gerekli mi? Hayır ama yardımcı olur. Sadece CPU çıkarımı küçük modeller için çalışır. 12 GB VRAM GPU’su (veya Apple Silicon’da 24 GB birleştirilmiş bellek) ilginç orta boy modelleri açar.
VS Code veya Zed’de yerel LLM kullanabilir miyim? Evet. Continue uzantısını Ollama’nın OpenAI uyumlu uç noktasına işaret edin veya Zed’in satır içi asistanını aynı uç noktayla kullanın.
Bu uygulamaları çevrimdışı kullanmak güvenli mi? Bu işin amacı budur. Ollama, Jan, LM Studio ve GPT4All’ın hepsi model indirildikten sonra internet bağlantısı olmadan çalışır.
