Yerel LLM’ler bir zamanlar bir uzlaşı gibi hissettiriyorlardı. Model kalitesini gizlilik ve token başına fatura olmadığı için feda ediyordunuz. Akıl yürütme modelleri bunu tersine çevirdi. DeepSeek R1 damıtma yapıyor, Qwen 3 düşünme modu ile ve GPT-OSS’nin hepsi son cevaplarından önce görünür düşünce zinciri izleri üretiyor ve daha küçükleri 16GB dizüstü bilgisayarda çalışıyor. Darboğaz artık model değil. Bu, bunu yüklemek, sunmak ve bununla sohbet etmek için kullandığınız masaüstü uygulamasıdır. Aynı donanımda sekizini test ettik ve bunlar yüklenmeye değer yedi tanesidir.
Akıl yürütme LLM’ler için bir uygulamada ne aranmalı
- Birinci sınıf düşünme modu görüntüsü. Akıl yürütme modelleri
<think>blokları yayınlarlar. İyi uygulamalar konuşma başına bu blokları göstermenize veya gizlemenize izin verir. - Model kataloğu ve quant yönetimi. Tıklanmış ağırlıkları yapılandırma dosyalarını elle düzenlemeden aramak, çekmek ve silmek istiyorsunuz.
- Çevrimdışı çalışır. Bütün nokta yerel bir çıkarım yığını. Bulut oturumu açması gerekli olmamalıdır.
- Bir OpenAI uyumlu API. Böylece aynı model sohbet pencerenizi ve herhangi bir editörü, aracıyı veya betiği güçlendirir.
- GPU ve CPU geri dönüşü. NVIDIA CUDA, Apple Metal, Linux’ta AMD ROCm ve GPU olmayan makineler için CPU-only yolu işler.
- Makul varsayılanlar. Akıl yürütme modelleri bağlamı tüketir. Uygulama bunu bilmek zorunda olmadan büyük bir bağlam penceresi ayarlamalıdır.
Hızlı karşılaştırma
| Uygulama | Kimdeki en iyisidir | Platformlar | Ücretsiz plan | Başlangıç fiyatı/ay | Not |
|---|---|---|---|---|---|
| Ollama | Terminalde yaşayan geliştiriciler | Windows, macOS, Linux | Evet | Ücretsiz | Herhangi bir modeli OpenAI uyumlu bir bitiş noktası aracılığıyla sunur |
| LM Studio | Model tarama GUI | Windows, macOS, Linux | Evet | Ücretsiz | En iyi etkileşimli model kataloğu |
| Jan | Özel ChatGPT değiştirmesi | Windows, macOS, Linux | Evet | Ücretsiz | Varsayılan olarak tamamen yerel, telemetri yok |
| Msty | Yan yana çok modelli sohbet | Windows, macOS, Linux | Evet | Pro için $9 ömür boyu | Aynı anda birden çok model ile sohbet eder |
| Open WebUI | Ekip için kendi kendine barındırılan UI | Docker her yerde | Evet | Ücretsiz | Ollama’yı paylaşılan bir çalışma alanına dönüştürür |
| GPT4All | Tam başlayanlar | Windows, macOS, Linux | Evet | Ücretsiz | Tek tıklamayla kurulum, seçilmiş model listesi |
| Text Generation WebUI | İleri kullanıcılar ve ince ayar | Windows, macOS, Linux | Evet | Ücretsiz | En derin örnekleme ve LoRA kontrolleri |
Uygulamalar
1. Ollama - Terminalde yaşayan geliştiriciler için en iyisi
Ollama bu listenin çoğu uygulamasının bağlandığı temel katmandır. Arka plan hizmeti olarak çalışır, localhost:11434 üzerinde OpenAI uyumlu bir API açığa çıkarır ve ollama pull deepseek-r1:14b gibi tek bir komut ile modelleri çeker. Akıl yürütme modelleri birinci sınıf vatandaşlardır: CLI canlı <think> çıktısını gösterir ve Qwen 3 ve GPT-OSS’de düşünme modunu etkinleştirmek için bir /set think açma/kapatma düğmesi vardır.
Yetişemediği yer: sohbet UI’si bir terminaldir, geliştiriciler için iyidir ve başka herkes için işe yaramaz. Model kart belgelerini veya karşılaştırmaları yönetmez.
Fiyatlandırma:
- Ücretsiz: her şey
- Ücretli: hiçbiri
Platformlar: Windows, macOS, Linux, Docker
İndir: ollama.com
Sonuç: bunu önce yükleyin, sonra üstüne bir GUI ekleyin. Asla komut satırı görmek istemiyor iseniz atla.
2. LM Studio - Modelleri tarama ve test için en iyi GUI
LM Studio ne olduğunu görmek istediğinizde açılacak uygulamadır. Uygulamaya ait kataloğu Hugging Face model listesini makul filtreler, önizlemeler ve quant tavsiyeleriyle kaydırır. Sohbet penceresi bir daraltılabilir bölümde düşünme bloklarını gösterir ve yerel sunucu modu Ollama ile aynı OpenAI uyumlu bitiş noktasını açığa çıkarır, böylece Cursor veya Continue gibi araçlar fark etmeden ona işaret edebilir.
Yetişemediği yer: uygulama kapalı kaynaktır. Bu sizin için önemliyse bunun yerine Jan’ı kullanın.
Fiyatlandırma:
- Ücretsiz: kişisel kullanım için tam uygulama
- Ücretli: LM Studio for Work, teklif edilen, ekip dağıtımları için
Platformlar: Windows, macOS, Linux
İndir: lmstudio.ai
Sonuç: akşam yemeğinden önce beş akıl yürütme modelini denemek için en hızlı yol.
3. Jan - Özel ChatGPT kopyası isteyenler için en iyisi
Jan ChatGPT gibi görünür ve hissettiriyor, ancak her ileti diskinizde kalıyor. Uygulama Apache 2.0 altında açık kaynaktır, OpenAI uyumlu bir sunucu gönderir ve üst DeepSeek ve Qwen girişlerinde akıl yürütme modeli etiketleri olan bir uygulama içi model merkezinden çeker. Uzantılar web araması veya kod yorumlayıcı davranışı ekler, bunların hiçbiri varsayılan olarak bir bulut bitiş noktasına dokunmaz.
Yetişemediği yer: model kataloğu LM Studio’nunkinden daha küçüktür. Gelişmiş örnekleme parametreleri geçişlerin arkasında gizlenmiştir.
Fiyatlandırma:
- Ücretsiz: tam uygulama
- Ücretli: hiçbiri
Platformlar: Windows, macOS, Linux
İndir: jan.ai
Sonuç: gizlilik ChatGPT’den ayrılmanızın nedeni olduğunda doğru seçim.
4. Msty - Akıl yürütme modellerini yan yana karşılaştırmak için en iyisi
Msty aynı anda iki veya üç model aracılığıyla aynı istemi çalıştıran bir bölünmüş görünüm sohbeti gönderir. DeepSeek R1 14B’nin Qwen 3 8B’den daha fazla VRAM değeri olup olmadığına karar vermeye çalışırken, aynı ekranda her iki yanıtı, her iki <think> izini ve her iki zamanı görmek saatlerce testi dakikalara sıkıştırır. Ayrıca uzak API’leri destekler, bu nedenle yerel bir akıl yürütme modeli aynı konuşmada bulut sınır modeliyle karşılaştırılabilir.
Yetişemediği yer: bölünmüş görünüm daha fazla RAM kullanır. Pro özellikleri tek seferlik bir lisansın arkasında gated.
Fiyatlandırma:
- Ücretsiz: tek modelli sohbet, sınırsız yerel modeller
- Ücretli: Msty Pro için $9 bir kez, çok modelli bölünmeleri ve bilgi yığınlarını ekler
Platformlar: Windows, macOS, Linux
İndir: msty.app
Sonuç: ilk kez bunu istemiyor iseniz $9 kilidini açın.
5. Open WebUI - Yerel bir LLM’yi ekip ile paylaşmak için en iyisi
Open WebUI Ollama’yı kullanıcı hesapları, sohbet geçmişi ve RAG ile paylaşılan bir çalışma alanına dönüştürür. Akıl yürütme modelleri temiz şekilde işlenir, <think> varsayılan olarak çöker ve yöneticiler her kullanıcının hangi modellere erişebileceğini kısıtlayabilir. Docker’da tek satırda çalışır, LAN üzerinde aynı UI’yı açığa çıkarır ve modeli barındıran bir iş istasyonu ile dizüstü bilgisayarlar tarayıcı aracılığıyla bağlanırken iyi eşleşir.
Yetişemediği yer: kurulum masaüstü uygulamalarından daha ağırdır. Docker ve ters bir proxy veya adanmış bir port gereklidir.
Fiyatlandırma:
- Ücretsiz: MIT lisanslı, kendi kendine barındırılan
- Ücretli: hiçbiri
Platformlar: Windows, macOS, Linux üzerinde Docker
İndir: openwebui.com
Sonuç: birden fazla kişinin aynı yerel modele ihtiyacı olduğunda seçim.
6. GPT4All - Öğrenme eğrisi olmayan ilk kurulum için en iyisi
GPT4All Nomic AI’dan bir akıl yürütme modeli çalıştırmanın en az sürtüşmeli yolu. Uygulamayı yükleyin, bir modele tıklayın, sohbet etmeye tıklayın. Katalog küratörlüğü yapılır (yüzler yerine yaklaşık bir düzine model), bu insanlar için quant hakkında düşünmek istemeyenler için bir özelliktir. LocalDocs üç tıklamada dosyaların bir klasörünün üstüne RAG ekler.
Yetişemediği yer: seçilmiş katalog ileri kullanıcıların istediği modelleri dışarıda bırakır. GPU’da Ollama’nın gerisinde performans.
Fiyatlandırma:
- Ücretsiz: tam uygulama
- Ücretli: hiçbiri
Platformlar: Windows, macOS, Linux
İndir: gpt4all.io
Sonuç: ebeveynin veya meslektaşın makinesine yüklenecek uygulama.
7. Text Generation WebUI - İleri kullanıcılar ve ince ayar için en iyisi
Text Generation WebUI (oobabooga) etrafında oynamak isteyenlerin uygulamasıdır. Her örnekleme parametresini açığa çıkarır, LoRA yüklemeyi destekler ve llama.cpp, ExLlamaV2, Transformers ve vLLM arasında arka uçları değiştirir. Quant biçimlerini karşılaştırmak veya özel durdurma jetonları ile bir akıl yürütme modeli çalıştırmak istiyorsanız, bu kaynağı yamalamadan bunu yapmanıza izin veren uygulamadır.
Yetişemediği yer: UI çoktur. Her akıl yürütme modeli istemi el ile seçilen uyumlu bir talimat şablonu gerektirir.
Fiyatlandırma:
- Ücretsiz: AGPL v3
- Ücretli: hiçbiri
Platformlar: Windows, macOS, Linux
İndir: github.com/oobabooga/text-generation-webui
Sonuç: Hugging Face model kartlarını eğlence için okuyan insanlar için uygulama.
Doğru seçimi yapmanın yolu
- Sadece dizüstü bilgisayarınızda en hızlı akıl yürütme modeli sohbeti istiyorsanız: LM Studio.
- Buluta hiçbir şey saklamayan bir ChatGPT kopyası istiyorsanız: Jan.
- Yerel bir model etrafında araçlar oluşturuyor ve OpenAI uyumlu bir sunucu gerekiyorsa: Ollama.
- Modeli bir ekiple paylaşıyorsanız: Ollama’nın üstünde Open WebUI.
- Aynı istemde iki akıl yürütme modelini karşılaştırmak istiyorsanız: Msty.
- Bunu hiç yerel model kullanmayan birinin makinesine yüklüyorsanız: GPT4All.
- Quant ve LoRA ile oynamak istiyorsanız: Text Generation WebUI.
Sıkça Sorulan Sorular
DeepSeek R1’i yerel olarak çalıştırmak için en iyi ücretsiz uygulama nedir?
Sohbet istemcisi olarak Ollama with LM Studio veya Jan. Ollama R1 destilasyonlarını çeker ve sunar ve hem LM Studio hem de Jan <think> bloklarını temiz şekilde işler.
GPU olmadan dizüstü bilgisayarda bir akıl yürütme LLM çalıştırabilir miyim? Evet, daha küçük modellerde. GPT4All ve Ollama her ikisi de CPU’ya geri dönerler. Modern bir dizüstü bilgisayarda 7B veya 8B akıl yürütme distilasyonu için saniye başına 3 ila 8 belirteci bekleyin.
Hangi yerel LLM uygulaması düşünce zincirini gösterir?
LM Studio, Msty, Jan ve Open WebUI’nin hepsi <think> bloklarını daraltılabilir bir bölümde işler. Ollama bunları varsayılan olarak terminalinde gösterir.
Bu uygulamalar çevrimdışı çalışıyor mu? Yedisinin hepsi. Ollama, Jan, GPT4All ve Text Generation WebUI model indirmesinden sonra hiç ağ gerektirmez. LM Studio ve Msty yalnızca isteğe bağlı katalog güncellemeleri için eve telefonlar.
Msty Pro seviyesi için $9 değer midir? Haftada bir kez den fazla model karşılaştırıyorsanız evet. Çok modelli bölünmüş görünüm tek başına fiyatı haklı çıkarır, ilk kez bir kıyaslama elektronik tablosunu atlamak için bunu kullandığınızda.
