XDA, Gemma 4’ü aynı masaüstündeki Qwen 3.5 ile karşılaştırmaya bir hafta harcadı ve yorum dizini daha sessiz bir noktayı kanıtladı: çoğu okuyucu zaten yerel bir LLM yığınını çalıştırmaktadır. Kategori hobi oyuncaklarını geride bırakmıştır. Niceliklendirilmiş 7B ve 14B modelleri kod incelemesi, özetleme ve rutin yazı için yeterince iyidir, orta ölçekli MoE modellerinin yeni dalgası kapalı sınır modellerine olan mesafeyi daraltmıştır ve llama.cpp’yi sarmalayan uygulamalar gerçek yazılım gibi görünmeye başlamıştır.
Windows, macOS ve Linux’ta yerel LLM’leri çalıştırmak için 8 en iyi uygulamayı test ettik. Kıyaslama sıkıcı şeylerdi: Ryzen dizüstü bilgisayarda bir modeli ne kadar hızlı başlatırlar, RTX kartında GPU boşaltmayı ne kadar temiz işlerler, sohbet arayüzü gerçekten güzel mi, ve bir sonraki büyük model geldiğinde ne kadar kırılırlar. Bu kategoride fiyat her zamankinden daha az önemlidir çünkü çoğu güçlü seçenek ücretsizdir.
Yerel LLM uygulamasında ne aramalı
Birkaç kriter, günlük kullanımının bir haftasını yaşayan araçları kaldırılanlardan ayırır:
- Arka uç taşınabilirliği. llama.cpp fiili standarttır. Bunu temiz bir şekilde saran uygulamalar hata düzeltmelerini ücretsiz olarak alırlar. Kendi çatallarını koruyan uygulamalar yeni model mimarilerinde geride kalırlar.
- Nicelikleştirme desteği. GGUF gerçekten gönderilen formattır. Bir uygulama yeni bir GGUF dosyasını yükleyemezse, bu çıkmaz bir yoldur.
- GPU boşaltma. Nvidia’da CUDA, AMD’de ROCm, Apple Silicon’da Metal. Araçlar, her birinin ne kadarını gerçekten kullandıklarında çok farklılık gösterir.
- Sohbet UI’ye karşı API. Bazı kullanıcılar cilalı bir sohbet penceresi ister. Diğerleri editör uzantılarına bağlamak için yerel bir OpenAI uyumlu uç nokta isterler. En güçlü uygulamalar her ikisini de sunmaktadır.
- Model keşfi. Hugging Face kataloğudur. Aramayı ve tek tıklamayla indirmeyi fırlatırlar, gerçek zamanda tasarruf sağlayan uygulamalar.
- Gizlilik duruşu. Bazı uygulamalar tamamen çevrimdışı çalışır. Diğerleri varsayılan olarak analizler için eve telefon eder ve durdurmak için bir bayrak gerekir.
Hızlı karşılaştırma
| Uygulama | En iyi | Platformlar | Ücretsiz plan | Öne çıkan özellik |
|---|---|---|---|---|
| Ollama | Tek satırlı yüklemeler ve komut dosyası yapabileceğiniz CLI | Windows, macOS, Linux | Evet (açık kaynak) | localhost’ta OpenAI uyumlu API |
| LM Studio | Yerleşik model araması ile cilalı sohbet UI’si | Windows, macOS, Linux | Evet (kişisel kullanım için ücretsiz) | Nicelik filtreleme ile Hugging Face entegrasyonu |
| Jan | Çevrimdışı modu kaydeden tamamen açık kaynaklı sohbet istemcisi | Windows, macOS, Linux | Evet (açık kaynak) | Telemetri yok ve temiz ayarlar hikayesi |
| GPT4All | GPU’suz dizüstü bilgisayarlar için hafif sohbet | Windows, macOS, Linux | Evet (açık kaynak) | Düşük RAM makineleri için CPU birinci nicelikler |
| Msty | Yan yana karşılaştırmalar için çok modelli bölme görünümü | Windows, macOS, Linux | Evet (ücretsiz katman) | Bir pencerede iki yerel modeli karşılaştırın |
| Open WebUI | Tarayıcıda çalışan kendini barındıran sohbet ön yüzü | Docker (herhangi bir işletim sistemi) | Evet (açık kaynak) | Çoklu kullanıcı modu ve sohbet başına model değiştirme |
| Llamafile | Model başına tek bir yürütülebilir, yükleyici yok | Windows, macOS, Linux | Evet (açık kaynak) | Bir dosyaya çift tıklayarak modeli çalıştırın |
| Text Generation WebUI | Sampler ayarlaması ve uzantıları olan güç kullanıcısı oyun alanı | Windows, macOS, Linux | Evet (açık kaynak) | Nesil parametreleri üzerinde en derin kontrol |
Masaüstünde yerel LLM’leri çalıştırmak için 8 en iyi uygulama
1. Ollama — günlük kullanım için en iyi tek satırlı kurulum
Ollama, kategorinin varsayılana en yakın olanıdır. Tek bir yükleyici bir CLI ve arka plan hizmeti bırakır, ardından ollama run llama3.2 niceliklendirilmiş bir model çeker ve sohbeti başlatır. Aynı daemon, localhost:11434’te OpenAI uyumlu bir API’yi ortaya çıkarır, bu da OpenAI konuşan her editör uzantısının ve not defterinin değişiklik olmadan çalışması anlamına gelir. Model kitaplığı, makul varsayılan niceliklerle çoğu popüler aileyi kapsar.
Eksik olduğu yer: Birinci taraf UI minimumdur. Ollama bir runtime’dır, bir sohbet uygulaması değildir, bu nedenle ona bir terminalden konuşursunuz veya bunu ayrı bir ön uç ile eşleştirirsiniz. Özel istemler ve şablonlar Modelfile’de yaşar, bu güçlüdür ancak bir adım ekler.
Fiyatlandırma:
- Ücretsiz: açık kaynak, lisans ücreti yok
- Ödeme: hiçbiri
Platformlar: Windows, macOS, Linux
İndir: ollama.com
Alt çizgi: “Sadece çalışan” bir arka uç istiyorsanız ve kendi UI’nizi getirmekten mutluysa yerel LLM’ler için Ollama’yı seçin.
2. LM Studio — yerleşik model araması ile en iyi sohbet UI’si
LM Studio, çoğu insanın web demolarını geçtikten sonra iner olduğu cilalı sohbet istemcisidir. Model tarayıcısı doğrudan Hugging Face’e bağlanır, nicelik seviyesi ve mimariye göre filtreler ve bir dosyanın gerçekten sizin VRAM’ınıza sığıp sığmayacağını gösterir. Sohbet penceresi sistem istemlerini, ön ayarları, çok dönemli düzenlemeyi ve Ollama’nın sunduğu aynı OpenAI uyumlu uç noktayı ortaya çıkaran yerel bir sunucu modunu destekler.
Eksik olduğu yer: Lisans kişisel kullanım için ücretsiz ancak ticari bağlamlar için ücretli bir plan gerektirir, bu da şirketteki bir dizüstü bilgisayara koymadan önce bilmek değerdir. Uygulama kapalı kaynaklıdır.
Fiyatlandırma:
- Ücretsiz: kişisel kullanım
- Ödeme: ticari kullanım için İş planı
Platformlar: Windows, macOS, Linux
İndir: lmstudio.ai
Alt çizgi: Model keşfi, nicelik seçimi, sohbet ve yerel API’yi işleyen tek bir pencere istiyorsanız yerel LLM’ler için LM Studio’yu seçin.
3. Jan — en iyi tamamen açık kaynaklı sohbet istemcisi
Jan, bir takımın LM Studio deneyimini sıfırdan açık kaynak olarak inşa ettiğinde olan şeydir. Model mağazası kuratörlüdür, sohbet UI temizdir ve projenin telemetri olmaksızın tamamen çevrimdışı çalışacak bir politikası belirtilmiştir. Ayarlar paneli, hangi anahtarların ağ çağrılarını etkilediğini açık hale getirir, bu bu kategoride alışılmadındır.
Eksik olduğu yer: Performans, aynı donanımda LM Studio’dan bir kıl kadar geride kalmaktadır, kısmen takım hiper spesifik GPU ayarlamadan ziyade taşınabilirliği önceliklendirdiği için. Mobil ve uzak API’sı hikayeleri masaüstü sohbetinden daha yenidir.
Fiyatlandırma:
- Ücretsiz: açık kaynak, lisans ücreti yok
- Ödeme: hiçbiri
Platformlar: Windows, macOS, Linux
İndir: jan.ai
Alt çizgi: LM Studio UI’sini kapalı kaynaklı lisans olmadan ve analitik devre dışı bırakma geçişine güvenmeksizin istiyorsanız yerel LLM’ler için Jan’ı seçin.
4. GPT4All — GPU’suz düşük özellikteki dizüstü bilgisayarlar için en iyi
GPT4All, yerel LLM sahnesinin ilk günlerinden beri vardır ve çoğundan sıkıcı işi daha iyi yapar. Varsayılan model listesi CPU çıkarımı için ayarlanır, küçük nicelikler ayrılmış GPU’su olmayan makinelerde çalışır ve sohbet UI artık diske işaret eden yerel belge sohbetini içerir. Eski bir dizüstü bilgisayarda 7B modeli çalıştırmayı deneyen ve yavaşlıktan sıçrayan kullanıcılar için, küratörlü küçük model seçimi doğru başlangıç noktasıdır.
Eksik olduğu yer: GPU hızlandırması desteklenir ancak projenin odağı değildir. Sohbet UI güzel yerine işlevseldir.
Fiyatlandırma:
- Ücretsiz: açık kaynak, lisans ücreti yok
- Ödeme: hiçbiri
Platformlar: Windows, macOS, Linux
İndir: gpt4all.io
Alt çizgi: Donanımınız mütevazı ise ve için ayarlanmış modelleri içeren bir sohbet istemcisi istiyorsanız yerel LLM’ler için GPT4All’ı seçin.
5. Msty — iki modeli yan yana karşılaştırmak için en iyi
Msty, belirli bir boşluğu dolduran az açık olmayan bir seçimdir: aynı anda iki yerel modelle konuşabilir ve yanıtlarını yan yana gösterebilir. Uzak API’lere kancalar ile birleştiğinde, bu aynı istemde bir Qwen sürümünü bir Gemma niceliğine kıyaslamak için en kolay yoldur ve iki pencereyi oynatmaksızın. Bilgi yığınları, alma için folderleri veya URL’leri sohbete eklemenize izin verir.
Eksik olduğu yer: Ücretsiz katman çoğu kişisel kullanımı kapsar, ancak bazı güçlü özellikler ücretli bir plan arkasında oturur. Model araması LM Studio’dan daha dardır.
Fiyatlandırma:
- Ücretsiz: zengin özelliklere sahip kişisel plan
- Ödeme: gelişmiş özellikler için Aurum planı
Platformlar: Windows, macOS, Linux
İndir: msty.app
Alt çizgi: Aktif olarak modelleri karşılaştırıyor ve bu iş akışı için tasarlanmış bir sohbet istemcisi istiyorsanız yerel LLM’ler için Msty’yi seçin.
6. Open WebUI — aile veya takım sunucusu için en iyi tarayıcı ön yüzü
Open WebUI, konteynerlı bir web uygulaması olarak çalışır ve ağ üzerinden Ollama (veya herhangi bir OpenAI uyumlu arka uç) ile konuşur. Arayüz ChatGPT web uygulaması gibi görünür, rol tabanlı erişim denetimi ile çok kullanıcılı hesapları destekler ve sohbet başına model değiştirmeyi işler. Herkesin herhangi bir tarayıcıdan kullanabileceği tek bir yerel model sunucusu istemeyen bir ev veya küçük takım için bu en temiz cevapdır.
Eksik olduğu yer: Ollama’nın (veya eşdeğerinin) bir yerde çalışmakta olduğunu varsayar. Çok kullanıcılı özelliklerin biraz kurulum gerekir. Bu bir tarayıcı uygulaması, bu nedenle yerel masaüstü cilası yoktur.
Fiyatlandırma:
- Ücretsiz: açık kaynak, lisans ücreti yok
- Ödeme: hiçbiri
Platformlar: Docker, Windows, macOS veya Linux’ta herhangi bir modern tarayıcıdan erişilebilir
İndir: openwebui.com
Alt çizgi: Ev laboratuvarı veya küçük bir takım için paylaşılan bir sohbet ön yüzü istiyorsanız ve bir kapsayıcı çalıştırmaktan rahat isseniz yerel LLM’ler için Open WebUI’yi seçin.
7. Llamafile — en iyi sıfır yükleme seçeneği
Llamafile, bir modeli ve llama.cpp çalışma zamanını kurulum olmaksızın Windows, macOS ve Linux’ta çalışan tek bir yürütülebilir olarak dağıtır. Bir dosya indirin, çift tıklayın ve yerel bir sohbet UI tarayıcıda açılır. Format Cosmopolitan projesinden akıllı bir platformlar arası ikili numaradır; bu, aynı dosyanın işletim sistemleri genelinde çalışması anlamına gelir.
Eksik olduğu yer: Model tarayıcısı yok. Modelleri dosya olarak yönetirsiniz. Güncellemeler yürütülebiliri takas etmeyi gerektirir. Bazı antivirus araçları ikiliyi işaretler, bu GitHub sorunlarında yinelenen bir şikayettir.
Fiyatlandırma:
- Ücretsiz: açık kaynak, lisans ücreti yok
- Ödeme: hiçbiri
Platformlar: Windows, macOS, Linux
İndir: github.com/Mozilla-Ocho/llamafile
Alt çizgi: Hugging Face hakkında hiç duymamış biri ile çalışan bir modeli paylaşmak için mutlak en düşük tören yolunu istiyorsanız yerel LLM’ler için Llamafile’ı seçin.
8. Text Generation WebUI — güç kullanıcısı oyun alanı için en iyi
Text Generation WebUI (bazen oobabooga denir) hepsi içeren seçenektir. Birden fazla arka uç, güneş altında her sampler, RAG, karakter kartları, sesli ve görüntü temelli sohbet ekleyen bir uzatma sistemi. Sampler ayarlamalarını, kontrastif kod çözmeyi ve belirsiz nicelik formatlarını önemseyen araştırmacılar ve hacılar buraya iner.
Eksik olduğu yer: Kurulum bu listedeki diğer seçeneklerden daha fiddlier’dir ve karışıma Python ortamları ile CUDA araç takımları vardır. UI, rastgele kullanıcıları zaptiye etme yolunda bilgi yoğunudur.
Fiyatlandırma:
- Ücretsiz: açık kaynak, lisans ücreti yok
- Ödeme: hiçbiri
Platformlar: Windows, macOS, Linux
İndir: github.com/oobabooga/text-generation-webui
Alt çizgi: Her düğmeyi ortaya çıkarmak istiyorsanız ve bir Python ortamında rahat isseniz yerel LLM’ler için Text Generation WebUI’yi seçin.
Doğru olanı nasıl seçilir
Çalışan kuruluma en basit yolu istiyorsanız, Ollama’yı yükleyin ve beğendiğiniz bir sohbet ön yüzü ile eşleştirin.
Cilalı bir pencerede her şeyi yapan bir uygulama istiyorsanız, LM Studio’yu yükleyin.
Açık kaynak sizin için önemliyse, Jan’ı yükleyin.
Dizüstü bilgisayarınız daha eski veya GPU yoksa, GPT4All’ı yükleyin ve kuratörlü küçük modellerine bağlı kalın.
Modelleri aktif olarak karşılaştırıyor isen, Msty’yi yükleyin.
Ev için paylaşılan bir sohbet sunucusu istiyorsanız, Ollama’nın arkasında Open WebUI çalıştırın.
Sıfır tören istiyorsanız, önem verdiğiniz model için Llamafile’ı indirin.
Her düğmeyi istiyorsanız, Text Generation WebUI’yi yükleyin ve ilk koşu için bir öğleden sonra bütçelendirin.
SSS
Yerel LLM’ler ayrık GPU olmayan bir dizüstü bilgisayarda çalışır mı?
Evet. Niceliklendirilmiş 3B ve 7B modelleri entegre grafiklerde veya saf CPU’da çalışır, yavaş ancak kullanışlı olarak. GPT4All ve Llamafile her ikisi de bu durum için ayarlanmış küçük modeller gönderirler.
Yerel LLM çalıştırmak için ne kadar VRAM’a ihtiyacım var?
Q4 niceliğinde 7B modelle rahat bir deneyim için, yaklaşık 6 GB VRAM. Q4’te 14B için, yaklaşık 10 GB. 70B sınıfı modeller için, 24 GB veya daha fazla hesaplayın veya daha düşük hızlarda CPU RAM’ı ve GPU’yu bölün.
Ollama yerel LLM’ler için en iyi uygulama mı?
Çoğu kullanıcı için en iyi arka uçtur. Aynı pencerede cilalı bir sohbet UI da istiyorsanız, LM Studio veya Jan “en iyi uygulamaya” daha yakındır. Ollama artı ayrı UI en yaygın yığındır.
Yerel LLM’ler gerçekten özel midir?
Evet, bir uyarı ile. Çıkarım tamamen sizin makinenizde çalışır. Sorun, bazı uygulamaların varsayılan olarak analiz veya güncelleme kontrolü için eve telefon açmasıdır. Jan ve GPT4All açma düğmesini açık hale getirir. LM Studio bunu ayarlar altında sahip.
Kodlayıcı editörümle yerel bir LLM kullanabilir miyim?
Evet. OpenAI uyumlu bir uç nokta (Ollama, LM Studio, Jan, Msty) ortaya koyan herhangi bir uygulama, OpenAI’yi hedefleyen editör uzantılarında temel URL olarak ayarlanabilir. Continue, Cursor’un bring-your-own-key modu ve çoğu VS Code uzantısı bunu kabul ederler.
