XDA, normal bir dizüstü bilgisayarda çalışmaya değer olan her küçük dil modelini test etmek için bir hafta harcadı ve üç kazanana ulaştı. Bu hikaye, Qwen 3, Llama 3.2 ve Gemma 3’ün tümünün ağırlıklarının çok üzerinde performans gösteren 1B–8B kuantları yayınladığı haftada yayınlandı. Masaüstü için küçük yerel LLM’ler için en iyi uygulamalar artık araştırma oyuncakları değil. 4 GB RAM’e sığarlar, ayrık bir GPU olmadan çalışırlar ve her gün sormak istediğiniz soruları yeterince hızlı cevaplarlar ve açık tuttuğunuz ChatGPT sekmesini değiştirebilirler.
Sekiz uygulamayı bir M2 MacBook Air (16 GB), orta seviye bir Ryzen dizüstü (yalnızca iGPU) ve 6 GB NVIDIA kartlı bir Fedora iş istasyonunda test ettik. Her biri, temiz bir kurulumun ne kadar hızlı bir 3B kuantı çekebileceği, sohbet, kod ve kısa belge özetlerinin karışık iş yükünü ne kadar iyi işleyebileceği ve arka planda bir video araması yapılırken kullanılabilir kalıp kalmadığı açısından değerlendirildi.
Küçük yerel LLM uygulamasında neler bulunmalı
- Küçük model kataloğu. Hugging Face’i aramadan Llama 3.2 (1B/3B), Qwen 3 (0.5B–8B), Gemma 3 (2B/4B), Phi-4-mini ve SmolLM için doğrudan çekiş.
- Kuantizasyon ön ayarları. 4-bit ve 5-bit GGUF kuantları 8–16 GB makinelerde en iyi seçenektir. Uygulama varsayılan olarak makul bir şey seçmelidir.
- Yalnızca CPU’ya geri dönüş. Herkesin GPU’su yoktur. Uygulama, entegre grafikler veya saf CPU’da kullanılabilir kalmalıdır.
- Bellek ayak izi. Bir modeli yüklemeden önce uygulamanın kendisinin ne kadar RAM kullandığı. Bazı Electron kabukları boş durumda 800 MB alır.
- OpenAI uyumlu API. Böylece bir kod editörü, not uygulaması veya kabuk betiği aynı işleme istekler gönderebilir.
- Soğuk başlangıç. Çift tıklamadan çalışan sohbete kadar olan süre önemlidir, çünkü yerel istemeniz sebebi tarayıcı sekmesini atlamaktır.
Hızlı karşılaştırma
| Uygulama | En İyi İçin | Platformlar | Ücretsiz Plan | Ücretli | Puanı |
|---|---|---|---|---|---|
| Jan | Açık kaynak ChatGPT-benzeri istemci | Windows, macOS, Linux | Tamamen ücretsiz | Yok | 4.7 |
| Ollama | En basit CLI + API çalışma zamanı | Windows, macOS, Linux | Tamamen ücretsiz | Yok | 4.9 |
| LM Studio | Gerçek GUI ile model keşfi | Windows, macOS, Linux | Tamamen ücretsiz kişisel | İş için satış ile iletişime geçin | 4.8 |
| GPT4All | Yerel + isteğe bağlı bulut yedek | Windows, macOS, Linux | Tamamen ücretsiz | Yok | 4.5 |
| Msty | Modeller arasında bölünmüş sohbet karşılaştırması | Windows, macOS, Linux | Tamamen ücretsiz | Aurum $99 seumur boyu | 4.7 |
| llamafile | Tek dosya taşınabilir model | Windows, macOS, Linux | Tamamen ücretsiz | Yok | 4.6 |
| Cortex | Ollama tarzı çalışma zamanı, daha düşük ayak izi | Windows, macOS, Linux | Tamamen ücretsiz | Yok | 4.4 |
| KoboldCpp | Uzun bağlam yaratıcı yazı | Windows, macOS, Linux | Tamamen ücretsiz | Yok | 4.5 |
Uygulamalar
1. Jan küçük yerel LLM için — En iyi açık kaynak ChatGPT benzeri istemci
Jan, açıldığı anda tanıdık gelen ChatGPT tarzı bir masaüstü uygulaması sağlar, ardından arka planda sessizce Llama 3.2 3B veya Qwen 3 4B’yi çeker. Asistanlar, konular, dosya yüklemeleri ve OpenAI uyumlu bir sunucu yerleşiktir. M2 MacBook Air’de, Llama 3.2 3B ile ilk sohbet kurulumdan sonra üç dakika içinde soruları yanıtlamaya başlamıştı.
Başarısız olduğu yer: Windows’ta soğuk başlangıç hala macOS’tan birkaç saniye geride kalmıştır. Bazı Hugging Face alımları manuel GGUF bırakmış gerektir.
Fiyatlandırma:
- Ücretsiz: Tamamen ücretsiz, AGPL altında açık kaynak.
- Ücretli: Yok.
Platformlar: Windows, macOS, Linux.
İndir: jan.ai · github.com/janhq/jan
Sonuç: Abonelik veya internet bağlantısı olmadan ChatGPT deneyimi istiyorsanız seçin.
2. Ollama küçük yerel LLM için — En basit CLI + API çalışma zamanı
Ollama, diğer her şeyin inşa olduğu çalışma zamanıdır. ollama run llama3.2:3b kuantı çeker, yükler ve sohbeti başlatır. 11434 numaralı bağlantı noktasındaki OpenAI uyumlu API, herhangi bir editör, not uygulaması veya OpenAI’yi konuşan betik değişiklik yapılmadan bununla konuşabileceği anlamına gelir.
Başarısız olduğu yer: Yerel GUI yok. Bir sohbet penceresi için bunu Open WebUI veya Msty ile eşleştireceksiniz.
Fiyatlandırma:
- Ücretsiz: Tamamen ücretsiz, MIT lisansı.
- Ücretli: Yok.
Platformlar: Windows, macOS, Linux.
İndir: ollama.com · github.com/ollama/ollama
Sonuç: Bir sohbet istemcisi de kuruyorsanız bile buradan başlayın. Bu listedeki diğer uygulamaların çoğu Ollama’ya işaret edebilir.
3. LM Studio küçük yerel LLM için — Gerçek GUI ile model keşfi
LM Studio, Hugging Face’i keşfetmek, kuantı seçmek ve terminal’e dokunmadan sohbet etmek için hepsi bir arada uygulamadır. Model tarayıcısı boyuta ve lisansa göre filtreler ve bu, bir modeli 6 GB RAM’e sığdırmaya çalışırken önemlidir. Yerel API sunucusu tek bir geçiş.
Başarısız olduğu yer: Açık kaynak değil. Linux desteği yeni özelliklerde Windows ve macOS’tan geri kalmıştır.
Fiyatlandırma:
- Ücretsiz: Kişisel kullanım için tamamen ücretsiz.
- Ücretli: Ticari dağıtımlar için satış ile iletişime geçin.
Platformlar: Windows, macOS, Linux.
İndir: lmstudio.ai
Sonuç: Küçük kuantları yan yana keşfetmek ve test etmek için en pürüzlü GUI.
4. GPT4All küçük yerel LLM için — En iyi yerel artı isteğe bağlı bulut yedek
GPT4All, GGUF kuantlarını yerel olarak çalıştıran ve daha ağır bir model gerektiğinde OpenAI veya Groq’a yönlendirebilecek yerleşik bir sohbet uygulaması sunar. LocalDocs, bir klasöre işaret etmenize ve dosyaları hiçbir yere göndermeden temelli cevaplar almanıza izin verir.
Başarısız olduğu yer: Model kataloğu LM Studio’nun bir adım gerisindedir. Windows’ta GPU boşaltması biraz ayar gerektirir.
Fiyatlandırma:
- Ücretsiz: Tamamen ücretsiz, açık kaynak.
- Ücretli: Yok.
Platformlar: Windows, macOS, Linux.
İndir: gpt4all.io
Sonuç: Yerel olarak başlayan ve isteğe bağlı olarak buluta ödünç veren tek bir uygulama istediğinizde bunu seçin.
5. Msty küçük yerel LLM için — Modeller arasında bölünmüş sohbet karşılaştırması
Msty, iki veya üç model yanıtını yan yana gösterir. Qwen 3 4B veya Gemma 3 4B’nin istek stilinize uyup uymadığına karar vermenin en hızlı yoludur. Ollama, LM Studio ve bulut API’leri ile konuşur, böylece karşılaştırma barındırdığının dışında sınırlı değildir.
Başarısız olduğu yer: Bazı gelişmiş özellikler Aurum katmanının arkasındadır. Açık kaynak değil.
Fiyatlandırma:
- Ücretsiz: Tamamen ücretsiz sohbet ve bölünmüş görünüm.
- Ücretli: Bilgi yığınları ve premium ekstralar için Aurum $99 seumur boyu.
Platformlar: Windows, macOS, Linux.
İndir: msty.app
Sonuç: Sık sık modelleri prova ediyor ve onları tartışmada görmek istiyorsanız seçin.
6. llamafile küçük yerel LLM için — En iyi tek dosya taşınabilir model
llamafile, bir modeli ve çalışma zamanını tek bir yürütülebilire sarar. Bir USB çubuk üzerine koyun, herhangi bir Windows, macOS veya Linux makinesi üzerinde çift tıklayın ve bir tarayıcı sekmesi sohbeti ile açılır. Cosmopolitan libc’ye Mozilla’nın katkısı ve kurulum adımını tamamen ortadan kaldırır.
Başarısız olduğu yer: Dosyalar 3–5 GB olabilir. Kilitli kurumsal makinelerde ilk başlatma sağ tıklama geçersiz kılma gerektirebilir.
Fiyatlandırma:
- Ücretsiz: Tamamen ücretsiz, Apache 2.0.
- Ücretli: Yok.
Platformlar: Windows, macOS, Linux.
İndir: github.com/Mozilla-Ocho/llamafile
Sonuç: Taşınabilirlik, demolar veya yazılım kuramadığınız bir makine için doğru seçim.
7. Cortex küçük yerel LLM için — Ollama tarzı çalışma zamanı daha düşük ayak izi
Cortex, Jan’ı kapak altında güçlendiren çalışma zamanı, bağımsız bir daemon olarak açığa çıkarılmıştır. Boşta durumda Ollama’dan daha düşük bir ayak izi ve varsayılan olarak OpenAI uyumlu API’ye sahip llama.cpp’dir. Model çekişleri aynı GGUF ekosistemini kullanır.
Başarısız olduğu yer: Daha küçük topluluk, bu nedenle üçüncü taraf entegrasyonları daha az. Belgeler hala yakalanmaya çalışıyor.
Fiyatlandırma:
- Ücretsiz: Tamamen ücretsiz, açık kaynak.
- Ücretli: Yok.
Platformlar: Windows, macOS, Linux.
İndir: cortex.so · github.com/janhq/cortex.cpp
Sonuç: Ollama ağır hissederse ve hala OpenAI API’sini konuşan daha hafif bir daemon istiyorsanız bunu seçin.
8. KoboldCpp küçük yerel LLM için — Uzun bağlam yaratıcı yazı için en iyi
KoboldCpp, kurgu, rol oynama ve uzun bağlam yazı etrafında inşa edilmiş llama.cpp’nin çatalıdır. Kalıcı karakter belleği, dünya bilgisi ve Q&A yerine taslak üzerine odaklanan tarayıcı UI, bunu bu listedeki diğer uygulamalardan yararlı bir şekilde farklı kılar. Küçük modellerde 32K–128K bağlamları çoğu GUI’den daha iyi işler.
Başarısız olduğu yer: UI yoğun ve açıkça üst düzey kullanıcı. Teknik olmayan bir arkadaşa vermeyeceğiniz uygulama.
Fiyatlandırma:
- Ücretsiz: Tamamen ücretsiz, AGPL.
- Ücretli: Yok.
Platformlar: Windows, macOS, Linux.
İndir: github.com/LostRuins/koboldcpp
Sonuç: Yerel bir model istemeniz nedeni ChatGPT’nin oran sınırlandırdığı yazı oturumlarıysa seçin.
Doğru olanı seçme
En basit çalışan kurulum istiyorsanız: Ollama artı sohbet istemcisi. Ollama’yı kurun, sonra Jan veya Open WebUI seçin.
Parlak bir masaüstü uygulaması istiyorsanız: GUI için LM Studio veya açık kaynağın önemli olup olmadığı Jan.
Sık sık modelleri prova ediyor: Msty bölünmüş görünüm için.
Birine demo yapıyorsanız veya kilitli bir makinede çalışıyorsanız: llamafile.
En hafif daemon istiyorsanız: Cortex.
Uzun kurgu yazıyorsanız veya rol oynama kampanyaları yönetiyorsanız: KoboldCpp.
Küçük bir model belirli bir görev için yeterli değilse, bu uygulamaların çoğu bulut uç noktaları için de yol gösterir. Yerel olarak başlayın, yerel yanıt yeterince iyi olmadığında yalnızca ölçeklendirin.
Sık sorulan sorular
GPU’su olmayan bir dizüstü bilgisayar için en iyi küçük yerel LLM uygulaması nedir? 3B veya 4B modeliyle Ollama, kabul edilebilir hızla CPU ve entegre grafikler üzerinde çalışır. LM Studio, modeli seçicide yalnızca CPU ön ayarları sağlar.
Küçük bir yerel LLM ChatGPT’nin yerini alabilir mi? Günlük sohbet, özetleme ve kısa biçim kodu yardımı için evet. Ağır akıl yürütme, aracı iş akışları ve uzun araştırma görevleri için hayır. Çoğu kişi her ikisini de deniyor ve yerel günlük komut istemler için ve zor olanlar için bulut kullanıyor.
8 GB RAM’de hangi boyut modeli çalışır? 3B modeli Q4 kuantızasyonunda uygulamanın kendisi için marjla rahat bir şekilde uyar. 4B kuantı, diğer ağır bellek uygulamalarını kapatırsanız çalışır.
Yerel LLM’ler gerçekten özel mi? Bu listedeki uygulamalar varsayılan olarak istekleri yüklemez. GPT4All ve Msty isteğe bağlı bulut yönlendirmesi sunuyor ve bu katılım. Toplam izolasyon önemliyse uygulama için ağ erişimini devre dışı bırakın.
En iyi ücretsiz küçük yerel LLM uygulaması nedir? Çalışma zamanı için Ollama ve GUI için Jan. Her ikisi de ücretsiz, her ikisi de açık kaynak, her ikisi de aktif olarak korunur.
