XDA-Developers bu yıl açıkça söyledi: “Gemma 4 E4B, her yerde çalıştırılacak kadar küçük, ancak tipik LLM iş yüklerini işleyebilecek kadar güçlü.” Tek bir cümle, 3-5B parametre seviyesinin neden kendi dönemini yaşadığını açıklar. Gemma 4 E4B, Phi-4, Qwen 3 4B ve Llama 3.2 3B artık bir yıl önce ulaşılamaz görünen cevaplar veriyor, bir telefondan daha az maliyeti olan bir dizüstü bilgisayarda.
Sorun, doğru ana bilgisayar uygulamasını seçmektir. Bazıları tek satırlı yüklemedir. Bazıları, ebeveynlerinizin bile kullanabileceği bir sohbet penceresiyle birlikte gelir. Bazıları, mevcut kodunuzun çalışmaya devam etmesi için OpenAI uyumlu bir sunucu ortaya koymaktadır. Bir hafta boyunca aynı dört küçük modeli sekiz en popüler masaüstü uygulamasında çalıştırdık, 8GB M1 Air ve 16GB Windows kutusunda, ardından yeni başlayanların ne kadar hızlı çalışan bir cevap alabileceklerini görmek için onları sıraladık. Bunlar 2026’da tiny local models için en iyi uygulamalardır.
Ne Aramalı
Aşağıdaki uygulamalar tümü GGUF quants (Q4_K_M, Q5, Q8) çalıştırıyor, bu 3-5B modellerin 4-6GB RAM’de rahatça sığmasını sağlayan formattır. Bunun ötesinde, farklar pratik şeylerin kısa bir listesine gelir.
Altı kriteri tartıyorduk: 8GB makinelerde RAM başlığı, quant kapsamı (Q4’ten Q8’e artı imatrix varyantları), uygulamanın entegre bir model kataloğu ile gelip gelmediği veya GGUF araştırmanız gerekip gerekmediği, sohbet UI parlaklığı versus API erişimi, güncellemeler ve indirmelerin kurulum sonrasında tamamen çevrimdışı olup olmadığı ve Windows, macOS ve Linux arasında deneyimin ne kadar tutarlı olduğu. Hız önemlidir, ancak küçük modellerde buradaki her uygulama modern donanımda okuma hızına ulaşır, bu nedenle saniye başına tokenleri bir bağlantıyı kopyala yerine bir bağlantı-çözücü olarak değerlendirdik.
Karşılaştırma
| Uygulama | Sohbet UI | Model Kataloğu | Yerel Sunucu | Çevrimdışı Kurulum | En İyi Kullanım Alanı |
|---|---|---|---|---|---|
| Ollama | Yalnızca Terminal | Evet | Evet (11434) | Evet | Çalışan modele en hızlı yol |
| LM Studio | Tam GUI | Evet (HF) | Evet (OpenAI compat) | Evet | Cilalı hepsi-bir-arada |
| Jan | Tam GUI | Evet | Evet | Evet | LM Studio açık kaynağı alternatifi |
| GPT4All | Tam GUI | Evet | İsteğe bağlı | Evet | Mütevazı donanım, en kolay yerleşim |
| Msty | Tam GUI | Ollama aracılığıyla | Ollama aracılığıyla | Evet | Daha güzel bir yüze sahip Ollama |
| Cortex.cpp | CLI | Evet | Evet | Evet | Komut dosyası yazılabilir Ollama alternatifi |
| llama.cpp | CLI | Hayır | Evet (llama-server) | Evet | Maksimum kontrol |
| Open WebUI + Ollama | Web UI | Ollama aracılığıyla | Evet | Evet | Kendi kendine barındırılan takım sohbeti |
1. Ollama
Ollama çoğu insanın başlaması gereken yerdir. Bunu kurun, terminalde ollama run gemma3:4b çalıştırın ve bir dakikadan kısa sürede çalışan bir sohbet döngüsü elde edersiniz. Model çekmeleri devam eder, quants sizin için seçilir ve 11434 numaralı bağlantı noktasındaki yerleşik REST sunucusu, Ollama veya OpenAI API’si konuşan her şeyin yapılandırma olmadan takılı olabileceği anlamına gelir.
Ödün, arayüzüdür. Kutudan çıktığında, Ollama bir terminaldir. Bunu Open WebUI veya Msty ile eşleştirmeyi planlıyorsanız iyidir ve alışkanlık haline geldikten sonra dürüstçe iyi, ancak teknik olmayan kullanıcılar siyah pencerenin hızlı bir şekilde dışına çıkarlar. Küçük modellerde bellek ayakizi mükemmeldir. Gemma 3 4B Q4, testlerimizde yaklaşık 3.4GB RAM’de oturur ve 8GB makinede tarayıcı için yer bırakır.
İndir: Site · GitHub · Homebrew
2. LM Studio
LM Studio bu listedeki en cilalı hepsi-bir-arada uygulamadır. Aranabilir bir Hugging Face kataloğu, RAM uyarılarıyla quant başına indir seçimleri, ekleri ve sistem komutlarını destekleyen bir sohbet penceresi ve OpenAI uyumlu yerel sunucu, hepsi bir kurucu içinde yaşıyor. Yerleşim sihirbazı, donanımınız için mantıklı bir varsayılan seçer, bu da model rafının aynı ağırlığın kırk varyantı olduğu zaman çok önemlidir.
Ücretsiz ancak tescili, bazı okuyucular önemsemektedir ve bazıları değildir. Windows ve Mac yapıları eşit derecede güçlüdür. Linux yapısı çalışır ancak bir veya iki sürüm geridekalır. Bir aile dizüstü bilgisayarında ilk yerel model için, bu hiç terminal açmamış birinin kullanabileceği uygulamadır.
İndir: Site · Windows · macOS · Linux
3. Jan
Jan LM Studio’ya açık kaynağı cevabıdır ve boşluk geçen yılda gözle görülür bir şekilde kapanmıştır. Sohbet UI temizdir, model keşfi Hugging Face kataloğu ve Jan’ın kendi seçkin setini kapsar ve ağırlıklar diskte olduğunda her şey çevrimdışı çalışır. Jan’ın arkasındaki ekip ayrıca Cortex.cpp’yi (aşağıdaki) korur, bu nedenle temel çalışma zamanı onlarındır, bir sarmalayıcı değildir.
Model takasını LM Studio’dan daha zarif bir şekilde işlediğini fark ettik. Gemma 3 4B üzerine Phi-4 yüklemek iki tıklama ve yeniden başlatma olmadı. Uzantı sistemi, sohbet motorlarını değiştirmenize, RAG eklemenize veya daha büyük bir şeye ihtiyaç duyduğunuzda uzak bir modele yönlendirmenize izin verir. Linux’ta, bu bizim ilk seçimimizdir.
4. GPT4All
GPT4All Nomic AI’den hiç yerel bir model çalıştırmamış 8GB dizüstü bilgisayara doğru bir şekilde işaret eder. Kurucu küçük, model listesi kapsamlı yerine seçkin ve her giriş düz İngilizce donanım notu gelir (“Çoğu bilgisayarda hızlı çalışır”, “16GB RAM gerektirir”). Ana sorusu “bu makinemde çalışacak mı” olan herkes için, GPT4All karşıdan indirme başlamadan önce dürüst bir şekilde yanıt verir.
Yerel belgelerle sohbet yerleşik, bu seviyede nadirdir ve ilk RAG demosu için kullanışlıdır. Ödün, model seçiminin LM Studio veya Jan’dan daha küçük olması ve keskin kenar ağırlığının bazen görünmesi bir hafta sürmesidir. Hedefin bu gece bir aile üyesi yerel bir model kullanmaksa, bu en kısa yoldur.
5. Msty
Msty Ollama’nın üstünde oturan bir sohbet uygulamasıdır ve ona Ollama inşa etmeyi reddedediği arayüzü verir. Bölünmüş görünüm sohbetleri, komut kitaplıkları, çalışma alanları ve yerel dosyalar için bilgi yığını kutudan çıkar. Ücretsiz katman temelleri kapsar ve Msty Pro, çoğu tekil kullanıcının atlayabileceği senkronizasyon ve ekip özelliklerini ekler.
Zaten Ollama yüklü varsa, Msty ilk başlatmada bağlanır ve saniyeler içinde sohbet edersiniz. Terminalden çektiğiniz Ollama modelleri kenar çubuğunda otomatik olarak görünür. Bu kombinasyon (çalışma zamanı için Ollama, sohbet için Msty), test haftasından sonra gün içinde kullandığımız şeydir.
İndir: Site · Windows · macOS · Linux
6. Cortex.cpp
Cortex.cpp Jan ekibinden gelir ve komut dosyası yazılabilir bir Ollama gibi davranır. Bir CLI, OpenAI uyumlu sunucu ve model kaydı alırsınız, ancak kendi sohbet UI’si yoktur. Bu bir dezavantaj gibi görünüyor, buna kadar inşa etmeye başlayıncaya kadar, daha küçük yüzey alanı ve Apache-2.0 lisansı seçme nedeni haline gelir.
Model çekmeleri tanıdık cortex pull gemma3:4b söz dizimini kullanır ve sunucu, OpenAI istemcinizin zaten konuştuğu uç noktaları ortaya koymaktadır. Küçük modellerde Ollama’ya hızda uyuyor ve soğuk başlama belleğinde onu yenemez. Özel bir UI altında temiz bir çalışma zamanı istyen geliştiriciler burada ilk bakmalıdırlar.
7. llama.cpp
llama.cpp bu listedeki neredeyse her uygulamanın yerleşik olduğu çalışma zamanıdır. Bunu doğrudan kullanmak, derleme (veya yayınlanan ikili indirme), terminalden llama-cli veya llama-server çalıştırması ve her düğmeyi kendiniz yapılandırma demektir. Diğer seçeneklerden daha fazla işdir ve her yeni quant biçimi, örnek alıcı ve donanım arka ucunun ilk kez geldiği yerdir.
Çoğu okuyucu için, sonuç llama.cpp zaten favori uygulamalarının altında yaşıyor. Güç kullanıcıları için, bunu doğrudan çalıştırmak Metal, CUDA, ROCm, Vulkan ve eşleşen bayrakları olan CPU-only yapıları kilit açması artı bellek kullanımı 10-15% daha fazla kazı imatrix quants. Donanımınızın Gemma 4 E4B ile gerçekte neler yapabileceğini bilmek istiyorsanız, bu araçtır.
İndir: GitHub · Homebrew · Releases
8. Open WebUI + Ollama
Open WebUI Ollama ile eşleştirilmiş, küçük bir ekip veya ev laboratuvarı için önerildiğimiz kurulumudur. Ollama modelleri çalıştırır, Open WebUI hesaplar, model yönlendirmesi, komut paylaşımı ve web arama eklentileri ile kendi kendine barındırılan ChatGPT tarzı bir arayüz çalıştırır. Docker Compose, Docker çalıştıran herhangi bir makinede çifti yaklaşık on dakikada getirir.
Çalışmaya başladığında, kullanıcılar ağdaki herhangi bir tarayıcıdan oturum açarlar. Kendi taraflarında kuracak bir müşteri yok, güncellemeler bir yerde olur ve tüm yığın duvarlarınızda kalır. “Ofis mini bilgisayarında çalışan özel ChatGPT” isteyen bir aile için, bu cevapdır.
İndir: Site · GitHub · Docker Hub
Nasıl Seçilir
Dört rota neredeyse herkesi kapsıyor. Sıfırdan çalışan modele en hızlı yolu istiyorsanız, Ollama’yı kurun, ardından sohbet penceresi istediğinizde Msty’i ekleyin. Bu kombinasyon on dakika ve tek bir kullanıcının ihtiyaclarının %80’ini kapsar.
Parlaklık açık kaynak saflığından daha önemliyse, LM Studio’yu kurun ve terminali tamamen atlayın. Yerleşim sihirbazı RAM’inize sığan bir quant seçer, katalog 3-5B’de çalışmaya değer her modeli kapsar ve yerel sunucu, daha sonra VS Code, Raycast veya kendi komut dosyalarınıza takılı olabileceği anlamına gelir. GPT4All, makine gerçekten mütevazı olduğunda (8GB RAM, GPU yok) ve kullanıcı yerel bir modele hiç dokunmamış olduğunuzda seçimdir.
GUI yolunda OpenAI uyumlu uç noktası isteyenin gerekli, Cortex.cpp veya llama.cpp’nin yerleşik sunucusuna bakmalıdır. Her ikisi de size temiz işlem denetimi, basit günlükleme ve kolay komut dosyası verirler.
Küçük bir ekip veya özel bir yardımcıya paylaşılan erişim isteyene, Ollama üzerinde Open WebUI, Docker aracılığıyla dağıtıldı, cevapdır. Bir kurulum, herkes için tarayıcı erişimi ve hiçbir veri evden ayrılmaz.
FAQ
Çalıştırabileceğim en küçük yerel LLM nedir? 4GB boş RAM’li bir makinede, 1-2B modeli Q4_K_M rahatlıkla çalışır. Gemma 3 1B ve Llama 3.2 1B her ikisi de özet ve basit soru-cevap için iyi çalışıyor. Gerçekten yararlı bir asistan için, Q4 veya Q5’te 3-4B modeli hedef alın, buna yaklaşık 4-6GB RAM gerekiyor.
Gemma 4 E4B için GPU’ya ihtiyacım var mı? Hayır. Gemma 4 E4B Q4’te CPU-tek dizüstü bilgisayarlarda okuma hızında çalışır (modern Apple Silicon’da kabaca 8-15 saniye başına jeton, ana akım Intel veya AMD dizüstü bilgisayarda 4-10). GPU özellikle CUDA veya Vulkan’lı Windows ve Linux’ta şeyleri önemli ölçüde hızlandırır, ancak gerekli değildir.
Ollama ücretsiz mi? Evet. Ollama, MIT lisansı altında açık kaynaktır ve kişisel ve ticari projeler için ücretsiz kullanılabilir. Model ağırlıkları kendi lisanslarını taşıyor (Gemma, Llama, Phi ve Qwen’in kendi şartları var) ve çoğu kişisel ve iç işletme kullanımı için yeterince izin vericiyse.
Mac için en hızlı yerel LLM uygulaması nedir? Apple Silicon’da saf verimlilik için, Metal etkinleştirilmiş llama.cpp en hızlıdır, bunu Ollama izliyor (soğuk kuruluş verilerine uygun varsayılanlar ile hoodun altında llama.cpp’yi kullanır). Soğuk kurulumdan ilk cevaba en hızlı süre için, Ollama veya LM Studio kazanır. M1 Air’de, Gemma 3 4B Q4, Ollama’da yaklaşık 25-30 saniye başına jeton çalışır.
8GB RAM yerel LLM kurulumu için en iyi nedir? Ollama kurun ve Q4_K_M’de 3-4B modeli çekin (Gemma 3 4B veya Llama 3.2 3B bizim seçiklerimiz). Bu tarayıcı ve sohbet istemcisi için yeterli yer bırakır. Uygun bir sohbet penceresi için Msty veya Open WebUI ekleyin. Her şeyi yapan tek bir uygulama istiyorsanız, GPT4All bu RAM seviyesinde daha dostça.
Hangi uygulama en fazla quant biçimini destekler? LM Studio ve Jan kataloğlarında en geniş GGUF quant yelpazesini ortaya koymaktadır (Q2’den Q8’e, artı imatrix varyantları). llama.cpp biçimin tanımladığı her quantu destekler, çünkü yeni biçimlerin geldiği yerdir. Ollama, varsayılan olarak model etiketi başına bir quant seçer, bu daha basittir ancak daha az esnektir.
