XDA’nın Claude’u bırakıp Obsidian ve yerel LLM’ye geçiş hakkındaki yazısı, açık ağırlıklı modeller gerçekten yararlı hale geldikten beri gelişen bir değişimi yakalar: artık günlük AI çalışmalarının çoğunu kimsenin API’sine token göndermeden kendi masaüstünüzde yapabilirsiniz. Donanım bariyeri yeterince düşüktür ki 16 GB MacBook Air veya mevcut orta-seviye oyun bilgisayarı, barındırılan bir hizmetten beklediğiniz gecikmeyle 7B ve 8B parametre modellerini rahatça çalıştırabilir.
Masaüstünde LLM’leri çalıştırmak için en iyi 8 uygulamayı test ettik. Liste, hiçbir zaman terminal kullanmayan kişiler için sürükle-bırak GUI’leri, mevcut betiklere uyan komut satırı çalışma zamanlarını ve eski bir masaüstünü ev AI sunucusuna dönüştüren kendi barındırılan web arayüzlerini içerir. Her seçim model kapsamı, donanım hızlandırması, sohbet arayüzü kalitesi ve ilk kurulum ne kadar acı verici olduğu temelinde değerlendirildi.
Yerel LLM uygulamasında ne arayacağız
Aşağıdakileri yapan yerel bir LLM uygulaması seçin:
- İlk kez açtığınızda çalışan bir model ile gelir. Quantization, tokenizer ve sohbet şablonunu ilk mesajdan önce birleştirmeniz gereken uygulamalar hafta sonunuzu israf eder.
- Donanım izin verdiğinde GPU hızlandırmayı kullanır. Nvidia’da CUDA, Apple Silicon’da Metal, AMD’de ROCm veya Vulkan — hız farkı büyüktür.
- OpenAI uyumlu API uç noktasını destekler. Editörler, ajanlar ve araçların tüm ekosistemi OpenAI Chat Completions biçimini konuşur; bir tane sunan uygulama altyapı haline gelir.
- Model dosyalarını temizce yönetir. GGUF dosyalarıyla dolu bir klasör onları kaldıracak bir UI olmadan dolu bir diskin tarifesidir.
- Model yayın takvimi ile güncel kalır. Llama, Qwen, Mistral ve Gemma 2025’te ana güncellemeler yayınladılar; bir çeyrek geri kalan uygulamalar hızla ilginç hale gelmiyorlar.
Hızlı karşılaştırma
| Uygulama | En iyi | Platformlar | Ücretsiz plan | Başlangıç fiyatı |
|---|---|---|---|---|
| LM Studio | Yeni başlayanlar için parlak GUI | Windows, macOS, Linux | Evet, tamamen | Kişisel kullanım için ücretsiz |
| Ollama | Komut satırı iş akışı ve betik oluşturma | Windows, macOS, Linux | Evet, tamamen | Ücretsiz |
| Jan | LM Studio’ya açık kaynak alternatifi | Windows, macOS, Linux | Evet, tamamen | Ücretsiz |
| GPT4All | Belgeler ile gizlilik odaklı yerel sohbet | Windows, macOS, Linux | Evet, tamamen | Ücretsiz |
| Open WebUI | Kendi barındırılan ChatGPT tarzı web arayüzü | Linux, Docker (herhangi bir işletim sistemi) | Evet, tamamen | Ücretsiz |
| Msty | Yanyana model karşılaştırması ile çevrimdışı sohbet | Windows, macOS, Linux | Evet, sınırlı | Yaklaşık 50 $ tek seferlik |
| Llamafile | Taşınabilir tek dosya modeli çalıştırıcısı | Windows, macOS, Linux | Evet, tamamen | Ücretsiz |
| LocalAI | Kendi barındırılan OpenAI uyumlu API sunucusu | Linux, Docker | Evet, tamamen | Ücretsiz |
Masaüstü için 8 en iyi yerel LLM uygulaması
1. LM Studio — yeni başlayanlar için en parlak GUI
LM Studio modelleri yerel olarak çalıştırmanın en kolay giriş noktasıdır. İndirme normal bir masaüstü uygulamasıdır, model tarayıcısı her birinin yanında boyut ve önerilen donanımla birlikte seçilmiş GGUF derlemeleri gösterir ve sohbet arayüzü günlük sürücü olarak kullanmak için yeterince iyidir. Keşif, indirme, yapılandırma ve sohbet hepsi bir pencerede yer alır ve OpenAI uyumlu sunucu, API uç noktası gerektiren araçlar için tek bir anahtarla çalışır.
Başarısız olduğu yer: Uygulama GUI için açık kaynaklı değildir; bu, bazı kullanıcılar için gerçek bir diskalifiye edici faktördür. Çok modelli ajantik iş akışları gibi power-user özellikleri odak değildir.
Platformlar: Windows 10/11, macOS (Apple Silicon ve Intel), Linux x86_64।
Sonuç: Bunu önce yükleyin, donanımınızı bir 7B modeliyle test edin, sonra gerektiğinde diğer araçlara geçin।
2. Ollama — en iyi komut satırı iş akışı
Ollama ekosistem geri kalanının modellerle nasıl konuştuğunu şekillendiren yerel LLM aracıdır। ollama run llama3.1 ağırlıkları indirir ve sizi bir isteme götürür; ollama serve OpenAI uyumlu API’yi 11434 portunda ortaya çıkarır, bu da tüm masaüstü editörleri, ajan çerçeveleri ve sohbet ön uçları tarafından desteklenir। Model kütüphanesi geniş, güncellemeler yeni sürümlerden günler içinde gelir ve CLI shell betiklerine temizce entegre olur।
Başarısız olduğu yer: İlk taraf GUI yok। Ollama, bir terminalde rahat olduğunuzu varsayar ve Open WebUI veya Msty gibi ayrı bir ön uçla en iyi şekilde eşleşir।
Platformlar: Windows, macOS, Linux। Docker görüntüsü mevcuttur।
Sonuç: Bu listenin diğer her şeyi için varsayılan arka uç। LM Studio’yu da yüklesek bile bunu yükleyin।
3. Jan — LM Studio’ya en iyi açık kaynak alternatifi
Jan takım ilk günden itibaren açık kaynak yapmış olsaydı LM Studio’nun neye benzeyeceğidir। Arayüz LM Studio’nun üç panelli düzenini yansıtır, model kütüphanesi aynı ana aileleri kapsar ve API uç noktası aynı OpenAI lehçesini konuşur। Jan’ın öne çıktığı yer ajansal özelliklerdir — çok modelli asistanlar, MCP sunucusu entegrasyonu ve topluluk çatallama olmadan yetenekler eklemesine izin veren bir eklenti mimarisi।
Başarısız olduğu yer: LM Studio’nun seçilmiş tarayıcısından daha küçük model kataloğu ve ilk çalıştırmada parlaklık boşluğu görünür। Yoğun kullanım altında stabilite 2025’te iyileşti ancak hala LM Studio’nun gerisinde।
Platformlar: Windows, macOS, Linux। Apache 2.0 lisansı altında açık kaynak।
Sonuç: “Açık kaynak” karar verici bir faktör olduğunda ve LM Studio’nun katalog parlaklığına ihtiyacınız olmadığında Jan’ı seçin।
4. GPT4All — belgeler ile en iyi gizlilik odaklı yerel sohbet
GPT4All Nomic AI’den herhangi bir veri makineyi terk etmeden belge temelli sohbete odaklanır। LocalDocs özelliği PDF, markdown veya düz metin klasörünü indexler ve modelin bu külliyata karşı soruları yanıtlamasını sağlar — tamamen çevrimdışı, bulut hizmetine gönderilenler olmadan। Varsayılan model seçimi, yalnızca CPU dizüstü bilgisayarlarda iyi çalışan daha küçük nicellemelere eğilimlidir।
Başarısız olduğu yer: Sohbet arayüzü türün temel sürümüdür; dallanmış konuşmalar ve çok turlu araç kullanımı gibi güç özellikleri eksiktir। Daha büyük 30B+ modeller çalışır ancak aynı donanımda LM Studio’dan daha yavaştır।
Platformlar: Windows 10/11, macOS, Linux। MIT lisansı altında açık kaynak।
Sonuç: Dosyaların asla diski terk etmemesi gereken bir dizüstü bilgisayarda “dosyalarımla sohbet et” için doğru seçim।
5. Open WebUI — en iyi kendi barındırılan ChatGPT tarzı arayüz
Open WebUI yerel bir Ollama veya LocalAI yüklemesini ChatGPT gibi hissettiren parlak bir web uygulamasına dönüştürür — çok kullanıcılı hesaplar, sohbet geçmişi, yüklenen belgeler hakkında RAG, model değiştirici ve hızlı işlem kütüphanesi। Amaçlanan dağıtım ev sunucusu veya iş istasyonunda Docker’dır, ardından evdeki herkes telefon veya dizüstü bilgisayar tarayıcısından açar।
Başarısız olduğu yer: Bu ön uç, model çalışma zamanı değildir — hala arkada Ollama veya LocalAI’ye ihtiyacınız var। İlk Docker kurulumu yeni başlayanlar için 30 dakika sürer।
Platformlar: Docker’ın çalıştığı her yerde — Linux, WSL ile Windows, macOS, Synology, Unraid, Proxmox।
Sonuç: Bir tarayıcıda ChatGPT gibi görünen ve hisseden aile tarafından paylaşılan bir yerel AI istediğinizde doğru seçim।
6. Msty — en iyi çevrimdışı sohbet model karşılaştırması
Msty çoğu yerel LLM uygulamasının kaçırdığı bir özellik etrafında kurulmuştur: aynı istemi iki veya daha fazla modelden yanyana yanıtlanır। Bölünmüş görünüm, daha küçük bir modelin ne zaman yeterli olduğunu ve daha büyük olanın disk alanını kazandığında açık yapar। Msty ayrıca dallanmış konular ve belge temellemesi için bir bilgi yığını ile uzun sohbetleri iyi işler।
Başarısız olduğu yer: Masaüstü uygulaması açık kaynaklı değildir। Ücretsiz seviye çoğu günlük kullanımı kapsar, ancak yaşam boyu lisans ileri özellikleri için satılır।
Platformlar: Windows, macOS, Linux।
Sonuç: Üç pencere ile juggle yapmadan modeller arasında gerçek değerlendirme yapmak istediğinizde Msty’yi seçin।
7. Llamafile — en iyi taşınabilir tek dosya modeli çalıştırıcısı
Llamafile Mozilla’dan bir modeli ve çalışma zamanını Windows, macOS ve Linux’ta kurulum olmadan çalışan tek bir yürütülebilir dosyaya paketler। .llamafile’e çift tıklayın, sohbet arayüzü localhost’ta tarayıcınızda açılır ve çalışan bir modeliniz vardır। Bu, “GGUF’un ne olduğunu bilmeyen birine çalışan yerel LLM göndermek” için mümkün olan en basit dağıtımdır।
Başarısız olduğu yer: Her model kendine ait çok gigabyte’lık yürütülebilir dosyadır; bu kütüphane istiyorsanız israftır। Birinci sınıf model tarayıcısı yok — Hugging Face’te dosya bulursunuz ve manuel olarak indirebilirsiniz।
Platformlar: Windows, macOS, Linux, FreeBSD। Bir dosya, kurulum yok।
Sonuç: Teknik olmayan bir kullanıcıyı beş dakikadan kısa bir sürede yerel bir modelle çalışmaya başlatmak için doğru biçim।
8. LocalAI — en iyi kendi barındırılan OpenAI uyumlu API sunucusu
LocalAI ciddi kendi barındırılan kurulumlar için başsız arka uçtur। Tam OpenAI API yüzeyini ortaya çıkarır — sohbet tamamlamaları, gömülmeler, ses transkripsiyonu, görüntü üretimi — yerel modeller tarafından desteklenir, daha küçük olanlar için GPU gerekli değildir। Bunu Docker Compose’da Open WebUI’nin yanına koyun, mevcut OpenAI istemci kodunuzu localhost uç noktasına yönlendirin ve geri kalanı yığının değişiklik olmadan çalışır।
Başarısız olduğu yer: Yapılandırma YAML-first’tir ve konteyner aşinalığını varsayar। Hiç GUI yok — sohbet için Open WebUI ile eşleştirin veya tamamen altyapı olarak kullanın।
Platformlar: Linux, Docker। Docker aracılığıyla macOS ve Windows’ta çalışır।
Sonuç: Yerel modelleri zaten OpenAI API ile konuşan mevcut uygulamalara bağladığınızda doğru seçim।
Doğru olanı seçme
Daha önce hiç yerel olarak bir model çalıştırmadıysanız LM Studio yükleyin, Q4_K_M’de bir Qwen veya Llama 8B nicellemesini indirin ve sohbet edin। Tüm sıra model indirme dahil 15 dakika sürer। Bunu aştığında, geri kalan araçlarınızın konuşacak bir API’sine sahip olması için Ollama yükleyin।
“Açık kaynak” müzakere edilemezse, GUI için doğrudan Jan’a ve arka uç için Ollama’ya gidin। Makineyi asla terk etmemesi gereken belgeler ile sohbet etmek istiyorsanız GPT4All yükleyin ve klasörünüzü besleyin। Tarayıcıda aile tarafından paylaşılan bir AI istiyorsanız, ev sunucusunda Ollama üzerinde Open WebUI çalıştırın।
Modeller arasında değerlendirme çalışması yapıyorsanız, yanyana görünüm için Msty yükleyin। En basit “bunu bir arkadaşa ver” dağıtımını istiyorsanız, Llamafile’i işaret edin। OpenAI API ile konuşan bir şey inşa ediyorsanız ve yerel bir arka uç istiyorsanız, Docker’da LocalAI dağıtın।
SSS
LLM’yi yerel olarak çalıştırmak için hangi donanıma ihtiyacım var?
4-bit nicelemede 7B veya 8B parametre modeli 8 GB RAM ve son beş yılın herhangi bir GPU’sunda rahatça çalışır veya M1’den sonraki Apple Silicon Mac’lerde। 13B modelleri için 16 GB RAM pratik minimumdur। 70B sınıf modelleri bir Mac’te 48 GB birleşik belleğe veya bir PC’de iki 24 GB GPU’ya ihtiyaç duyar।
Yerel LLM’ler ChatGPT veya Claude kadar iyi mi?
Henüz en zorlu çalışmalar için değil, ancak fark 2025’te keskin bir şekilde kapandı। Açık ağırlıklı 8B ve 14B modeller artık genel sohbet, özetleme ve kod yardımı için GPT-3.5 çağını eşleştiriyor। Anthropic, OpenAI ve Google’dan sınır modelleri uzun bağlam akıl yürütme ve araç kullanımında ön kalmaya devam ediyor।
Yerel LLM’leri çalıştırmak güvenli mi?
Evet, hiçbir verinin makinenizi terk etmediği anlamında। Risk yüzeyi modelin kendisidir — Hugging Face’ten doğrudan veya LM Studio, Ollama veya Jan gibi saygın bir ön uçtan indirin। Sağlayıcı bunları yayınladığında kontrol toplamları doğrulayın। Forumlardan rastgele GGUF’lar, imzasız diğer yürütülebilir dosyalarla aynı muameleyi alır।
Yerel LLM internete bağlanabilir mi?
Modelin kendisinin ağ erişimi yok। Open WebUI web araması, MCP sunucuları veya kendi betikleriniz gibi ajan çerçeveleri aracılığıyla web’de gezinen araçlar verebilirsiniz — ancak bu bilinçli bir seçimdir। Kutunun dışında bu listedeki her uygulama tamamen çevrimdışı çalışır।
Ollama ile LM Studio arasındaki fark nedir?
LM Studio, model keşfi, sohbet ve isteğe bağlı API sunucusu içeren parlak bir GUI’dir। Ollama, yerleşik sohbet arayüzü olmayan bir CLI ve sunucudur। Çoğu kullanıcı ikisini de yükler — diğer araçların konuşacağı arka uç olarak Ollama, masaüstünü terk etmeden sohbet penceresi istediğinde LM Studio।
