XDA bu ay yerel AI kurulumunun Docker tarafından dört dakikada yeniden yapılabilecek bir şeye dönüştürüldüğünü savunan bir makale yayınladı. Bu, masaüstündeki konteynerleştirilmiş bir AI yığınının gerçek noktasıdır: model ağırlıkları ve sohbet geçmişi bağlı bir hacimdedir ve yığının geri kalanı (UI, çıkarım motoru, ters proxy) atılabilir. Silin, compose dosyasını düzenleyin, yeniden başlatın.
Windows, macOS ve Linux’ta bu hedefe karşı yedi masaüstü AI uygulamasını test ettik. Yedisinin tümü resmi Docker görüntüleri gönderir veya tek satırlık docker run komutuyla gelir ve yedisinin tümü durumu çalışma zamanından ayırır, böylece yeniden yapı geçmişinizi kaybetmez.
Docker dostu AI uygulamasında ne aranmalı
- Resmi Docker görüntüsü. Üçüncü taraf görüntüler yavaş hareket eder ve bazen güvenlik yamaları kaçırır.
- Birim takılı durum. Sohbet geçmişi, özel istemler ve model ağırlıkları bir ana bilgisayar yolunda yaşamalıdır.
- GPU geçişi. Linux’ta NVIDIA runtime desteği, Windows’ta WSL2, macOS’ta Metal-on-host.
- OpenAI uyumlu API. İstemci kodunu yeniden yazmadan uygulamayı değiştirmenize izin verir.
- Ağ üzerinden web arayüzü. Bir tarayıcıya da hizmet veren masaüstü uygulaması, diğer odalardan kullanmanıza izin verir.
- Kendi modelinizi getirin. GGUF ve safetensors yükleyicileri, zaten indirdiğiniz modelleri kullanmanıza izin verir.
Hızlı karşılaştırma
| Uygulama | En iyi | Ücretsiz plan | Başlangıç fiyatı | Puan |
|---|---|---|---|---|
| Open WebUI | Yerel LLM’ler için web arayüzü | Tam | Ücretsiz | 4.8/5 |
| Ollama | Tek satırlık model çalışma zamanı | Tam | Ücretsiz | 4.8/5 |
| LocalAI | OpenAI uyumlu drop-in | Tam | Ücretsiz | 4.7/5 |
| LM Studio | Model tarayıcılı GUI | Tam | Ücretsiz (ekipler için ücretli katman) | 4.7/5 |
| Jan | Yerel masaüstü istemcisi | Tam | Ücretsiz | 4.6/5 |
| LiteLLM | Multi-sağlayıcı vekili | Tam | Enterprise sözleşmesi | 4.7/5 |
| Msty | Cilalı çapraz model istemcisi | Evet | $49/yıl Pro | 4.6/5 |
Uygulamalar
1. Open WebUI – Yerel LLM’ler için en iyi web arayüzü
Open WebUI, insanlar “yerel ChatGPT” dediklerinde kastettiği arayüzdür. Resmi bir Docker görüntüsü ile gelir, her şeyi (ayarlar, kullanıcılar, RAG belgeleri) tek bir hacme bağlar ve kullanıma hazır Ollama veya herhangi bir OpenAI uyumlu uç noktaya bağlanır. Dört dakikalık yeniden yapı gerçekçidir: docker compose down, etiketi düzenle, docker compose up ve sohbetler tıpkı bıraktığınız yerdedir.
Eksik olduğu yerler: Arayüzün özellik tavanı yüksektir ve ayarlar yüzeyi yoğundur. Yeni kullanıcılar doklar ile bir saat gerekir.
Fiyatlandırma:
- Ücretsiz, MIT lisanslı.
- Enterprise desteği ayrı olarak sunulur.
Platformlar: Docker’ın çalıştığı her yerde — Windows (WSL2 veya Docker Desktop), macOS, Linux.
İndir: Web sitesi · GitHub
Sonuç: Önce Open WebUI’yi kurun. Docker AI yığını için makul bir ön kapıdır.
2. Ollama – En iyi model çalışma zamanı
Ollama, mevcut yerel-LLM patlamasının mümkün olmasının nedenidir. Bir CLI, bir GGUF modelleri kitaplığı ve zaten bir düzine arayüz (Open WebUI, Jan ve Msty dahil) tarafından konuşulan 11434 numaralı bağlantı noktasında bir REST API. Docker görüntüsü Linux’ta NVIDIA GPU geçişini destekler; macOS yerel yapısı doğrudan ana bilgisayarda Metal kullanır.
Eksik olduğu yerler: Ollama model adlandırma kuralı Hugging Face’ten ayrılır, bu da bir kod parçası kopyaladığınızda kafa karıştırıcıdır.
Fiyatlandırma:
- Ücretsiz, MIT lisanslı.
Platformlar: Yerel Windows, macOS, Linux; üçü için Docker görüntüsü mevcuttur.
İndir: Web sitesi · GitHub
Sonuç: Çalışan bir yerel modele giden en kısa yol için Ollama’yı Open WebUI ile eşleştirin.
3. LocalAI – En iyi OpenAI uyumlu drop-in
LocalAI OpenAI protokolünü bayt bayt konuşan kendi kendine barındırılan bir API’dir, bu nedenle ChatGPT’ye karşı yaptığınız her şey buna karşı çalışır. Buna CrewAI, LangChain, LlamaIndex ve OpenAI Python istemcisi dahildir. Resmi Docker görüntüsü GGUF, safetensors, whisper, stable-diffusion ve metin-konuşma modellerini aynı uç noktada destekler.
Eksik olduğu yerler: İlk taraf sohbet arayüzü yok; Open WebUI ile eşleştirin.
Fiyatlandırma:
- Ücretsiz, MIT lisanslı.
Platformlar: Windows, macOS, Linux’ta Docker.
İndir: Web sitesi · GitHub
Sonuç: Çalıştırmak istediğiniz kod zaten OpenAI API konuşuyorsa LocalAI’yi seçin.
4. LM Studio – Model tarayıcılı en iyi GUI
LM Studio, yerleşik Hugging Face tarzı model tarayıcısı ve tek tıklama yüklü yerel bir masaüstü uygulamasıdır. localhost:1234’te OpenAI uyumlu bir sunucu ortaya çıkarır ve GPU desteği ile Linux’ta bir Docker konteynerine içinde çalışabilir. Yeniden yapı dostu olması temiz şekilde monte edilen basit bir yapılandırma dizininden gelir.
Eksik olduğu yerler: Masaüstü arayüzü Linux’ta macOS kadar cilalı değildir. Ücretli katman, bireyler için değil ekipler için hedeflenmiştir.
Fiyatlandırma:
- Kişisel kullanım için ücretsiz.
- Ekipler için LM Studio ücretli katmanı.
Platformlar: Windows, macOS, Linux (Docker veya yerel).
İndir: Web sitesi · GitHub
Sonuç: Modelleri görsel olarak göz atmak ve değiştirmek istiyorsanız LM Studio’yu kullanın.
5. Jan – En iyi yerel masaüstü istemcisi
Jan, en temiz tamamen yerel AI masaüstü uygulamasıdır. Electron istemcisi üç işletim sisteminde de çalışır, OpenAI uyumlu yerel API ile gelir ve Ollama, LocalAI ve uzak modelleri ile bütünleşir. Jan ayrıca bir ev kutusunda başsız sunucu olarak bir Docker konteynerine da çalışabilir.
Eksik olduğu yerler: Uzantı ekosistemi Open WebUI’ninkinden daha küçüktür.
Fiyatlandırma:
- Ücretsiz, AGPL lisanslı.
Platformlar: Windows, macOS, Linux.
İndir: Web sitesi · GitHub
Sonuç: Tarayıcı sekmesi yerine yerel bir uygulama istiyorsanız Jan’ı seçin.
6. LiteLLM – En iyi multi-sağlayıcı vekili
LiteLLM, uygulamanıza OpenAI API konuşan ve herhangi bir sağlayıcıya (OpenAI, Anthropic, Ollama, Bedrock, Vertex, Groq) iletilen bir vekildir. Bunu Docker AI yığınının önüne yerleştirin ve sağlayıcıyı değiştirmek bir kod değişikliği değil bir yapılandırma değişikliğidir. Resmi Docker görüntüsü kimlik doğrulama, hız sınırları ve kullanıcı başına bütçeleri yönetir.
Eksik olduğu yerler: Kendi sohbet arayüzü yok; altyapıdır.
Fiyatlandırma:
- Ücretsiz, MIT lisanslı.
- LiteLLM Enterprise ayrı olarak satılır.
Platformlar: Windows, macOS, Linux’ta Docker.
İndir: Web sitesi · GitHub
Sonuç: Ücretli API sağlayıcıları da kullanıyorsanız Ollama ve Open WebUI önüne LiteLLM ekleyin.
7. Msty – En iyi cilalı çapraz model istemcisi
Msty, masaüstü istemcileri arasında en cilalanmış olanıdır. Yan yana model yanıtları, çıktıları karşılaştırmak için bölünmüş görünümler ve temiz bir istem kitaplığını destekler. Ollama aracılığıyla yerel modelleri ve API üzerinde uzak modelleri çalıştırır. Msty resmi olarak bir Docker görüntüsü göndermez, ancak yerel uygulama Docker arka ucu ile iyi oynur.
Eksik olduğu yerler: Kapalı kaynak; Pro özellikleri abonelik arkasında kilitli.
Fiyatlandırma:
- Kişisel kullanım için ücretsiz katman.
- Msty Pro yaklaşık $49/yıl.
Platformlar: Windows, macOS, Linux.
İndir: Web sitesi
Sonuç: En iyi görünen istemci için Msty’yi seçin, özellikle yan yana model karşılaştırması için.
Doğru seçimi nasıl yapmalı
- En basit seçeneği istiyorsanız: bir docker compose dosyasında Ollama artı Open WebUI.
- OpenAI uyumlu drop-in gerekiyorsa: ön tarafta LocalAI veya LiteLLM.
- Modellere görsel olarak göz atmak istiyorsanız: LM Studio.
- Yerel bir uygulamayı tercih ederseniz: Jan veya Msty.
- OpenAI, Anthropic ve yerel arasında yol alıyorsanız: LiteLLM.
- Yan yana model karşılaştırması istiyorsanız: Msty.
- Hazırlanmış Python betiğini denediyseniz ve geçmişinizi kaybettiyseniz: Open WebUI, çünkü geçmiş her yeniden yapıyı hayatta tutan Docker biriminde yaşar.
SSS
Docker ile masaüstünde yerel LLM çalıştırmanın en hızlı yolu nedir?
docker run ollama/ollama, ardından docker run open-webui/open-webui Ollama’yı gösteren ağ bayrağı ile. İkisi de resmi görüntüleridir. Bu listeyi ilham veren XDA parçası kabaca bunu yapıyor.
GPU’ya ihtiyacım var mı?
Hayır, ancak CPU çıkarımı yavaştır. Mütevazı bir NVIDIA kartı, Apple Silicon Mac veya iGPU offload ile AMD Ryzen hepsi çalışır. Ollama ve LM Studio otomatik olarak mevcut en iyi arka ucu kullanır.
Bu uygulamalar uzak API’lerle de konuşabilir mi?
Evet. Open WebUI, LiteLLM, LM Studio, Jan ve Msty’nin tümü, yerel modellerin yanı sıra OpenAI, Anthropic ve diğer uzak sağlayıcıları destekler.
En iyi ücretsiz masaüstü AI uygulaması hangisidir?
Open WebUI artı Ollama, çoğu insanın yakınsadığı ücretsiz yığındır. Jan ve LM Studio güçlü yerel alternatiflerdir.
Konteyner yeniden yapılarda sohbet geçmişini nasıl koruyorum?
Durum dizinini Docker birimi olarak monte edin. Open WebUI her şeyi /app/backend/data’nın altında depolar; LocalAI /build/models altında; Jan yapılandırma dizini altında. Bu birimi ana bilgisayarda kalıcı kılın ve yeniden yapılar geçmiş kaybetmeyecektir.
