llama.cpp’nin yeni WebUI, birçok kişi için Ollama ile son büyük açığı kapatıyor, ancak temel altyapı yine de Git’ten çektiğiniz, acceleratörünüze karşı derlediğiniz ve manuel olarak seçilmiş GGUF dosyalarını besleyen bir C++ projesidir. Bu iş akışı, geliştiriciler için bir özellik ve diğerleri için bir duvar. WebUI sizi kendi donanımınızda modeller çalıştırmaya merak salsa da, ancak kurulum adımları sizi yorsa, bu yedi llama.cpp alternativinden biri muhtemelen gelecek ay için daha iyi bir seçim olacaktır.
İnsanların ilk modellerini çalıştırdıktan sonra gerçekte ne yaptığını gözlemledik: quantization değiştirmek, belge eklemek, başka bir uygulamaya OpenAI uyumlu bir endpoint açığa çıkarmak, bir iş arkadaşı ile makineyi paylaşmak. Aşağıdaki her seçenek, yeni bir git pull olmadan en az ikisini kapsar.
Hızlı karşılaştırma
| Uygulama | En iyi için | Ücretsiz plan | Başlangıç fiyatı | Öne çıkan özellik |
|---|---|---|---|---|
| Ollama | Daemon istenen CLI kullanıcıları | Tamamen ücretsiz, açık kaynak | Ücretsiz | Tek satırlık model çekmeleri, neredeyse her üçüncü taraf istemcisi ile çalışır |
| LM Studio | Herhangi bir işletim sisteminde GUI-first kullanıcıları | Kişisel kullanım için ücretsiz | Koltuk başına lisans fiyatlandırması | Apple Silicon’da MLX arka ucu, uygulamada Hugging Face tarayıcı |
| Jan | Tamamen açık kaynak ChatGPT değişikliği | Tamamen ücretsiz, Apache 2.0 | Ücretsiz | localhost’ta OpenAI uyumlu sunucu, MCP desteği |
| KoboldCpp | Tek dosya, taşınabilir çalışma zamanı | Tamamen ücretsiz, açık kaynak | Ücretsiz | Bir yürütülebilir sohbeti, görüntü oluşturmayı, TTS ve daha fazlasını içerir |
| GPT4All | Modest donanımda başlayanlar | Ücretsiz masaüstü uygulaması | Ücretsiz | Yerel belgeler özelliği yalnızca CPU makinelerde çalışır |
| Text Generation WebUI | Oynayan ileri düzey kullanıcılar | Ücretsiz, açık kaynak | Ücretsiz | Çoklu arka uçlar, LoRA ve QLoRA ince ayarı, uzantı sistemi |
| vLLM | Bir kutudan birçok kullanıcıya hizmet vermek | Ücretsiz, açık kaynak | Ücretsiz | Yüksek verimli toplu işleme, tensör paralelliği, OpenAI uyumlu API |
İnsanlar llama.cpp'yi neden terk ediyor
Bu listedeki hiçbir şey llama.cpp’yi kötü ele almıyor. Hala çoğu başka projenin sardığı referans çıkarım motorudur. Sürtüşme etrafında görünür, içinde değil.
- Derleme ağacı açılış rampasıdır. Temiz bir klon, CUDA sürümünü, Metal hedefini veya ROCm dalını bildiğinizi varsayar. Bu altıncı makinede iyidir. Birinci gün zor bir gündür.
- Model kürasyon manueldir. llama.cpp bir register ile gelmiyor. Doğru bağlam uzunluğu için doğru GGUF quantını indirmek her seferinde bir Hugging Face safari’dir.
- Birinci taraf çalışma alanı yok. Belgeler, kişilikler ve uzun konuşmalar hangi ön uçu bağlarsanız orada yaşar. İkisi aynı port için çekiştiğinde, sakin akşam biter.
- Varsayılan olarak tek kullanıcı. Sunucu örneği tek kiracılı. Bir makinede birden fazla etkin kullanıcı ile paylaşmak, shim kodu yazmak veya eşzamanlılığı birinci sınıf bir endişe olarak gören bir projeye geçmek anlamına gelir.
- Sürüm notları sistem makalesi gibi okuyor. Bakıcılar için harika. Yeni bir quant formatı sessizce en iyi örnekleyici varsayılanlarınızı değiştirirse zor.
Yedi alternatif
Ollama — CLI kullanıcıları için en iyi
Ollama temiz bir kurulumdan çalışan 7B modele kadar en kısa yoldur. ollama pull ve ollama run indirmeyi, quantization seçimini ve model yönetimini işler ve yerel API, hemen hemen her masaüstü AI istemcisinin onu kutunun dışından konuşması için yeterince stabildir.
Neresinde başarısız olur: Kayıt, niş ve yeni quantizasyonlu modeller için Hugging Face’ten geri kalır. İsteğe bağlı GGUF’ları içe aktarmak hala elle bir Modelfile yazmak anlamına gelir.
Fiyatlandırma:
- Ücretsiz: Her şey. Permissive lisans altında açık kaynak
- Ödenen: Yok
- vs llama.cpp: Altında aynı motor, çok daha dostça yüzey
llama.cpp’den geçiş: Ollama, Modelfile üzerinden mevcut GGUF’lara işaret edebilir, bu nedenle indirme klasörünüzü korursunuz. Zaten llama.cpp’nin OpenAI uç noktası ile konuşan herhangi bir istemci, bunun yerine Ollama ile konuşmak için yalnızca bir URL değişikliğine ihtiyaç duyar.
İndir: ollama.com · GitHub
Sonuç: llama.cpp CLI’sini seveni ancak her model değişimi etrafında daha az törenle isteyen herkese bariz seçim.
LM Studio — En iyi GUI-first alternatifi
LM Studio Hugging Face model tarayıcısını uygulama içine koyar, belge ekleriyle sohbeti bağlar ve sabit yerel bir bağlantı noktasında OpenAI uyumlu bir sunucu ortaya çıkarır. Apple Silicon’da MLX arka ucu, çoğu yaygın Llama, Qwen, Gemma ve Mistral çeşitleri için llama.cpp’nin Metal derlemesinden ölçülebilir ölçüde daha hızlıdır.
Neresinde başarısız olur: İstemcinin kendisi açık kaynak değildir. Ticari kullanım, bir form arkasında kilitli bir takım lisansı gerektirir.
Fiyatlandırma:
- Ücretsiz: Kişisel kullanım, sınırsız yerel modeller
- Ödenen: Ticari dağıtım için takım lisansı, koltuk başına fiyatlandırması
- vs llama.cpp: GUI özellikleri için daha yüksek taban, Apple donanımında benzer veya daha iyi çıkarım hızı
llama.cpp’den geçiş: LM Studio, OpenAI şeması bekleyen herhangi bir istemci için llama.cpp OpenAI sunucusunun yerine geçebilir. Mevcut GGUF’lar uygulamadaki tarayıcı üzerinden yeniden indirilmeli veya LM Studio’nun model klasörüne manuel olarak taşınmalıdır.
İndir: lmstudio.ai
Sonuç: Llama.cpp sınıfı bir motoru gerçek bir GUI’nin arkasında istenen ve istemcinin açık kaynak olmasına gerek duymayan solo bir geliştirici için doğru seçim.
Jan — En iyi tamamen açık kaynak seçimi
Jan istemci Apache 2.0 ise LM Studio neye benzeyecektir. Windows, macOS ve Linux’ta çalışır, birinci taraf model kataloğu ile birlikte gelir ve localhost:1337’de OpenAI uyumlu bir uç nokta ortaya çıkarır. Model Bağlam Protokolü desteği, Claude Desktop gibi araçların özel bir shim yerine MCP sunucuları üzerinden Jan tarafından barındırılan modellerle konuşabileceği anlamına gelir.
Neresinde başarısız olur: LM Studio’dan daha genç; model kataloğu daha küçük ve bazı Hugging Face quantizasyonları daha geç geliyor. CUDA olmayan donanımda Windows GPU hızlandırması hala geri kalıyor.
Fiyatlandırma:
- Ücretsiz: Her şey. Abonelik yok, koltuk sınırı yok
- Ödenen: Yok
- vs llama.cpp: Açık kaynak duruşundan vazgeçmeden GUI, bir register ve MCP ekler
llama.cpp’den geçiş: Jan yapılandırılabilir klasörden standart GGUF’ları okur. Mevcut model dizininize işaret edin ve başlangıçta bunları listeler.
Sonuç: İstemcinin kendisinin açık kaynak olması gereken veya MCP’nin günlük olarak kullandığınız araçlar için önemli olacağı geliştiriciler için seçim.
KoboldCpp — En iyi tek dosyalı çalışma zamanı
KoboldCpp llama.cpp’yi, bir görüntü oluşturma arka ucunu, metinden konuşmaya ve tarayıcı kullanıcı arayüzünü paketleyen tek bir yürütülebilir olarak gönderilir. İnstallasyon yoktur ve derleme adımı yoktur. İkiliyi bir GGUF’un yanına bırakın, çift tıklayın ve tarayıcı sekmesi görünür.
Neresinde başarısız olur: Kullanıcı arayüzü yoğun ve yazarlar ile rol oynayan oyun kullanıcılarına yönelik olarak tasarlanmış. Takım özellikleri tasarım gereği yoktur.
Fiyatlandırma:
- Ücretsiz: Her şey, açık kaynak
- Ödenen: Yok
- vs llama.cpp: Aynı motor, ama indirme kurulumu
llama.cpp’den geçiş: Aynı GGUF’lar olduğu gibi çalışır. Llama.cpp başlatma komutu bir betiğe yazılırsa, KoboldCpp aynı bayrakların çoğunu kabul eder.
İndir: GitHub
Sonuç: Bir USB çubuğunda, çevrimdışı bir dizüstü bilgisayarda veya başka birisinin makinesinde hızlı bir demo için taşınabilir model sunucusu seçimi.
GPT4All — Modest donanım için en iyi
GPT4All ayrık GPU olmayan masaüstü bilgisayarlara hedefler. Varsayılan model listesi CPU çıkarımı için ayarlanmış ve LocalDocs özelliği klasörleri, sohbetin bulut çağrıları olmadan arayabileceği bir alma deposuna indexler.
Neresinde başarısız olur: Model listesi Hugging Face’ten daha küçük ve çok seçili. En yeni ince ayarı takip eden kullanıcıların GGUF’ları manuel olarak içe aktarması gerekecektir.
Fiyatlandırma:
- Ücretsiz: Tam masaüstü uygulaması, ticari kullanım lisansı dahil
- Ödenen: Yok
- vs llama.cpp: Yüksek uçlu GPU’larda daha yavaş, hiç sahip olmayan makinelerde daha kolay
llama.cpp’den geçiş: GPT4All manuel ekleme modeli akışı üzerinden rasgele GGUF’ları okuyabilir. Sohbet geçmişi biçimi sahıplı olduğundan, uzun konuşmalar geçişten sonra daha iyi yeniden başlatılır.
İndir: nomic.ai/gpt4all
Sonuç: Entegre grafik ve 16 GB RAM’i olan kişisel bir makine seçimi.
Text Generation WebUI — Tinkerler için en iyi
Text Generation WebUI, genellikle “oobabooga” olarak adlandırılan llama.cpp, ExLlamaV2 ve transformers dahil çoğu çıkarım arka ucuna bir tarayıcı kullanıcı arayüzü çalıştırır. Uzantılar LoRA eğitimi, karakter kartları, RAG eklentileri ve ses girişini kapsar.
Neresinde başarısız olur: Kurulum hala bir Python ortamı ve sürücü kontrolü isteyebilir. Kurulum ilk seferi birçok kullanıcının sonunda Ollama veya LM Studio’ya gitmesinin nedenidir.
Fiyatlandırma:
- Ücretsiz: Her şey, açık kaynak
- Ödenen: Yok
- vs llama.cpp: Aynı temel motor artı üstünde uzantıların çalışma alanı
llama.cpp’den geçiş: “modeller” klasörünü mevcut dizininize işaret edin ve başlangıçta llama.cpp arka ucunu seçin. Komut satırı bayrakları alternatif arka uçlarla birlikte belgelenmiştir.
İndir: GitHub
Sonuç: Amaç sadece modelleri çalıştırmak değil, aynı makinede ince ayar ve uzantılarla onları bükmeniz olduğunda seçim.
vLLM — Birçok eşzamanlı kullanıcı için en iyi
vLLM sohbet uygulaması değil, bir hizmet motorudur. PagedAttention ve sürekli toplu işleme, aynı donanımda basit bir llama.cpp sunucusunun çok ötesine throughput iter ve OpenAI uyumlu API, onu zaten OpenAI ile konuşan herhangi bir istemci için doğrudan bir yedek yapar.
Neresinde başarısız olur: GUI yok. GGUF desteği safetensors ile karşılaştırıldığında sınırlı ve tek kullanıcı latency çok kısa istemler için llama.cpp’den daha kötü olabilir.
Fiyatlandırma:
- Ücretsiz: Her şey, açık kaynak
- Ödenen: Yok
- vs llama.cpp: Yük altında daha iyi, kurulum için daha fazla altyapı
llama.cpp’den geçiş: Sohbet istemcileri aynı kalır; sadece taban URL değişir. Modeller doğrudan Hugging Face’ten çekilir, bu nedenle llama.cpp GGUF koleksiyonu eşdeğer safetensors indirmesi gerektirir.
Sonuç: “Masaüstü” aslında bir takım ile paylaşılan iş istasyonu veya üç dört etkin istemciye hizmet veren bir ev laboratuvarı olduğunda seçim.
Doğru olanı seçme
Ollama seçin llama.cpp CLI neredeyse doğru ise ve tek istek oturum başına daha az bayrak ise. Zaten yerel bir modelle konuşan herkes için en güvenli atlamadır.
LM Studio seçin eğer hedef MacBook’ta veya Windows dizüstü bilgisayarında bir cilalı pencere ise ve açık kaynak zor bir gereksinim değilse. Apple Silicon’da MLX hızlandırması gerçektir.
Jan seçin istemcinin kendisinin açık kaynak olması gerekiyorsa veya MCP günlük olarak kullandığınız araçlar için önemliyse.
KoboldCpp taşınabilirlik için seçin. İkili ve bir GGUF’a sahip bir USB çubuğu, bağladığınız herhangi bir Windows veya Linux makinesinde çalışır.
GPT4All seçin makineye entegre GPU, 8-16 GB RAM var ve bir 7B modelini konuşma hızında çalıştırmak hala hırslı görünüyorsa.
Text Generation WebUI seçin kurulumun keyfini çıkarırsanız veya plan çıkarım çalıştıran aynı makinede ince ayarı ve uzantıları içeriyorsa.
vLLM seçin ikiden fazla kişi aynı anda modelle konuşacaksa. Arkasında paylaşılan bir takım ile tek GPU’da, toplu işleme noktadır.
llama.cpp’de kalın iş akışı komut dosyası ise, derleme bayrakları belgelendiyse ve makine hiç değişmeyen bir yapı kutusu ise. Yukarıdaki her sarıcı, motoru doğrudan kazımanız gereken gün sürtüşme ekler.
SSS
Ollama gerçekten llama.cpp üzerine inşa edilmiş mi? Ollama kendi runtime ile gönderilir, llama.cpp’den bifurcated ve zamanla diverged. Her iki proje birçok sampler ve quant formatını paylaşır, ancak Ollama kendi sürüm kararlarını alır.
Bu alternatiflerle mevcut GGUF dosyalarını kullanabilir miyim? Çoğu stok GGUF okur. Ollama küçük bir Modelfile sarıcısı gerektirir, LM Studio ve Jan dosyaları kendi klasörlerinde bekler ve KoboldCpp doğrudan okur. vLLM Hugging Face’ten safetensors’ı tercih eder.
Apple Silicon’da llama.cpp’nin en iyi alternatifi nedir? LM Studio ve Jan her ikisi de Apple Silicon’da MLX kullanır ve 7B ve 13B boyutlarında yaygın Llama, Qwen ve Gemma çeşitleri için llama.cpp’nin Metal derlemesinden daha iyi performans gösterir.
Bunlardan herhangi biri çevrimdışı çalışıyor mu? Hepsi. Ollama, Jan, KoboldCpp, LM Studio, GPT4All, Text Generation WebUI ve vLLM hepsi model disk üzerinde olduktan sonra tamamen yerel makinede çalışır.
En küçük kurulum ayak izine kim sahip? KoboldCpp. Bir yürütülebilir, bağımlılık yok, Python ortamı yok. İkili ve bir GGUF yeterli.
Takımlar için llama.cpp alternatifi var mı? vLLM. Birçok eş zamanlı istek arasında verimlilik için inşa edilir ve OpenAI uyumlu uç nokta herhangi bir takım ölçekli sohbet istemcisine bağlanır.
