Geçen haftanın XDA yazısı her ev-lab başlığının bittiği yerde bitti: yedi yerel LLM’den yalnızca bir tanesi, otomasyon ilginç hale geldiğinde akıllı bir evin beynini yapabildi. Geri kalanı fonksiyon çağrılarında halüsinasyon yapıyor, “veranda ışığını kapat” niyetini kaçırıyor veya o kadar sıcak çalışıyordu ki NAS fanları saatler boyunca dönerdi. NAS’taki yerel bir model sesli kontrol için meşru bir cevapdır, ancak uygulamalarının seçimi model seçiminden daha önemlidir.
Ev NAS’ında veya aynı LAN’daki mini PC’de çalışan, OpenAI uyumlu bir uç noktasını açığa çıkaran ve Home Assistant’ın LLM tabanlı ses boru hattı ile temiz şekilde entegre olan 7 masaüstü uygulaması test ettik. Aşağıdakilerin tümü ağırlıklar indirildikten sonra çevrimdışı çalışır ve hepsi belgelendirilen bir Docker görüntüsüne sahiptir.
Nelere dikkat etmeliyim
- OpenAI uyumlu API. Home Assistant’s Assist bunu bekler ve aşağıdaki diğer tüm araçlar aynı şekilde bağlanır.
- Fonksiyon çağrısı desteği. Yapılandırılmış bir fonksiyon çağrısı yayınamayan bir model ışığı çeviremez.
- GGUF veya GPTQ model desteği. NAS’ın GPU’su yoksa, CPU’da Q4 GGUF dürüst başlangıç noktasıdır.
- Akılcı bellek ayak izi. 7B Q4 modeli istirahatte 6 GB RAM’in altında kalmalıdır.
- Sıcak başlangıç. Her sesli komutta 7B modeli soğuk yüklemek, fark edeceğiniz beş saniyelik bir gecikleme.
- Kararlı bir işlem yöneticisi. NAS haftalık olarak güncellemeler için yeniden başlatılır; model otomatik olarak geri gelmelidir.
Hızlı karşılaştırma
| Uygulama | En iyi kullanım | Platformlar | Ücretsiz plan | Dikkat çekici özellik |
|---|---|---|---|---|
| Ollama | Çoğu Home Assistant kılavuzunun hedeflediği varsayılan çalıştırıcı | Linux, macOS, Windows | Evet (açık kaynak) | Model kataloğu ve kararlı OpenAI uyumlu uç noktası |
| LocalAI | Ses dahil OpenAI API’leri için hepsi bir arada bırak | Linux, macOS, Windows (Docker) | Evet (açık kaynak) | Bir kapsayıcıdan sohbet, yerleştirmeler, TTS ve STT’yi işler |
| LM Studio | NAS ana bilgisayarında GUI ve LAN için sunucu | Windows, macOS, Linux | Evet | Model keşfi ve tek tıklamayla sunucu geçişi |
| Open WebUI | Home Assistant ile de konuşan web sohbet ön ucu | Linux, macOS, Windows (Docker) | Evet (açık kaynak) | Ollama, LocalAI veya herhangi bir OpenAI uyumlu arka uç ile çok kullanıcılı sohbet |
| Home Assistant | Uç noktanın tüketicisi | Windows, macOS, Linux (HAOS, Docker) | Evet | Fonksiyon çağrısı yönlendirmeli yerel Assist LLM entegrasyonu |
| vLLM | GPU’lu NAS’ta en iyi verim | Linux (Docker) | Evet (açık kaynak) | Çok kullanıcılı kullanım için sürekli toplu işleme ve sayfalı dikkat |
| llama.cpp | Yukarıdakilerin çoğunun arkasındaki bare-metal C++ çalıştırıcı | Linux, macOS, Windows | Evet (açık kaynak) | CPU’da hemen hemen her donanımda GGUF çalıştırır |
NAS’ta akıllı ev LLM için en iyi 7 uygulama
1. Ollama — çoğu kılavuzun hedeflediği en iyi varsayılan çalıştırıcı
Ollama, llama.cpp’yi temiz bir CLI, model kütüphanesi ve Home Assistant’ın Assist LLM entegrasyonunun kutusundan doğrudan konuştuğu OpenAI uyumlu HTTP sunucusuyla sarmalar. NAS’a yükleyin, ollama pull qwen2.5:7b-instruct yapın ve Home Assistant’ı http://<nas-ip>:11434 adresine yönlendirin. Hizmet yöneticisi yeniden başlatmalar arasında onu sıcak tutar.
Başarısız olduğu yer: Çok kullanıcılı eşzamanlılık tek şeritlidir; paralel istekler toplu işleme yerine sırada bekler. Windows desteği yakın zamanda geldi ve Linux’ta stabilite açısından geride kalıyor.
Fiyatlandırma:
- Ücretsiz: MIT altında açık kaynak
- Ücretli: kendi kendine barındırma için yok
Platformlar: Linux, macOS, Windows (yerel ve Docker)
İndir: ollama.com
Sonuç: Önce Ollama seçin ve yalnızca belirli bir sınırlama sizi uzaklaştırdığında ayrılın.
2. LocalAI — bir kapsayıcıdan sohbet, konuşma ve yerleştirmeler istiyorsanız en iyi
LocalAI, OpenAI yüzeyinin tamamını kapsayan bırakma aracıdır: sohbet tamamlamaları, yerleştirmeler, TTS, STT ve görüntü oluşturma, hepsi yerel. Home Assistant’ın Wyoming protokolü, STT için LocalAI’nin Whisper uç noktasına ve TTS için Piper’a işaret edebilir, bu da tüm ses döngüsünün NAS’ta yaşadığı anlamına gelir.
Başarısız olduğu yer: Config dosyası yoğundur ve ilk kez okumayı gerektirir. GPU hızlandırma yolları (CUDA, ROCm, Vulkan) yapı başına ve yanlış görüntü seçmek sessiz CPU geri dönüşü verir.
Fiyatlandırma:
- Ücretsiz: MIT altında açık kaynak
- Ücretli: yok
Platformlar: Linux, macOS, Windows (Docker)
İndir: localai.io
Sonuç: Hedef bir çatı altında STT, TTS ve sohbet ile bağımsız bir ses yığını ise LocalAI seçin.
3. LM Studio — daha dostça bir arayüz önemli olduğunda en iyi
LM Studio bir masaüstü sohbet uygulaması olarak başladı ve kulaklıksız sunucu moduna büyüdü. Ekranı veya uzak KVM oturumu olan NAS’ta, model seçici ve niceleme seçici ham CLI’den daha affedici. Yerleşik sunucu, Home Assistant’ın beklediği OpenAI uyumlu uç noktasını açığa çıkarır.
Başarısız olduğu yer: Temel uygulama kapalı kaynaktır, bu bazı ev-lab kurulumları için kategorik bir hayırdır. Kulaklıksız modu mevcuttur ancak yine de ikinci sınıf bir vatandaş.
Fiyatlandırma:
- Ücretsiz: tam uygulama
- Ücretli: yok
Platformlar: Windows, macOS, Linux
İndir: lmstudio.ai
Sonuç: Modelleri akıllı ev rolü için bağlamadan önce denemek için bir arayüz istiyorsanız LM Studio seçin.
4. Open WebUI — insanları döngüde tutan en iyi sohbet ön ucu
Open WebUI, Ollama, LocalAI veya herhangi bir OpenAI uyumlu uç noktaya karşı çalışan tarayıcı tabanlı ChatGPT tarzı ön uçtur. NAS’ta, bir test yüzeyi olarak çift görev yapar: Assist boru hattının kullandığı aynı modele karşı bir istemi çalıştırın, sistem istemini ayarlayın, ardından Home Assistant’ı güncelleyin. Roller içeren çok kullanıcılı destek aileyi yönetici konsolundan uzak tutar.
Başarısız olduğu yer: Bu bir sohbet UI’sidir, otomasyon yolunun bir parçası değildir. Kurulum, kalıcı bir hacim ve LAN veya Tailscale erişimi için ters proxy gerektirir.
Fiyatlandırma:
- Ücretsiz: MIT altında açık kaynak
- Ücretli: yok
Platformlar: Linux, macOS, Windows (Docker)
İndir: openwebui.com
Sonuç: Karar verdiğiniz herhangi bir çalışma zamanının üstünde kullanıcıya yönelik sohbet olarak Open WebUI seçin.
5. Home Assistant — uç noktanın en iyi tüketicisi
Home Assistant‘ın Assist LLM entegrasyonu, “mutfak ışığını aç” ifadesini bir fonksiyon çağrısına dönüştüren şeydir. Ollama, LocalAI, LM Studio veya herhangi bir OpenAI uyumlu uç noktaya yönlendirin, modelin kontrol etmesini istediğiniz varlıklarda “expose to Assist” işaretleyin ve ses tamamen LAN üzerinde çalışır. İstem şablonu düzenlenebilir, modeli odaların hayal etmesinden nasıl engellediğiniz budur.
Başarısız olduğu yer: Fonksiyon çağrısı kalitesi modele bağlıdır ve Home Assistant size model makul ancak yanlış bir varlık kimliği döndürdüğünde söylemez. Hata ayıklama Assist hata ayıklama panelinde yaşar ve hakim olmak zaman alır.
Fiyatlandırma:
- Ücretsiz: açık kaynak
- Ücretli: opsiyonel Nabu Casa Cloud, yerel ses için gerekli değil
Platformlar: Windows, macOS, Linux (HAOS, Docker, VM)
İndir: home-assistant.io
Sonuç: LLM yalnızca çıktısına bir şey etki ettiğinde ilginç olduğu için Home Assistant seçin ve bu da tam olarak budur.
6. vLLM — NAS’ta gerçek GPU varsa en iyi
vLLM, verim odaklı çalışma zamanıdır. Sürekli toplu işleme, sayfalı dikkat ve uygun çok istekli sıra, küçük bir NVIDIA kartını, sesli istekleri, Open WebUI sekmesini ve Obsidian eklentisini aynı anda sunabilen aile ölçekli bir uç noktaya dönüştürür.
Başarısız olduğu yer: Yalnızca GPU, bu nedenle CPU’suz NAS dışarıdadır. Model uyumluluğu Ollama’nınkinden daha dardır ve yeni bir mimari eklemek bir derleme adımıdır.
Fiyatlandırma:
- Ücretsiz: Apache 2.0 altında açık kaynak
- Ücretli: yok
Platformlar: Linux (Docker)
İndir: github.com/vllm-project/vllm
Sonuç: NAS’ta desteklenen bir NVIDIA kartı ve birden fazla ağır kullanıcı modeli aynı anda vurursa vLLM seçin.
7. llama.cpp — sınırlı donanım için en iyi bare-metal çalıştırıcı
llama.cpp, yukarıdaki çalışma zamanlarının çoğuna güç veren C++ projesidir. Bunu doğrudan, yerleşik HTTP sunucusuyla çalıştırmak, 7B modeli Synology veya eski ARM kutusuna sıkıştırmanın en ekonomik yoludur. Apple Silicon’da Metal desteği ve NVIDIA’da CUDA, bir ikili dosyasının çoğu ev kurulumunu kapsamasını sağlar.
Başarısız olduğu yer: Model yönetimi yok, otomatik güncellemeler yok, kutusundan çıkan hizmet betikleri yok. Bir araç seti, bir ürün değildir.
Fiyatlandırma:
- Ücretsiz: MIT altında açık kaynak
- Ücretli: yok
Platformlar: Linux, macOS, Windows (kaynak, ikili veya Docker)
İndir: github.com/ggerganov/llama.cpp
Sonuç: NAS küçükse, işletim sistemi alışılmadık ise ve model dosyasında en az soyutlama istiyorsanız llama.cpp seçin.
Nasıl seçilir
Sıfırdan başlıyorsanız, NAS’a Ollama yükleyin ve Home Assistant‘ı ona yönlendirin.
Ses yığını aynı kutuda STT ve TTS’ye ihtiyaç duyuyorsa, Ollama’yı LocalAI ile değiştirin ve Whisper ve Piper görüntülerini çekin.
Taahhüt etmeden önce modelleri karşılaştırmak için bir arayüz istiyorsanız, LM Studio yükleyin ve sunucu modunu kullanın.
Aile otomasyonu çalıştıran aynı modelle sohbet etmek istiyorsa, üstüne Open WebUI ekleyin.
NAS’ta NVIDIA GPU ve birden fazla ağır kullanıcı varsa, eşzamanlılık için vLLM‘ye geçin.
Donanım alışılmadık derecede küçükse ve her megabayt önemliyse, llama.cpp‘yi doğrudan çalıştırın.
SSS
Gerçekten NAS’ta faydalı bir model çalıştırabilirim mi?
Evet. Modern sekiz çekirdekli CPU’da llama.cpp’deki 7B Q4 modeli, kısa sesli komut yanıtları için okunabilir hızda üretir. NAS’ta 16 GB RAM ve NVMe önbelleği varsa, model sıcak başlangıçtan sonra saniyeler içinde yüklenir. Uzun sohbetler veya akıl yürütme için GPU ekleyin.
Hangi model Home Assistant fonksiyon çağrılarını en iyi şekilde işler?
Qwen 2.5 Instruct, Llama 3.1 8B Instruct ve Hermes-3-Llama, 7B-8B boyutundaki güvenilir yerel seçeneklerdir. 7B’nin altında, fonksiyon çağrısı biçimlendirmesi kırılmaya başlar. Taahhüt etmeden önce Assist hata ayıklama panelinde bir avuç gerçekçi komutla test edin.
Model tüm ev durumumu görüyor mu?
Yalnızca açıkça Assist’e açığa çıkardığınız varlıklar. Maruz kalma geçişi varlık başınadır, bu nedenle ofisteki bir ışık modelin bağlamına sızmaması gerekir. Maruz kalan seti küçük tutun; istem daha ucuz ve model daha az hata yapar.
İnternet düştüğünde ne olur?
Hiçbir şey değişmez. STT, LLM ve TTS hepsi NAS’ta çalışır, bu nedenle sesli kontrol çalışmaya devam eder. WAN’a ihtiyaç duyan tek yol uzaktan erişimdir ve hem Nabu Casa Cloud hem de kendi barındırılan VPN bunu ayrı ayrı düzeltir.
