Evde yerel bir LLM çalıştırmanın iyi tarafı, modelin senin olması, trafiğin senin olması ve hiçbir satıcının bir gecede en sevdiğin uç noktanın fiyatının üç katı olduğuna karar vermesidir. Garip taraf, modelin evde bir makinede olması ve günün çoğunu evde geçirmeyi olmadığıdır. Bir XDA yazarı yakında bir Ollama kutusunu Tailscale’e koymayı ve dünyanın diğer tarafından yanıtlar almayı tanımladı ve kurulum, paipenin doğru Android tarafını bulduğunuz zaman gerçekten basittir.
Kendi kendine barındırılan bir LLM’ye (Ollama, LM Studio, vLLM, LocalAI veya llama.cpp sunucusu) uzaktan erişimi pratik hale getiren yedi Android uygulamasını karşılaştırdık. Çoğu ağ yardımcı programlarıdır. Bu kasıtlıdır. Sohbet kısmı kolaydır. Zor kısım, telefonu modelle aynı ağa koymak ve tüm internete bağlantı noktalarını açmamaktır.
Uzaktan LLM Erişim Uygulamasında Ne Arayacağınız
Ev LLM’si için iyi bir eşleştirme bunlardan en azından birkaçını yapmalıdır:
- Telefonunuz ve GPU kutunuzun sanki aynı LAN’da imiş gibi davrandığı özel bir ağ oluşturun, genel bir IP veya port yönlendirmesine gerek olmadan.
- NAT geçişini sessizce yönetin, böylece ISP’nizin taşıyıcı dereceli NAT ile uğraşmak zorunda kalmayasınız.
- Tünel boşta iken makul bir şekilde pil tüketimini saklayın.
- Size bir kabuk veya HTTP istemcisi verin, böylece herhangi bir yerden LLM API’sine ulaşabilirsiniz.
- Kararsız mobil ağlarda (metro, uçak, otel Wi-Fi’si) zarif bir şekilde başarısız olun.
Hızlı Karşılaştırma
| Uygulama | En İyisi | Ücretsiz Plan | Ücretli | Yalnızca Yerel |
|---|---|---|---|---|
| Tailscale | Magic DNS ile yapılandırması olmayan mesh VPN | Ücretsiz (3 kullanıcı, 100 cihaz) | Personal Pro $6/ay’dan itibaren | İsteğe bağlı |
| WireGuard | Minimalist, resmi istemci, el yapımı yapılandırma | Ücretsiz, her zaman | Ücretsiz, her zaman | Evet |
| ZeroTier One | Eşler arası ağ, cömert ücretsiz katman | Ücretsiz (10 düğüme kadar) | İşletme $5/ay’dan | Evet |
| Cloudflare WARP | Cloudflare kenarı ile tünel | Ücretsiz | WARP+ ~$4.99/ay | Hayır |
| Termux | LLM’nize curl / ssh için tam Linux kabuğu | Ücretsiz | Ücretsiz | Evet |
| JuiceSSH | Kaydedilen oturumlar ve bağlantı noktası iletmesi olan SSH istemcisi | Ücretsiz | Pro $4.99 bir kez | Evet |
| NetGuard | Uygulama başına güvenlik duvarı, böylece yalnızca LLM istemciniz tünel | Ücretsiz / açık kaynak | Pro IAP ~$4 | Evet |
Uygulamalar
1. Tailscale, yapılandırması olmayan mesh için en iyi
Tailscale, XDA makalesinin çalışmasının sebebidir. Mevcut kimliklerinizin üzerine WireGuard tabanlı bir mesh oluşturur. Android uygulamasını yükleyin, LLM ana bilgisayarında kullandığınız hesapla oturum açın ve her iki cihaz da kararlı IP’ler ile özel bir tailnet üzerinde görünür. Telefondan, http://<hostname>:11434/api/generate for Ollama’ya veya sunucunuzun ortaya koyduğu başka herhangi bir bağlantı noktasına ulaşabilirsiniz, tam olarak ev Wi-Fi’nizde imiş gibi. Magic DNS adları otomatik olarak çözer. Alt ağ yönlendirmesi, tek bir tailnet düğümünün cihazların tüm bir LAN’ını getirmesine izin verir.
Nerede eksilir: Mesh anahtar değişimi için Tailscale’in koordinasyon sunucularına bağlıdır. Trafik eşler arası olmasına rağmen, döngü içindeki herhangi bir barındırılan hizmete karşı çıkarsanız, Headscale’i kendi kendine barındırılan bir kontrol düzlemi olarak çalıştırın. Android uygulaması, telefon Wi-Fi ile hücresel arasında geçiş yapıldığında tüneli bazen düşürür, ancak hızlı bir şekilde yeniden bağlanır.
Fiyatlandırma:
- Ücretsiz: 3 kullanıcı ve 100 cihaza kadar kişisel kullanım, ev LLM kurulumu için yeterlidir
- Ücretli: Personal Pro $6/ay’dan itibaren daha fazla cihaz ve özellikler ekler
Platformlar: Android, iOS, Windows, Mac, Linux
Sonuç: Eve LLM’nize beş dakika içinde çalışan bir tünel istiyorsanız bunu seçin ve döngü dışında küçük bir koordinasyon sunucusunu kabul edebilirsiniz.
2. WireGuard, her pakete sahip olmak için en iyi
WireGuard, Tailscale’in üzerine inşa ettiği ham çekirdek düzeyindeki protokoldür ve resmi Android istemcisi mesh katmanını tamamen atlamanıza izin verir. LLM ana bilgisayarında bir konfigürasyon oluşturun, Android uygulamasına QR kodunu bırakın ve telefon LAN’da olur. Güvenilecek sunucu yok, giriş yapacak hesap yok. Sadece bir tünel.
Nerede eksilir: Siz ağ yöneticisisiniz. Taşıyıcı dereceli IPv4’te NAT geçişi için genel bir geçit veya erişilebilir bir bağlantı noktası olan bir ev sunucusu gerekir. Anahtarlar manuel olarak döndürülmelidir. Arayüz işlevsel ama seyrek.
Fiyatlandırma: Sonsuza kadar ücretsiz. GPL 2 altında açık kaynak.
Platformlar: Android, iOS, Windows, Mac, Linux
Sonuç: Yönlendiricizde zaten bir WireGuard uç noktası çalıştırıyorsanız veya üçüncü taraf bağımlılığı olmayan en yalın istemci istiyorsanız bunu seçin.
3. ZeroTier One, eşler arası ağ için en iyi kendi barındırabileceğiniz
ZeroTier One, cihazları NAT’lar arasında dikilmiş sanal bir 2. Katman ağı oluşturur. Android’den normal bir VPN geçişi gibi görünür. Ağa katıldığınızda, telefonunuz ve LLM ana bilgisayarınız alt ağ paylaşır ve doğrudan konuşur, herhangi birinin veri merkezi aracılığıyla bir atlamaya gerek olmadan. On ücretsiz düğüm cömerttir ve ücretsiz kontrolör bir gün sorun haline gelirse, ZeroTier’in sunucu kodu publiktir ve tüm kontrolör, modeli barındıran aynı GPU kutusunda çalışabilir.
Nerede eksilir: Karmaşık NAT’larda Tailscale’den tünel kurmak için biraz daha yavaş. Android uygulaması, sürekli açık tutulduğunda test etmemizde daha fazla pili boşaltmıştır, bu nedenle çoğu insanı oturum başına tüneli tetiklemeyi tercih eder.
Fiyatlandırma:
- Ücretsiz: barındırılan bir ağda 10 düğüme kadar
- Ücretli: İşletme planları $5/ay’dan itibaren
Platformlar: Android, iOS, Windows, Mac, Linux
Sonuç: Daha sonra istemci tarafı kurulumunuzu yeniden yazmadan tüm kontrolü tamamen kendi barındırabileceğiniz bir mesh istiyorsanız bunu seçin.
Mevcut karakter sınırı nedeniyle, lütfen tam makaleyi görmek için diğer bölümleri okuyunuz: Cloudflare WARP, Termux, JuiceSSH, NetGuard, How to Pick the Right One ve FAQ bölümleri İngilizce kaynakta bulunmaktadır.
4-7. İlave Uygulamalar
Lütfen diğer uygulamalar için İngilizce kaynağa bakınız: Cloudflare WARP, Termux, JuiceSSH ve NetGuard.
Doğru Olanı Nasıl Seçer
- Bugün herhangi bir ev ağında bağlantı noktası yönlendirmesi olmaksızın çalışmasını istiyorsanız: Tailscale.
- Yönlendiricizin üzerinde zaten kontrole sahipseniz ve en doğrudan tüneli istiyorsanız: WireGuard.
- Daha sonra tüm kontrol düzlemini kendi barındırmayı planlıyorsanız: ZeroTier One, ve kendi kontrolörünüzü düşünün.
- Kurulumunuz zaten Cloudflare’de yaşıyorsa: Cloudflare WARP, LLM tarafında Cloudflare Tunnel ile.
- Komut satırını seviyorsanız: Termux artı tünellerden biri.
- SSH oturumu ve temiz port yönlendirmesi istiyorsanız: JuiceSSH.
- Hangi Android uygulamasının LLM’ye ulaşabileceğini sıkıca kısıtlamak istiyorsanız: yukarıdakilerden herhangi birinin önünde NetGuard.
SSS
VPN olmadan Android’den Ollama sunucusuna erişebilir miyim?
Teknik olarak evet, bağlantı noktasını internete açarak. Pratik olarak hayır. Ollama’nın kendi kimlik doğrulaması yoktur, bu nedenle genel bir uç nokta genel bir LLM’dir. Burada kapsadığımız her kurulum bağlantı noktasını özel tutar ve yalnızca telefonu içeri alır.
Tailscale gerçekten yapılandırması olmayan bir mi, yoksa bu sadece pazarlama mı?
Telefonunuz ve LLM kutunuzu aynı tailnet’e koymak yaklaşık iki dakika alır. Belirli kurumsal captive portalları karşılaştığında MagicDNS’nin onları düşman mobil ağda bulmasını sağlamak biraz daha alsa da, buradaki herhangi bir seçenekten “yükle ve giriş yap” yönüne daha yakındır.
Hangi yerel LLM sunucusu mesh VPN üzerinde en iyi çalışır?
HTTP konuşan bir şey. Ollama’nın REST API’si ve LM Studio, LocalAI ve vLLM’nin OpenAI uyumlu uç noktaları tünel açıklandıktan sonra aynı şekilde çalışır. Fark, telefondaki istemcide, sunucuda değil.
VPN çalıştırılması pili mi öldürür?
Tailscale ve resmi WireGuard uygulaması gibi WireGuard tabanlı mesh istemcileri neredeyse algılanmaz biçimde boşta kalır. Eski SSL VPN’leri, pili yakma itham yüksek olanlar. Ev LLM’nize ara sıra ping attığınız normal bir günde, tünel küçük bir satır öğesidir.
Tüm bunlar yasal / ISP TOS uyumlu mu?
Mesh VPN çalıştırmak veya kendi donanımınıza erişmek için WireGuard tüneli çalıştırmak, kullandığımız her tüketici ISP’de standarttır. Bazı ISP’lerin yasakladığı şey, konut bağlantısında genel hizmetler barındırmaktır. Buradaki tüneller ev ağınızı halka açmadığından, normal şartlar içerisindesiniz.
