XDA eski bir telefonu yerel bir LLM sunucusuna dönüştürdü ve Gemma 4’ü gerçek üretkenlik işi için yeterince iyi çalıştırdı. Bu, bir çekmecede oturan eski bir Android için oldukça iyi bir kullanım ve llama.cpp’nin ARM optimizasyonları sayesinde, bir Snapdragon 8 Gen 1 veya daha yeni, Wi-Fi’nizdeki diğer cihazlara yanıt veren 3B’den 7B’ye nicelleştirilmiş bir model barındırabilir. Yedi uygulama işi ele alır, bazıları OpenAI uyumlu API’yi de ortaya koyan sohbet istemcileridir, bazıları llama.cpp veya ollama’yı doğrudan çalıştırmanıza izin veren terminallerdir.
Yerel LLM Android uygulamasında ne aramamız gerekir
- API sunucusu modu. “Eski telefon LLM sunucusu olarak” için, uygulama diğer cihazların arayabileceği bir HTTP uç noktasını ortaya çıkarmalı, ideal olarak OpenAI uyumlu.
- Model biçimi desteği. GGUF llama.cpp aracılığıyla standarttır, MLC’nin kendi biçimi başka bir seçenektir.
- GPU boşaltma. Telefonunuzun Adreno veya Mali GPU’sunu kullanan Vulkan veya OpenCL arka ucu, saniye başına jetonu 3x’ten 5x’e değiştirir.
- Pil ve termal kontrol. Sürekli çıkarım bir telefonu pişirir. Ön plan hizmet kontrolleri ve termal azaltma arayın.
- RAM ayak izi. 4 ile 6 GB RAM arasına sahip eski telefonlar agresif nicelleştirme ile bile daha büyük modellere sığamaz.
- Arka plan kalıcılığı. Uygulama, ucuz OEM’lerde Android’in agresif bellek yöneticisinden kurtulmalıdır.
Hızlı karşılaştırma
| Uygulama | En iyi | Ücretsiz | API sunucusu | Puan |
|---|---|---|---|---|
| Termux | Terminalde tam llama.cpp veya ollama | Evet | Evet, llama-server aracılığıyla | 4.7 |
| PocketPal AI | Sunucu geçişli GUI sohbeti | Evet | Evet, deneysel | 4.5 |
| Layla | Parlak sohbet artı rol oynama | Evet | Trial Pro API | 4.4 |
| MLC Chat | MLC-optimize edilmiş modeller | Evet | Yalnızca kararlı olanda yerel | 4.3 |
| ChatterUI | SillyTavern benzeri arayüz | Evet | Evet, yerleşik sunucu aracılığıyla | 4.4 |
| SmolChat | Minimal sohbet istemcisi | Evet | Hayır | 4.3 |
| llama.cpp Android | Referans derleme | Evet | Evet, llama-server aracılığıyla | 4.5 |
Yedi uygulama
1. Termux, terminalde en iyi tam llama.cpp veya ollama
Termux, llama.cpp veya ollama’yı doğrudan inşa etmenize ve çalıştırmanıza izin veren Linux-in-your-pocket araç setidir. pkg install cmake python git, llama.cpp’yi klonlayın, LLAMA_VULKAN=1 ile derleyin ve llama-serverı LAN IP’nize bağlı olarak başlatın. Eski telefon artık Wi-Fi’deki herhangi bir cihaza OpenAI uyumlu bir API sunar.
Eksik olduğu yerde: Terminal korkuları için değil. İlk kurulum paket yönetiminin bir saatini alır.
Fiyatlandırma:
- Ücretsiz: Tam araç seti
- Ücretli: Hiçbiri
Platformlar: Android
Yerel LLM barındırması için Termux esneklikte kazanır. llama.cpp’nin desteklediği her şey, Termux destekler.
Sonuç: Terminal’de rahat olan okuyucular için seçim. Tavan bu listedeki herhangi bir GUI’den çok daha yüksektir.
2. PocketPal AI, sunucu geçişli en iyi GUI
PocketPal AI, Hugging Face’den GGUF modellerini yükleyen ve bunları cihazda çalıştıran açık kaynaklı bir Android sohbet istemcisidir. Son derlemeler, OpenAI uyumlu bir uç nokta aracılığıyla LAN’ınızda aynı modeli ortaya koyan deneysel bir sunucu anahtarı ekler.
Eksik olduğu yerde: Sunucu anahtarı yine de deneysel olarak işaretlenir ve TLS’ye sahip değildir.
Fiyatlandırma:
- Ücretsiz: MIT altında açık kaynak
- Ücretli: Hiçbiri
Platformlar: Android, iOS
İndir: Google Play · F-Droid
Yerel LLM barındırması için PocketPal AI GUI basitliğinde kazanır. Hugging Face’den bir model seçin, yüklemeye dokunun, sohbeti başlatın.
Sonuç: Önce GUI ve ikinci API’yi isteyen okuyucular için seçim.
3. Layla, parlak sohbet artı rol oynama en iyi
Layla, nicelleştirilmiş modelleri cihazda çalıştıran, kullanıcı dostu bir Android sohbet istemcisidir. Karakter rol oynama, kalıcı bellek ve ses modu dahildir. Pro seviyesi, yüklenen modeli ortaya koyan bir API sunucusu modu ekler.
Eksik olduğu yerde: Ücretsiz seviye bağlam uzunluğunu sınırlar. Karakter özellikleri arayüz karmaşıklığı ekler.
Fiyatlandırma:
- Ücretsiz: Temel sohbet
- Ücretli: Genişletilmiş bağlam ve API modu için Pro aboneliği
Platformlar: Android
İndir: Google Play
Yerel LLM barındırması için Layla sohbet cilasında ve rol oynama araçlarında kazanır.
Sonuç: Sohbet odaklı bir arayüz isteyen okuyucular için seçim, dev aracı değil.
4. MLC Chat, MLC-optimize edilmiş modeller en iyi
MLC Chat MLC ekibinden Qualcomm Adreno ve MediaTek GPU’ları için optimize edilmiş önceden derlenmiş modellerle gelir. Saniye başına jetonlar, uygulamanın resmi olarak desteklediği telefonlar için bu listedeki en iyisidir, llama.cpp’den daha küçük bir model kütüphanesinin maliyetiyle.
Eksik olduğu yerde: API sunucusu modu yol haritasında, henüz stabil sürümlerde değil.
Fiyatlandırma:
- Ücretsiz: Açık kaynak
- Ücretli: Hiçbiri
Platformlar: Android, iOS
Yerel LLM barındırması için MLC Chat telefonunuz desteklenen listede olduğunda ham çıkarım hızında kazanır.
Sonuç: Cihazı MLC’nin desteklenen listesinde olan ve yerel olarak saniye başına maksimum jeton isteyen okuyucular için seçim.
5. ChatterUI, SillyTavern benzeri arayüz en iyi
ChatterUI, SillyTavern’de modellendirilen bir Android sohbet istemcisidir. Karakter kartları, sohbet dalları ve LAN’ınızdaki diğer cihazların OpenAI uyumlu bir uç nokta olarak vurabileceği yerleşik sunucu.
Eksik olduğu yerde: Karakter kart biçimi noktadır, ancak ChatterUI’yi basit S&S için PocketPal’dan daha ağır yapar.
Fiyatlandırma:
- Ücretsiz: Açık kaynak
- Ücretli: Hiçbiri
Platformlar: Android
İndir: GitHub
Yerel LLM barındırması için ChatterUI mevcut sohbet yığını SillyTavern şeklindeyse kazanır.
Sonuç: Zaten SillyTavern kullanan okuyucular için seçim.
6. SmolChat, minimal sohbet istemcisi en iyi
SmolChat, llama.cpp GGUF modelleri için minimalist bir Android istemcisidir. Bir API sunmaz, ancak ayak izi yeterince küçüktür, 4 GB RAM’li eski telefonlar yine de nicelleştirilmiş 3B bir modele sığabilir.
Eksik olduğu yerde: Yalnızca yerel sohbet, sunucu modu yok.
Fiyatlandırma:
- Ücretsiz: Açık kaynak
- Ücretli: Hiçbiri
Platformlar: Android
İndir: GitHub
Yerel LLM barındırması için SmolChat 4 GB cihazlar için en hafif seçenek olarak kazanır.
Sonuç: Hedef telefon gerçekten eski ve RAM kısıtlı olduğunda seç.
7. llama.cpp Android, en iyi referans derleme
llama.cpp Android ggerganov’dan resmi referans derlemesidir. Hiçbir mağazada değil, GitHub sürümlerinden APK’yi yan yüklersiniz. llama-serverı Linux’ta kullanacağınız alet ile doğrudan çalıştırır.
Eksik olduğu yerde: Sıfır arayüz cilası ve başlamadan önce llama.cpp bayraklarını bilmelisiniz.
Fiyatlandırma:
- Ücretsiz: MIT altında açık kaynak
- Ücretli: Hiçbiri
Platformlar: Android
İndir: GitHub
Yerel LLM barındırması için llama.cpp Android referans uygulama olarak kazanır.
Sonuç: Laptop’ta çalıştırdıkları aynı aracı Android’de isteyen okuyucular için seçim.
Doğru olanı nasıl seçeriz
- Terminal’de rahat, maksimum esneklik ister: Termux
- GUI artı API geçişi ister: PocketPal AI
- Rol oynama ile sohbet cilası ister: Layla
- Telefon MLC’nin desteklenen listesinde ve maksimum hız ister: MLC Chat
- Zaten SillyTavern çalıştırın: ChatterUI
- Telefon yalnızca 4 GB RAM’e sahip: SmolChat
- Referans llama.cpp derlemesini ister: llama.cpp Android
SSS
Eski bir Android telefon gerçekten LLM çalıştırabilir mi?
Evet, Snapdragon 855 ve sonrası, 6 GB veya daha fazla RAM ile. Eski donanımda nicelleştirilmiş 3B modelinde saniye başına 3 ile 5 jeton ve daha yeni telefonlarda saniye başına 10 ile 20 jeton bekleyin.
Android'de hangi model en iyi çalışır?
Gemma 2B, Phi-3 Mini, Llama 3.2 3B ve Qwen 2.5 3B, hepsi Q4_K_M nicelleştirmede rahat sığar. Gemma 4, 8 GB veya daha fazla RAM’i olan daha yeni telefonlarda çalışır.
Telefonumu laptop'um için LLM API sunucusu olarak kullanabilir miyim?
Evet. Termux çalışan llama-server, LAN IP’mize bağlı çalışır. Laptop’unuzun sohbet istemcisini OpenAI uyumlu bitiş noktası için http://<phone-ip>:8080/v1 üzerine yönlendir.
LLM çalıştırmak telefon pil'imi öldürür mü?
Sürekli çıkarım hızla boşalır, duvar gücünü planlayın. Ayrıca telefonun sıcak çalışmasını bekleyin, hava akışı için yükseltin.
llama.cpp ücretsiz mi?
Evet, MIT lisanslı. Bu listedeki llama.cpp kullanan her uygulama, açık kaynak ya da ücretsiz llama.cpp tabanının üzerine ücretlidir.
