8 GB RAM’li modern bir Android telefon, bir 3B modelini bellekte tutabilir ve birkaç saniye içinde soruları cevaplayabilir, çevrimdışı. Amaç, GPT veya Claude’u zor sorunlar için değiştirmek değildir. Amaç, bir uçuş, sınır geçişi veya kötü otel Wi-Fi’si kalıcı olan özel, ağsız bir söyleşidir. Android’de cihazda LLM çalıştırmak için en iyi uygulamalar üç şekilde farklılık gösterir: hangi nicelenmiş model formatlarını yükledikleri, kararlı kalmak için ne kadar RAM’e ihtiyaç duydukları ve küçük bir ekranda sohbet arayüzü ne kadar kullanılabilir. Yedisini bir ay günlük kullanım için test ettik.
Cihazda LLM uygulamasında ne aramalı
Altı şey, yüklü kalan bir sohbet uygulamasını bir haftada kaldırılan uygulamadan ayırır:
- Model formatı desteği. GGUF en yaygındır; MLC ve ONNX sonra gelir. Uygulama hangi formatı desteklerse, hangi modellerin kullanılabilir olduğunu belirler.
- Nicelik seçenekleri. Q4_K_M, 8 GB’ta 3B modeli için en uygun noktadır; Q3 daha küçüktür ama belki kötüdür.
- Bağlam penceresi işleme. Uygulama yürütülmekte olan bir geçmişi tutar veya her turda sıfırlanır.
- Mütevazı donanımda saniye başına jetonlar. Snapdragon 8 Gen 2 telefonu, 3B Q4’ü yaklaşık 15 ila 25 tok/s cinsinden çalıştırır.
- Pil davranışı. Uzun üretim telefonu ısıtır. Arka plan bayrağı veya oturumları sınırlayan bir zamanlayıcı yardımcı olur.
- Maliyet ve kapalı kaynak durumu. Bazı seçenekler, kapatılması gereken bulut geri dönüşleriyle freemium’dur.
Hızlı karşılaştırma
| Uygulama | En iyi | Model formatları | Ücretsiz seviye | Dikkat çeken |
|---|---|---|---|---|
| PocketPal AI | Genel cihazda sohbet | GGUF | Ücretsiz, açık kaynak | GGUF modelleri için en iyi indirme UX |
| MLC Chat | Snapdragon 8’de hız | MLC | Ücretsiz, açık kaynak | Buradaki herhangi birinin en hızlı tok/s |
| Layla | Karakter sohbeti ve rol oyunu | GGUF | Ücretsiz seviye, abonelik | Parlak arayüz, karakter kitaplığı |
| MyDeviceAI | Araçlarla asistan | GGUF, ONNX | Ücretsiz, açık kaynak | Web araması temellendirmesi, cihazda kalır |
| SmolChat | Küçük telefonlar (4 ila 6 GB) | GGUF (small) | Ücretsiz, açık kaynak | 1B ve 1.5B modellerini temiz bir şekilde çalıştırır |
| Private AI Chat | Hesap yok, telemetri yok | GGUF | Ücretsiz | Seçilmiş model listesiyle gönderilir |
| Enchanted | Ev sunucusunda Ollama | Ollama’ya uzak | Ücretsiz, açık kaynak | Telefon ev LLM ile konuştuğunda en iyi |
Uygulamalar
1. PocketPal AI, en iyi genel cihazda sohbet
PocketPal AI Hugging Face’den GGUF modellerini uygulama içinde indirir ve bir kütüphanede yönetir. Phi-3.5, Gemma 3, Llama 3.2 ve Qwen 2.5 için hazır ayarlar makul başlangıç niceluştirmesi sağlar. Sohbet arayüzü, model başına sistem istemlerini, sıcaklığı, top-p’yi ve tekrar cezasını destekler, bu da buradaki çoğu uygulamadan daha fazla kontroldür.
Nerede kısa kalır: İlk kez kullanıcılar, hangi modeli seçecekleri hakkında kabataslak bir fikre ihtiyaç duyarlar. Uygulama içi tavsiye yoktur.
Fiyat: Ücretsiz, açık kaynak (MIT).
Platformlar: Android, iOS.
İndir: GitHub · Google Play
Sonuç: Buradan başlayın. En eksiksiz ücretsiz seçenektir ve ücretli bir seviye sunmaz.
2. MLC Chat, Snapdragon 8’de en iyi ham hız
MLC Chat modelleri önceden MLC formatına derler ve TVM aracılığıyla çalıştırır. Snapdragon 8 Gen 2 telefonunda, MLC’nin Gemma 2B’si llama.cpp üzerinde GGUF’taki aynı modelin token/s’nin yaklaşık iki katında çalışır. Her model önceden oluşturulduğundan model seçenekleri daha dardır.
Nerede kısa kalır: Yeni bir model eklemek, dizüstü bilgisayarda MLC araç takımı gerektirir. “İndir ve git” iş akışı değildir.
Fiyat: Ücretsiz, Apache lisansı.
Platformlar: Android, iOS.
İndir: MLC Chat · Google Play
Sonuç: Telefon son zamanlarda bir amiral gemisi ise ve amaç mümkün olan en hızlı cihazda yanıt ise seçim.
3. Layla, karakter sohbeti ve rol oyunu için en iyi
Layla llama.cpp‘yi karakterler, sesli giriş ve topluluk personalarının bir kitaplığı ile cilalı bir sohbet arayüzüne sarar. Ücretsiz seviye yerel model indirmesini içerir; abonelik bulutta barındırılan modeller ve görüntü oluşturmayı ekler, ikisi de isteğe bağlıdır. Uygulama varsayılan olarak cihazda olduğundan, karakter kitaplığı çevrimdışı çalışır.
Nerede kısa kalır: RP odağı varsayılan isteimlerde gösterilir. Bunu genel bir asistana dönüştürmek, her oturumda sistem istemini yazmak anlamına gelir.
Fiyat:
- Ücretsiz seviye: yalnızca yerel modeller
- Pro: mütevazı aylık bir ücretten barındırılan modeller ve görüntü ekler
Platformlar: Android, iOS.
İndir: Layla
Sonuç: Kendi sohbetinin faydalılıktan ziyade daha yaratıcı eğilime sahip olmasını isteyen herkese.
4. MyDeviceAI, araçlarla en iyi asistan
MyDeviceAI yerel bir GGUF modelini çalıştırır, ardından parçacıkları okuyan ve bunları modele bağlam olarak dönen bir web araması adımı ekler. Arama sorgusu telefonu terk eden tek şey olduğundan özel kalır. Yerel muhakeme ile Perplexity tarzı asistana en yakın olanıdır.
Nerede kısa kalır: Web araması entegrasyonu değişen bir arama arka ucuna bağlıdır. Ara sıra bozuk araç aramaları operatöre dikkat etmek için kalır.
Fiyat: Ücretsiz, açık kaynak.
Platformlar: Android.
İndir: GitHub
Sonuç: Asistan güncel bilgilere ihtiyaç duyduğunda seçim, sadece model ağırlıklarına uyması gerekendir.
5. SmolChat, küçük telefonlar için en iyi
SmolChat 4 ila 6 GB RAM’li telefonları hedefler. 1B ve 1.5B modelleri (Phi-3-mini, Gemma 2 2B, Llama 3.2 1B) için ayarlanmış ayarlar ile gelir ve daha büyüklerini açmayı reddeder. Sonuç, iki yaşında bir orta seviye telefonda duyarlı kalan bir sohbet uygulamasıdır.
Nerede kısa kalır: Kasıtlı olarak sınırlı. Telefon 3B modeli çalıştırabiliyorsa, bunun yerine PocketPal AI kullanın.
Fiyat: Ücretsiz, açık kaynak.
Platformlar: Android.
İndir: GitHub · Google Play
Sonuç: 7B modelde donacak orta seviye telefonlar için.
6. Private AI Chat, en iyi “hesap yok, telemetri yok”
Private AI Chat doğrulanmış GGUF modellerinin küçük bir listesiyle gönderilir, ilk çalıştırmada bunları indirir ve asla bir hesap istemez. Sohbet geçmişi cihazda veritabanında kalır. Gizlilik politikası bir ekranda uyar, çünkü uygulama veri toplamaz.
Nerede kısa kalır: Model zor bir soru için yeterli değilse bulut geri dönüşü yoktur. Seçilmiş liste ötesinde kullanıcı tarafından eklenen modeller yoktur.
Fiyat: Ücretsiz.
Platformlar: Android.
İndir: Google Play
Sonuç: Bütün nokta “hiçbir veri telefonu terk etmez” ve model seçme eğlenceli kısım değil.
7. Enchanted, evde zaten Ollama çalıştırıyorsanız en iyi
Enchanted ev sunucusunda çalışan Ollama için bir telefon istemcisidir. Tamamen cihazda değildir (model, hesaplamayı ele alan ev makinesinde çalışır), ancak sohbet LAN’da veya Tailscale tüneli aracılığıyla kalır. Zaten Ollama barındıran güçlü bir ev kutusu olan biri için, bu telefonda 70B modele giden en kısa yoldur.
Nerede kısa kalır: Ev Ollama örneği gerektirir. Hücresel kullanım, sunucuya ulaşmak için Tailscale gibi bir tünel gerekir.
Fiyat: Ücretsiz, açık kaynak.
Platformlar: Android, iOS.
İndir: GitHub
Sonuç: Telefon çok daha büyük yerel bir modele yönelik ince bir istemci olduğunda seçim.
Doğru olanı seçme
Telefon 8 GB RAM veya daha fazlaysa, PocketPal AI ve 3B Q4 modeli ile başlayın. Arayüz en dostça ve model kitaplığı en geniştir.
Telefon son zamanlarda bir amiral gemisi ise ve hız model seçiminden daha önemliyse, MLC Chat’e geçin.
Telefon 4 ila 6 GB RAM’e sahipse, 1.5B veya 2B modeli ile SmolChat kullanın.
Amaç, şeyleri arayabilen özel bir asistan ise, MyDeviceAI kullanın.
Gün yaratıcı sohbet veya rol oyunu içeriyorsa, Layla kullanın.
Güçlü bir ev sunucusu zaten Ollama çalıştırıyorsa, Enchanted kullanın ve telefonu ince bir istemci olarak değerlendirin.
SSS
Hangi Android telefonları 7B modeli çalıştırabilir? En az 12 GB RAM’e sahip telefonlar (Pixel 9 Pro XL, Galaxy S25 Ultra, OnePlus 13). 7B Q4 modeli artı OS 12 GB’da iyi sığar ve hareket eder. 8 GB’ta telefon takas yapar ve uygulama dakikalar içinde çöker.
Bu uygulamalar pili tüketti mi? Evet, üretim sırasında. Modüler SoC’de 20 tok/s’de 3B modeli 4 ila 6 W çekiyor. On dakikalık bir konuşma kabaca yüzde bir bataryadır. Uzun üretim telefonu ısıtır.
Bunları çevrimdışı kullanabilir miyim? Evet, bu nokta. PocketPal AI, MLC Chat, SmolChat, Layla ve Private AI Chat, model indirilmesinden sonra tamamen cihazda çalışır. Uçak modu bunları etkilemez.
Verilerim özel mi? Altı cihazda uygulamada, evet. Enchanted sohbeti kendi Ollama sunucunuza gönderir. Hiçbiri varsayılan modda bir üçüncü taraf bulutuna istemi göndermez.
Hangi model ile başlamalıyım? Phi-3.5-mini Q4_K_M’de 8 GB’ta en güvenli varsayılandır. Yaygın sorulara iyi yanıt verir ve yaklaşık 2.5 GB RAM’e sığar. Telefon idare edebiliyorsa Gemma 2 2B veya Llama 3.2 3B’ye geçin.
Bunlar ChatGPT’yi değiştirebilir mi? Hızlı sorular, kısa metin taslağı ve 200 satırın altındaki kod parçacıkları için, evet. Uzun akıl yürütme, güncel olaylar ve karmaşık kod için, hayır. Cihazda özel, çevrimdışı katman olarak davranın, tüm araç kutusu değil.
