XDA-Developers yakın zamanda açık bir şekilde ortaya koydu: telefonunuz artı küçük bir yerel model, insanların Claude Pro veya ChatGPT Plus için ödedikleri şeylerin çoğunu zaten yapıyor. Yazar evinde bir LLM sunucusu çalıştırıyor, bir telefon istemcisini buna yönlendiriyor ve aylardır ücretli bir sohbet botu aboneliğine dokunmuyor. Bu iş akışı, Android için en iyi yerel AI sohbet uygulamalarımızın bu listesinin tüm hikayesidir ve iyi haber şu ki başlamak için ev sunucusu gerekmez. Bazı uygulamalar modeli doğrudan telefonunuzda çalıştırır. Diğerleri masanızda bir Ollama veya LM Studio kutusu için istemci olarak hareket eder. Her iki yol da zaten ödediğiniz elektrikten başka herhangi bir şey gerektirmez.
Yerel bir AI sohbet uygulamasında ne armalı
Google Play’deki “AI” etiketli her uygulamanın aslında cihazınızda model çalıştırmadığını unutmayın. Birini seçmeden önce bu kriterleri kontrol edin:
- Cihazda vs uzak sunucu. Cihaz üstü uygulamalar GGUF veya MLC modelini RAM’e yükler ve telefon CPU’su veya GPU’sunda çıkarım çalıştırır. Uzak istemciler Wi-Fi veya Tailscale aracılığıyla ev Ollama veya llama.cpp sunucunuza istekleri gönderir.
- RAM bütçesi. 4-bit nicelleştirmede 3B parametre modelinin yaklaşık 2 ila 3 GB boş RAM gerekir. 7B modelleri 5 ila 6 GB ister. 8 GB veya daha fazla RAM’e sahip telefonlar bunu kolaylıkla yönetir.
- Model biçimleri. GGUF, llama.cpp tabanlı uygulamalar için standarttır. MLC kendi derlenmiş biçimini kullanır. Ollama istemcileri HTTP üzerinde çalışır, bu nedenle sunucunuzun desteklediği herhangi bir model adildir.
- Çevrimdışı yeteneği. Gerçek çevrimdışı uygulamalar telefon uçak modundayken çalışmaya devam eder. İstemcilerin sunucuya ağ yolu gerekir.
- Karakter veya sistem istemleri. Rol oyunası, kodlama veya belirli bir persona istiyorsanız, uygulamanın sistem istemlerini ve sohbet başına ön ayarları gösterip göstermediğini kontrol edin.
Hızlı karşılaştırma
| Uygulama | En iyi için | Tür | Çevrimdışı çalışır | Model kaynağı | Lisans |
|---|---|---|---|---|---|
| PocketPal AI | Geniş model seçeneğiyle cihaz üstü sohbet | Yerel | Evet | Hugging Face GGUF | Open source |
| MLC Chat | En hızlı telefon GPU çıkarımı | Yerel | Evet | MLC prebuilt | Open source |
| Layla | En parlak cihaz üstü rol oyunası ve personaları | Yerel | Evet | GGUF, curated list | Freemium |
| ChatterUI | Yerel dosyalar ve uzak API’ler için bir istemci | Hibrit | Evet | GGUF plus HTTP endpoints | Open source |
| Ollama App | Evde Ollama sunucusuyla konuşma | Uzak | Hayır | Ollama kütüphaneniz | Open source |
| Enchanted for Ollama | Android’de en parlak Ollama istemcisi | Uzak | Hayır | Ollama kütüphaneniz | Open source |
| Maid | llama.cpp bağlaması ile basit GGUF sohbeti | Yerel | Evet | GGUF, remote llama.cpp | Open source |
| SmolChat | Küçük ayak izi, yalnızca F-Droid | Yerel | Evet | GGUF, small models | Open source |
Uygulamalar
1. PocketPal AI, en iyi genel cihaz üstü sohbet
PocketPal AI çoğu insanın ilk denemesi gereken uygulamadır. Hugging Face’den doğrudan GGUF nicelleştirmelerini çeken yerleşik bir model tarayıcısı ile birlikte gelir, bu nedenle Llama 3.2 3B veya Qwen 2.5 3B’yi yaklaşık bir dakikada indirebilir ve sohbete başlayabilirsiniz. Oluşturma döngüsü kaputun altında llama.cpp’dir ve uygulama bağlam uzunluğu, sıcaklık, top-p ve model başına sistem istemi gösterir. 8 GB RAM’li bir telefonda, Q4_K_M üzerinde 3B modeli okunabilir hızda çalışır.
Eksik olduğu yerlerde: Daha büyük 7B ve 8B modelleri tüm çiplerde yavaştır, flagship dışında ve henüz yerleşik RAG veya dosya yükleme yoktur.
Fiyat: Ücretsiz, open source (MIT).
Platformlar: Android ve iOS.
Özet: Cihaz üstü sohbet istiyorsanız ve henüz ev LLM sunucunuz yoksa varsayılan seçim.
2. MLC Chat, GPU hızlandırmalı çıkarım için en iyi
MLC Chat CMU’daki MLC LLM projesinden gelir ve OpenCL veya Vulkan aracılığıyla telefon GPU’sunu gerçekten kullanan birkaç Android uygulamasından biridir. İlk model indirmesi geçtikten sonra bu, yalnızca CPU uygulamalarından çok daha fazla saniye başına jeton anlamına gelir. Yakalanması model MLC çalışma zamanı için önceden derlenmiş olması gerektiğidir, bu nedenle seçim Hugging Face’den daha dardır. Llama 3, Phi-3 ve Gemma varyantları hepsi orada.
Eksik olduğu yerlerde: İlk kez model indirmeleri büyüktür ve modeller arasında değiştirmek GGUF uygulamalarından daha yavaştır çünkü her biri bağımsız bir pakettir.
Fiyat: Ücretsiz, open source (Apache 2.0).
Platformlar: Android ve iOS.
Özet: Yakın zamanda yüksek uçlu bir Android telefonunuz varsa ve model çeşitliliğinden daha fazla hız tercih ederseniz bunu seçin.
3. Layla, karakter ve rol oyunası için en iyi
Layla llama.cpp’yi herhangi bir cihaz üstü Android sohbet uygulamasının en parlak kullanıcı arayüzüne sarar. Kuru soru-cevaplar yerine karakter personası, bellek ve uzun form sohbete vurgu yapar. Küçük bir modeller kütüphanesi telefon donanımı için önceden seçilir, bu da ham Hugging Face göz atmasından seçim felcini kurtarır. Yerel metinden konuşmaya ve görüntü üretim ek özellikleri istersen mevcuttur.
Eksik olduğu yerlerde: Ücretsiz katman bazı modelleri ve özellikleri ödenen kilidi arkasında kapıyalandırmaktadır, bu nedenle “abonelik yok” hikayesi yalnızca ücretsiz yapı üzerinde tam olarak uygulanır.
Fiyat: Uygulama içi seçenekler ile ücretsiz. Ömür boyu kilit açma mevcuttur.
Platformlar: Android, ayrı masaüstü yapı ile.
Özet: Sunum, karakterler ve sürtünmesiz model seçimi önemliyse en iyi seçim.
4. ChatterUI, en iyi hibrit istemci
ChatterUI yerel GGUF dosyalarını ve uzak API’leri eşit vatandaş olarak ele alan Kotlin-native bir uygulamadır. Telefonunuzdaki bir model dosyasına işaret edin ve llama.cpp’yi yerel olarak çalıştırır. Ollama, LM Studio, KoboldCpp gibi OpenAI uyumlu bir uç noktaya veya barındırılan API’ye işaret edin ve bunun yerine kullanır. Karakter kartları, lorbooks, örnekleyici ön ayarları ve talim şablonları SillyTavern’den gelenler için hepsi orada.
Eksik olduğu yerlerde: Arayüz PocketPal veya Layla’dan daha yoğun ve ayarlar ilk başlatmada yeni gelenler için ezici olabilir.
Fiyat: Ücretsiz, open source (AGPL-3.0).
Platformlar: Android.
Özet: Bugün cihaz üstü sohbet ve yarın uzak sunucu sohbeti istiyorsanız en iyi seçim.
5. Ollama App, ev barındırılan sunucu için en iyi
Ollama App PC’niz veya NAS’ınızdaki Ollama sunucusuyla eşleşen temiz, donuşsuz Android istemcisidir. Sunucu URL’sini girin, ana bilgisayarınızın zaten çektiği listeden bir model seçin ve sohbete başlayın. Yanıt süreleri makul bir ev ağında barındırılan chatbot’a yakın hissettirmelidir ve Llama 3.1 70B gibi daha büyük modelleri bir iş istasyonunda çalıştırmak, cihazda çalıştırılabilir herhangi bir şeyden çok daha yetenekli çıktı telefonunuza koyar.
Eksik olduğu yerlerde: Çevrimdışı yedek yoktur, bu nedenle Wi-Fi kesintisi veya duraklatılmış sunucu sizi hiçbir şey bırakır. Ayrıca Ollama’yı kendiniz çalıştırmaktan rahat olmanız gerekir.
Fiyat: Ücretsiz, open source (Apache 2.0).
Platformlar: Android, iOS.
Özet: Evde bir kutuda Ollama çalıştırıyorsanız ve sadece çalışan telefon istemcisi istiyorsanız en iyi seçim.
6. Enchanted for Ollama, en güzel Ollama istemcisi
Enchanted for Ollama popüler iOS Enchanted istemcisinin Android topluluk forku. Görsel tasarım, modern sohbet uygulamalarından insanların beklediğine daha yakın, markdown oluşturmaya, sözdizimi vurgulama ile kod blokları ve konuşma başına ayarlar. Yerel ağ veya Tailscale aracılığıyla işaret ettiğiniz herhangi bir Ollama sunucusuyla konuşur.
Eksik olduğu yerlerde: Bir topluluk forku olarak, güncellemeler iOS orijinalinden geride kalır. Bazı gelişmiş özellikler birkaç sürümün gelmesini bekler.
Fiyat: Ücretsiz, open source (Apache 2.0).
Platformlar: Android (fork), iOS (orijinal).
Özet: Ollama App çok ince görünüyor ve aynı sunucu için daha dostça bir arayüz istiyorsanız bunu seçin.
7. Maid, en basit yerel sohbet
Maid Mobile Artificial Intelligence Distribution için dur ve yerel çıkarım için llama.cpp’yi paketleyen ve uzak llama.cpp veya Ollama uç noktasına da bağlanabilen Flutter uygulamadır. Yüzey alanını küçük tutar: bir sohbet pane, bir model seçici, bir ayarlar ekranı. Bu, diğer uygulamaları denemiş ve onları dağınık bulmuş biri için iyi bir seçimdir.
Eksik olduğu yerlerde: Özellik hızı PocketPal veya ChatterUI’den daha yavaştır ve yerleşik model tarayıcısı yoktur, bu nedenle GGUF dosyalarını başka yerlerde indirin ve ön yükleyin.
Fiyat: Ücretsiz, open source (MIT).
Platformlar: Android, Linux, Windows.
Özet: Yüklü sürümden çalışan yerel sohbete en kısa yolu istiyorsanız bunu seçin.
8. SmolChat, küçük telefonlar ve küçük modeller için en iyi
SmolChat SmolLM2 ve TinyLlama varyantları gibi en küçük kullanılabilir yerel modellere odaklanan F-Droid uygulamasıdır. Bu, PocketPal veya Layla’nın mücadele ettiği 4 ila 6 GB RAM’li telefonlarda çalışması anlamına gelir. Başlangıç hızlı, bellek basıncı düşük ve hızlı özet, yeniden yazma ve basit soru-cevap için kalite makuldür.
Eksik olduğu yerlerde: Modeller kasıtlı olarak küçükdir, bu nedenle çok adımlı akıl yürütme ve uzun bağlam zayıftır. Genel bir asistan istiyorsanız bu seçmek için uygulama değildir.
Fiyat: Ücretsiz, open source (Apache 2.0).
Platformlar: Android.
Özet: Telefonunuzda 6 GB RAM veya daha azsa veya yükleme boyutu ve hızı model kalitesinden daha fazla değerlendiriliyorsa bunu seçin.
Doğru olanı seçme
Seçim gerçekten evde LLM sunucunuz zaten var mı yoksa telefonun kendisinde modeli çalıştırmak isteyip istemediğinize bağlıdır.
En basit cihaz üstü deneyim istiyorsanız PocketPal AI’yi yükleyin. Sizin için modelleri indirir, önemli ayarları ortaya çıkarır ve kutudan hemen çevrimdışı çalışır.
Yakın zamanda yüksek uçlu bir telefona sahipseniz ve hızla ilgileniyorsanız, MLC Chat en hızlı seçenektir çünkü gerçekten GPU’yu kullanır.
Karakterler, personalar veya daha dostça bir arayüz istiyorsanız, Layla seçimdir.
Cihaz üstü sohbet ve uzak sunucu sohbetini kapsayan bir uygulama istiyorsanız, ChatterUI esnek seçimdir.
PC veya NAS’ınızda Ollama’yı zaten çalıştırıyorsanız, Ollama App ve Enchanted for Ollama sizi yaklaşık iki dakikada konuşturur. Enchanted aynı fikirdir ama daha iyi görünüyor.
Minimal, frillsiz yerel sohbet istiyorsanız, Maid en küçük yüzey alanıdır.
Telefonunuzda 6 GB RAM veya daha azsa veya sadece en hızlı başlangıç zamanı istiyorsanız, SmolChat o sınırlama için yapılmıştır.
SSS
Android’de ChatGPT’yi yerel olarak çalıştırabilir miyim?
Hayır. ChatGPT’nin temel modelleri indirilebilir ağırlık olarak yayınlanmaz. Yerel olarak çalıştırabileceğiniz şey, PocketPal AI, MLC Chat veya Layla gibi uygulamalar kullanarak Llama 3, Qwen 2.5, Phi-3, Gemma ve Mistral gibi açık seçeneklerdir. Yerel 3B veya 7B modeldeki kalite GPT-4 sınıfından önemli ölçüde daha düşüktür, ancak not alma, özet çıkarma, taslak ve kodlama yardımı için sık sık yeterlidir.
Android için en iyi yerel LLM uygulaması nedir?
Çoğu insan için PocketPal AI en iyi başlangıç noktasıdır. Yerleşik Hugging Face model tarayıcısı ile gelir, herhangi bir modern Android telefonunda çalışır ve abonelik olmadan tamamen açık kaynaktır. Evde bir LLM sunucunuz zaten varsa, Ollama App herhangi bir telefonun RAM’e sığabileceğinden daha büyük modelleri kullanmanıza izin verdiği için varsayılan olarak daha iyidir.
Telefonumda yerel bir modeli çalıştırmak için ne kadar RAM gerekir?
Kaba bir rehber: 4 GB RAM 1B parametre modellerini temiz bir şekilde işler, 6 GB 4-bit nicelleştirmede 3B modellerini işler ve 8 GB veya daha fazlası 7B ve 8B modellerine rahatça sahiptir. 4 GB altında, SmolChat’i SmolLM2 veya TinyLlama ile saklayın. 12 GB üstünde, yüksek uçlu bir çipte 13B modellerle denemeler yapabilirsiniz, ancak verim azalacaktır.
PocketPal ücretsiz mi?
Evet. PocketPal AI MIT lisansı altında ücretsiz, açık kaynaktır ve hiçbir reklam veya abonelik seviyesi yoktur. Hugging Face’den indirdiği modeller de ücretsizdir. Tek maliyet saklama ve pil.
Android’imi Ollama’ya nasıl bağlarım?
Ollama’yı PC’nize, Mac’inize veya NAS’ınıza yükleyin ve OLLAMA_HOST ortam değişkenini 0.0.0.0 olarak ayarlayarak yerel ağda açığa çıkarın. Telefonda Ollama App veya Enchanted for Ollama yükleyin, sunucunuzun yerel IP’sini ve portunu girin (varsayılan 11434) ve ana bilgisayarında zaten çekilmiş olan bir model seçin. Ev ağınızın dışına erişim için, Ollama’yı doğrudan internete açığa çıkarmak yerine telefon ve sunucu arasına bir Tailscale veya WireGuard tüneli koyun.
