Bu hafta XDA’da yerel bir LLM’yi kendi başarısızlıkları üzerine eğitme açıklanmıştı. Yazar, modelin yanlış çıkışlarını topladı, bunların ellisini manuel olarak etiketledi, onları küçük bir veri setine paketledi ve hafif bir ince ayarlama çalıştırdı. Sonuç, temel sürümün yanlış yaptığı tam problemlerde önemli ölçüde daha iyi bir modeldi. Eskiden kiralanmış bir kümeyi gerektiren şey artık 12 GB GPU’ya sahip bir dizüstü bilgisayarda çalışıyor. Bunlar 2026’da masaüstü üzerinde yerel LLM ince ayarı için yedi en iyi uygulama, tümü ücretsiz ve açık kaynaklı, ilk ince ayarlamanın gerçekten çalışma hızına göre sıralanmış.
Yerel ince ayarlama uygulamasında ne aranmalı
- LoRA ve QLoRA desteği. Tam ince ayarlama donanımla sınırlıdır. Düşük rütbeli adaptörler (LoRA) ve 4-bit kuantalanmış LoRA (QLoRA), tüketici GPU’larında 7B veya 13B modelini ince ayarlamanın tek gerçekçi yoludur.
- Sahip olduğunuz donanımda çalışır. NVIDIA CUDA standarttır; AMD’de ROCm ikinci sınıftır. Apple Silicon (M-serisi), MLX aracılığıyla kendi yoluna sahiptir. Bir “ince ayarlama uygulaması” yalnızca GPU’nuz veya NPU’nuzda çalışıyorsa yararlıdır.
- Korkutucu olmayan bir veri seti biçimi.
instructionveoutputalanlarına sahip JSON Lines modern standarttır. Uygulama özel bir ikili biçim istiyorsa, zor olacaktır. - Değerlendirme ve checkpointing. Ince ayarlama yanlış gidebilir. Her N adımda anlık görüntü alan ve kayıp eğrileri gösteren bir araç, kötü bir çalıştırmadan hafta sonu bitmeden geri dönmenizi sağlar.
- GGUF veya MLX’e aktarma. Ince ayarlamadan sonra, model bir çıkarım yığınına yüklenmesi gerekir. llama.cpp için GGUF; Apple için MLX. Araç ağırlıkları kendi biçimine kilitliyorsa, sonuç kullanılamaz.
Hızlı karşılaştırma
| Uygulama | Şunun için en iyi | Backend | LoRA/QLoRA | Apple Silicon | Kolaylık |
|---|---|---|---|---|---|
| Unsloth | En hızlı tek-GPU LoRA | CUDA | Evet | Beta | En yüksek |
| Axolotl | Yapılandırılabilir üretim çalıştırmaları | CUDA (+ROCm) | Evet | Hayır | Orta |
| LLaMA-Factory | Web-UI ince ayarlama | CUDA (+ROCm) | Evet | Beta | Yüksek |
| MLX-LM | Apple Silicon ince ayarlaması | MLX | Evet | Evet | Yüksek |
| Torchtune | Resmi PyTorch referansı | CUDA | Evet | Sınırlı | Orta |
| Hugging Face TRL | Transformers’ın üzerinde RLHF/DPO/PPO | CUDA (+ROCm) | Evet | Hayır | Orta |
| LM Studio | Çıkarım için hepsi-bir-arada GUI + hafif ince ayarlama iş akışları | CUDA/Metal | Bağdaştırıcı yükleme | Evet | Çok yüksek |
1. Unsloth, En hızlı tek-GPU LoRA için en iyi
Unsloth, “dizüstü bilgisayarında 7B modeli ince ayarla"yı araştırma kağıdından Colab not defterine ve pip install‘e dönüştüren araçtır. 12 GB VRAM’li tek bir RTX 4070’te, 2048 bağlamda 7B QLoRA çalıştırması birkaç yüz örnek için yaklaşık 30 dakikada tamamlanır. Matematiksel hile, bellek açısından verimli bir ileri-geri geçişidir; pratik avantaj, kahve yaparken çalışan bir ince ayarlamadır.
Nerede başarısız olur: Çok-GPU eğitimi Axolotl veya Torchtune’e kıyasla ikinci sınıftır. Bazı niş mimariler referans yığınlardan daha sonra gelir.
Fiyat: Ücretsiz.
Platformlar: Linux (en iyi), Windows (WSL2 aracılığıyla), Apple Silicon (beta).
İndir: unsloth.ai / github.com/unslothai/unsloth
Sonuç: Tek tüketici GPU’su olan herkes için varsayılan ilk ince ayarlama.
2. Axolotl, Yapılandırılabilir üretim çalıştırmaları için en iyi
Axolotl, Unsloth’un mutlu yolu yeterli olmadığında takımların kullandığıdır. Yapılandırma dosyasına dayalı yaklaşım çalıştırmaları yeniden üretilebilir kılar: tek bir YAML dosyası taban modeli, veri setini, LoRA sırasını, öğrenme oranını, değerlendirme temposunu ve dışa aktarma hedefini açıklar. DeepSpeed ve FSDP ile çok-GPU çalışır. Topluluk, yaygın görevler için düzinelerce önceden ayarlanmış yapılandırma yayımlamıştır.
Nerede başarısız olur: Öğrenme eğrisi Unsloth’tan daha diktir. İlk çalıştırma, YAML yapılandırma dosyasını okumak ve her alanın ne yaptığını anlamak demektir.
Fiyat: Ücretsiz.
Platformlar: Linux, WSL2 aracılığıyla Windows.
İndir: github.com/axolotl-ai-cloud/axolotl
Sonuç: İlk Unsloth ince ayarlama işe yaradıktan sonra ve daha fazla kontrol istediğinizde mezun olmak için araç.
3. LLaMA-Factory, Web-UI ince ayarlama iş akışı için en iyi
LLaMA-Factory, Axolotl ve Unsloth’un aynı matematiğini web UI’nin arkasına sarar. Bir taban modeli yükleyin, yerel bir klasörden bir veri seti seçin, LoRA sırası için sürgüyü ayarlayın ve çalıştırmayı başlatın. Kayıp eğrileri tarayıcıda işlenir. Terminal’e dokunmak istemeyen biri için, bu dostça bir masaüstü ince ayarlama uygulamasına en yakın şeydir.
Nerede başarısız olur: Web UI tam bir IDE değildir. Karmaşık çok aşamalı boru hatları hala gerçek bir yapılandırma ister. Her iyileştirici UI’de açığa çıkarılmaz.
Fiyat: Ücretsiz.
Platformlar: Linux, WSL2 aracılığıyla Windows, Docker aracılığıyla macOS.
İndir: github.com/hiyouga/LLaMA-Factory
Sonuç: Terminal merkezli iş akışı sizi sürüyorsa en iyi seçim.
4. MLX-LM, Apple Silicon ince ayarlaması için en iyi
MLX-LM, MLX dizi çerçevesi üzerine inşa edilmiş Apple’ın resmi dil modeli yığınıdır. 64 GB birleşik belleğe sahip bir M2 Max veya M3 Max’te, 7B LoRA ince ayarlama, orta seviye NVIDIA GPU ile rekabet eden hızlarda çalışır. 16 GB’lik bir M2 Pro’da daha küçük modeller için çalışır. MLX-LM, doğrudan MLX biçimine Ollama ve Apple’ın kendi çıkarım çalışma zamanlarına aktarır.
Nerede başarısız olur: Her taban modeli MLX biçiminde mevcut değildir; Hugging Face ağırlıklarından dönüştürme adımı sürtünme ekler. Ekosistem CUDA yığınından daha küçüktür.
Fiyat: Ücretsiz.
Platformlar: Yalnızca Apple Silicon macOS.
İndir: github.com/ml-explore/mlx-lm
Sonuç: Mac’teki doğru araç. Hiç kimse Apple Silicon’u bu kadar iyi kullanmaz.
5. Torchtune, Resmi PyTorch referansı için en iyi
Torchtune, Meta’nın takımı tarafından yönetilen PyTorch’ın kendi ince ayarlama kitaplığıdır. Tarifler, yapılandırma DSL’si değil, okunabilir Python’dur, bu da eğitim döngüsünü görmek ve değiştirmek isteyen mühendisler için uygundur. Tam ince ayarlama, LoRA ve DPO desteği. Çok-GPU kutudan çıkar çalışır. Belgeler mühendislik kalitesindedir.
Nerede başarısız olur: Unsloth veya Axolotl’den daha az “pil dahil”. Referans uygulama duruşu daha az kısa yol anlamına gelir.
Fiyat: Ücretsiz.
Platformlar: Linux, WSL2 aracılığıyla Windows, sınırlı özelliklerle macOS.
İndir: github.com/pytorch/torchtune
Sonuç: Zaten PyTorch yazıyorsanız ve eğitim döngüsünü görmek istiyorsanız Torchtune’u seçin.
6. Hugging Face TRL, RLHF, DPO ve ödül modellemesi için en iyi
TRL (Transformer Reinforcement Learning), düz denetimli ince ayarlamanın ötesindeki ince ayarlama adımları için araç setidir: DPO (doğrudan tercih optimizasyonu), PPO (yakınsal politika optimizasyonu), ödül modeli eğitimi. XDA “hatalardan eğit” iş akışında, DPO, açıklamalı hataları daha iyi bir modele dönüştüren gerçek tekniktir. TRL bunu çalıştırandır.
Nerede başarısız olur: Anlamak için daha fazla matematik. RLHF/DPO, SFT’nin yapamadığı şekillerde yanlış gidebilir; başarılı olmadan önce birkaç başarısız çalıştırmayı bekleyin.
Fiyat: Ücretsiz.
Platformlar: Linux, WSL2 aracılığıyla Windows.
İndir: github.com/huggingface/trl
Sonuç: Gerçek “hatalardan öğren” ince ayarlama boru hattının ikinci aşaması için araç.
7. LM Studio, Hepsi-bir-arada masaüstü GUI için en iyi
LM Studio birincil olarak bir ince ayarlama uygulaması değildir. Windows, macOS ve Linux üzerinde yerel modelleri indirmek, çalıştırmak ve sohbet etmek için bir masaüstü GUI’sidir. Bu listedeki rolü, ince ayarlama iş akışının çevresinde sağladığı cilalıdır: bir taban modeli yükleyin, Unsloth veya Axolotl tarafından üretilen bir LoRA bağdaştırıcısını yükleyin, ince ayarlanmış modelle sohbet edin, yineleyin. 2026 sürümleri, kapak altında Unsloth’u çağıran hafif ince ayarlama kolaylık sarmalayıcılar ekledi.
Nerede başarısız olur: Eğitim tarafı incedir. LM Studio bir sohbet ve çıkarım ön ucudur; döngünün çıkarım yarısı için kullanın, eğitim yarısı için değil.
Fiyat: Ücretsiz.
Platformlar: Windows, macOS, Linux.
İndir: lmstudio.ai
Sonuç: Ince ayarlama döngüsünün çıkarım tarafı olarak LM Studio’yu seçin, eğitim tarafı değil.
Doğru olanı seçme
- Bir modeli hiç ince ayarlamadı, tek bir NVIDIA GPU’nuz var: Unsloth. İlk olarak QLoRA not defterini izleyin.
- Apple Silicon Mac üzerinde: MLX-LM. Hiç kimse donanımı bu kadar iyi kullanmaz.
- Web UI istiyorsunuz ve terminal yok: LLaMA-Factory.
- Bir takım için yeniden üretilebilir bir boru hattı inşa etme: Git’teki YAML yapılandırmalarıyla Axolotl.
- XDA “hatalardan eğit” iş akışını yapma: İlk SFT için Unsloth, açıklamalı hatalar üzerinde DPO için TRL.
- Eğitim döngüsünü düz PyTorch’ta görmek istiyorum: Torchtune.
Seçtiğiniz herhangi bir eğitim aracını LM Studio ile eşleştirerek, sonuçlanan bağdaştırıcıyı bir çıkarım yığınına göndermeden önce yerel olarak test edin.
SSS
7B modelini ince ayarlamak için minimum GPU nedir?
2048 bağlamda QLoRA, en küçük 7B varyantları için 8 GB VRAM’e ve 12 GB’ye rahatça sığar. 8 GB daha kısa bağlamlar ve daha düşük sıralar için çalışır; 24 GB 13B QLoRA’yı açar.
GPU olmadan ince ayarlama yapabilir miyiz?
Teknik olarak evet, CPU’da, ancak pratik olmayacak kadar yavaş. Birkaç saatlik bulut kiralama, sık sık CPU ince ayarlamasını tamamlamak için elektrikten daha ucuzdur.
Bu araçlar hangi veri biçimini kabul eder?
instruction ve output alanlarıyla JSON Lines (Alpaca stili) evrensel standarttır. Çoğu araç ShareGPT biçimini ve OpenAI sohbet mesajı biçimini de kabul eder.
İnce ayarlanmış modeller Ollama, LM Studio veya llama.cpp’de çalışır mı?
Evet, GGUF’a (llama.cpp ve Ollama için) veya MLX’e (Apple yığını için) aktardıktan sonra. Yukarıdaki her araç en az bu biçimlerden birine aktarır.
Kapalı model ağırlıkları için ince ayarlama yasal mı?
Lisansı bunu izin veren modeller için yalnızca. Llama 3 ve 4, Mistral modelleri, Qwen, Gemma ve bu listedeki her açık ağırlık modeli, lisansları altında ince ayarlamaya izin verir. Kapalı modeller (GPT-4 sınıfı) indirilebilir ağırlıklara sahip değildir, bu nedenle yerel ince ayarlama mümkün değildir.