Masaüstünde açık LLM'ler için ince ayarlama uygulamaları

Damıtma, açık bir LLM’yi kendi kendine barındırmanın nihayet pratik olmasının nedenidir. 400B öğretmenden damıtılan 7B modeli, şimdi iki yıl önce veri merkezi ekipmanı gerektirecek bir seviyede talimatları takip etmeyi, kodlamayı ve akıl yürütmeyi yönetebilir. XDA’nın “damıtma"nın aslında ne anlama geldiği hakkındaki son yazısı ödül hakkında haklıdır: iyi küçük modeller var ve şimdi onları evde ince ayarlayabilirsiniz. Soru hangi masaüstü aracını seçeceğidir. En çok kullanılan yedi ince ayarlama uygulamasını tek bir RTX 4090’lı bir iş istasyonuna yerleştirdik ve damıtılmış bir Llama 3.3 8B taban çizgisinde aynı LoRA’yı çalıştırdık. Bunlar 2026’da açık LLM’leri ince ayarlamak için en iyi masaüstü uygulamalarıdır.

İnce ayarlama aracında ne aranmalı

İnce ayarlama, hizmet verme işleminden farklıdır. İyi bir masaüstü uygulamasının, düz python train.py‘nin yapmadığı dört şeyi çözmesi gerekir:

Hızlı karşılaştırma tablosu

Uygulama En iyi Donanım Ücretsiz plan Başlangıç fiyatı/ay Dışa aktarma biçimleri
Unsloth En hızlı tek-GPU ince ayarlaması NVIDIA, bazı AMD Tamamen ücretsiz Ücretsiz GGUF, HF, ONNX
Axolotl Yapılandırma odaklı ciddi eğitim NVIDIA, AMD Tamamen ücretsiz Ücretsiz HF, GGUF (yardımcı aracılığıyla)
LLaMA-Factory Programcı olmayanlar için Web UI NVIDIA, AMD, Ascend Tamamen ücretsiz Ücretsiz HF, GGUF, AWQ
Torchtune PyTorch-native, minimum deps NVIDIA, AMD, Apple Tamamen ücretsiz Ücretsiz HF, GGUF
HuggingFace TRL Takviye + tercih ince ayarlaması NVIDIA Tamamen ücretsiz Ücretsiz HF
MLX-LM Apple Silicon ince ayarlaması Apple M-series Tamamen ücretsiz Ücretsiz MLX, GGUF
Ludwig AutoML tarzı bildirim eğitimi NVIDIA, CPU Tamamen ücretsiz Ücretsiz HF, ONNX

1. Unsloth, en hızlı tek-GPU ince ayarlaması için en iyi

Unsloth, Triton’da dikkat çekirdeklerini yeniden yazdı ve LoRA ve QLoRA çalışmalarından 2x hızlanma ve %40 bellek azaltılması sıkıştırdı. 4090’ımızda, vanilla Transformers’ta 12 saat süren bir Llama 3.3 8B ince ayarlaması Unsloth’ta yaklaşık 5 saatte tamamlandı. Kütüphane Hugging Face TRL ve Axolotl ile entegre olduğundan, eğitim döngünüzü yeniden yazmadan benimsey ebilirsiniz.

Eksik olduğu yerler: birincil hedef NVIDIA GPU’larıdır. AMD desteği geldi ancak çekirdek kapsamında geri kalmış; Apple Silicon yol haritasında değil.

Fiyatlandırma:

Platformlar: Linux (tercih edilen), Windows via WSL2

İndir: Unsloth

Sonuç: modern NVIDIA GPU’su olan herkes için varsayılan ilk seçim.

2. Axolotl, yapılandırma odaklı ciddi eğitim için en iyi

Axolotl, gerçek model mağazalarının ciddi açık ağırlık yayınlarını eğitmek için kullandıklarıdır. Yapılandırma dosyası tarafından yönlendirilen iş akışı, başlamadan önce çalışmanız hakkında düşünmeye zorlar, bu nedenle yeniden üretilebilir yapılar üretir. Veri seti desteği sınıfının en iyisidir: ShareGPT, Alpaca ve özel JSONL’nin tümü ön işleme komut dosyası olmadan çalışır.

Eksik olduğu yerler: öğrenme eğrisi gerçektir. İlk başarılı çalıştırmadan önce yapılandırma referansını dikkatle okumayı bekleyin.

Fiyatlandırma:

Platformlar: Linux (Docker önerilir)

İndir: Axolotl

Sonuç: çıkış üretime gidecekse, sadece bir deneme değilse seçim.

3. LLaMA-Factory, bir meslektaşa teslim edebileceğiniz Web UI için en iyi

LLaMA-Factory, tam bir web panosu gönderiyor, kod gerekli değil. Bir temel modeli seçer, diskten veya Hugging Face Hub’dan bir veri seti yüklersiniz, bir yöntem seçersiniz (SFT, DPO, PPO, KTO) ve Eğitimi Başlat’ı tıklarsınız. Bir kişinin komut dosyalarıyla rahat olduğu ve diğerinin olmadığı takımlar için bu onları birleştiren araçtır.

Eksik olduğu yerler: soyutlama bazı düğmeleri gizler. İleri kullanıcılar sonunda yine bir yapılandırma dosyasına inecektir.

Fiyatlandırma:

Platformlar: Linux (yerel), Windows via WSL2, MLX backend’li macOS

İndir: LLaMA-Factory

Sonuç: eğitim operatörü Python geliştirici değilse seçim.

4. Torchtune, PyTorch-native minimum kurulum için en iyi

Torchtune, Meta’nın resmi ince ayarlama kütüphanesidir. Saf PyTorch, birkaç harici bağımlılık ve öğreticiler gibi okunan açık reçete dosyaları. 2026 sürümü FSDP2 ve Llama 4 ailesi için yerel destek ekledi, bu nedenle yeni temel modellerle birlikte hareket eder.

Eksik olduğu yerler: veri seti biçimleri katıdır. Verileriniz reçetelerin beklenen şeklinde değilse, bir ön işleme adımı yazarsınız.

Fiyatlandırma:

Platformlar: Linux (NVIDIA ve AMD), macOS (Apple Silicon)

İndir: Torchtune

Sonuç: ilk taraf PyTorch, minimal sihir istediğinizde seçim.

5. Hugging Face TRL, takviye ve RL için en iyi

Hugging Face TRL, DPO, PPO, GRPO, ORPO ve ChatGPT’den beri gelen her tercih optimizasyonu yöntemi için referans uygulamadır. Amacınız “modeli bu etki alanını öğretmek” değil de “modeli bu cevapları tercih etmeyi öğretmek” olduğunda, TRL araç setidir.

Eksik olduğu yerler: SFT desteği mevcuttur ancak yıldız değildir. Basit denetimli ince ayarlama için Unsloth veya Axolotl daha hızlıdır.

Fiyatlandırma:

Platformlar: Linux (NVIDIA birincil), Windows via WSL2

İndir: TRL

Sonuç: eğitim amacı hizalandırma olduğunda, bilgi enjeksiyonu değil.

6. MLX-LM, Apple Silicon ince ayarlaması için en iyi

MLX-LM, M-serisi çiplerde LLM eğitimi ve çıkarım için Apple’ın resmi çerçevesidir. 128 GB M3 Ultra Mac Studio’da, bir Qwen 2.5 32B modelini gece boyunca başarıyla LoRA-tuned ettik. Birleştirilmiş bellek gerçek bir avantajdır: 24 GB tüketici NVIDIA kartında OOM’a neden olacak modelleri tutabilirsiniz.

Eksik olduğu yerler: Apple dışı ekosistem desteği minimum düzeydedir. Ince ayarladığınız her şey Apple dışı donanımda çalışacak şekilde yeniden dışa aktarılmalıdır.

Fiyatlandırma:

Platformlar: Apple Silicon’da macOS (M1 ve sonrası)

İndir: MLX-LM

Sonuç: ayrı bir kurulum satın almadan ince ayarlamak isteyen Mac Studio sahibi için seçim.

7. Ludwig, AutoML tarzı bildirim eğitimi için en iyi

Ludwig, giriş, çıkış ve hedef metriğin YAML bildirimi alır ve eğitim döngüsünü anlar. En hızlı seçenek değildir, ancak hangi hiperparametrelerin önemli olduğunu henüz bilmediğiniz ilk ince ayarlama için Ludwig’in bildirim yaklaşımı döngüyü kısaltır.

Eksik olduğu yerler: eğitim döngüsünü gizler. Nihayet döngünün kendisini ayarlamak istediğinizde, Ludwig’den hızlı bir şekilde büyüyebilirsiniz.

Fiyatlandırma:

Platformlar: Linux (NVIDIA ve CPU), macOS

İndir: Ludwig

Sonuç: ilk ince ayarlama için veya bildirim tercih eden bir veri bilimci için seçim.

Doğru olanı seçme

Modern bir NVIDIA GPU’nuz varsa ve hız istiyorsanız, Unsloth ile başlayın. Modeliniz üretime gidiyorsa Axolotl‘a geçin. Operatör bir kodlayıcı değilse LLaMA-Factory yükleyin. Torchtune‘u sihir olmaksızın ilk taraf PyTorch istediğinizde seçin. Amaç SFT değil de DPO veya PPO olduğunda HuggingFace TRL’e ulaşın. Herhangi bir Apple Silicon Mac’te MLX-LM kullanın. Hala kontrolleri öğrendiğiniz ilk ince ayarlama için Ludwig deneyin.

SSS

Çağdaş açık bir LLM’yi ince ayarlamak için birden çok GPU’ya ihtiyacım var mı? Hayır. 7B veya 8B modeldeki QLoRA 12 GB tüketici GPU’suna sığar. 13B modeli 24 GB gerekir. 70B modellerine hala çoklu GPU veya veri merkezi sınıfı kart gereklidir.

İnce ayarlama ve damıtma arasındaki fark nedir? Damıtma, küçük bir modeli büyük bir modelin çıktılarını taklit etmeyi öğretir. İnce ayarlama, varolan bir modele (herhangi bir boyutta) verileriniz üzerinde uzmanlaşmayı öğretir. Damıtılmış bir temel modeli ince ayarlamak, düşük donanımla kendi kendine barındırmak için mevcut tatır noktadır.

Hangi uygulamanın en kısa çıkışı var? UI-first yolu için LLaMA-Factory, script-first yolu için Unsloth. Ludwig yedinin bildirim “yalnızca yapılandırma"ya en yakındır.

CPU’da ince ayarlayabilir miyim? Ludwig veya Torchtune ile teknik olarak evet, ancak yalnızca küçük modeller için (1B parametreden az). Faydalı bir şey için GPU veya Apple Silicon gereklidir.

Ince ayarlanmış model daha sonra nerede çalışmalıdır? GGUF’a aktarın ve yerel çıkarım için Ollama, LM Studio veya Jan’a yükleyin. Bulut hizmetleri için Hugging Face’e aktarın. MLX-LM dışa aktarımları herhangi bir Apple Silicon Mac’te yerel olarak çalışır.