Unsloth LoRA İnce Ayar Çerçevesi

LM Studio ve Ollama yerel LLM’leri çalıştırmayı tek tıklama işlemine dönüştürdü. İnce ayar yıllarca bir veri merkezi işi olarak kaldı, aynı donanımda ulaşılamaz haldeydi. Bu son olarak değişiyor. Unsloth’un yeni masaüstü uygulaması görünür işaret, ancak açık çerçevelerin küçük bir kümesi artık bir öğleden sonra içinde tek bir 12 GB veya 24 GB tüketici GPU’sunda gerçek bir LoRA adaptörü eğitiyor.

Bir RTX 4070, RTX 4090 ve bir temel M2 Pro Mac’te yedi aracı test ettik. Aşağıdaki seçimler, bellek dışı kalmadan, bir küme gerektirmeden ve PyTorch’ta ilk olarak bir eğitim döngüsü yazmanızı sormadan bir Llama 3.1 8B veya Mistral 7B LoRA çalıştırmasını tamamlayan seçimlerdir. Liste, GUI öncelikli araçları CLI öncelikli çerçevelerle karıştırır, böylece istediğiniz ergonomik düzeyi seçebilirsiniz.

Tüketici GPU İnce Ayarında Neye Bakmalı

Hızlı Karşılaştırma

Uygulama En İyi Kullanıldığı Yer Platformlar Ücretsiz Plan Başlangıç Fiyatı/Ay Lisans
Unsloth 12–24 GB’da En Hızlı LoRA Windows, Linux Tam Uygulama Ücretsiz (Pro tier) Apache 2.0
Axolotl Yapılandırma Dosyası Güç Kullanıcısı Linux Tam Uygulama Ücretsiz Apache 2.0
LLaMA-Factory GUI Tabanlı, Geniş Model Desteği Windows, Linux Tam Uygulama Ücretsiz Apache 2.0
Text Generation WebUI LoRA Ekleyin ve Yerinde Test Edin Windows, macOS, Linux Tam Uygulama Ücretsiz AGPLv3
PEFT Kendi Eğitim Döngünüz için Kütüphane Windows, macOS, Linux Tam Uygulama Ücretsiz Apache 2.0
H2O LLM Studio Deney İzlemeli Kurumsal UI Windows, Linux Ücretsiz (açık kaynak) Enterprise Desteği Apache 2.0
MLX-LM Apple Silicon’da Yerel İnce Ayar macOS Tam Uygulama Ücretsiz MIT

Uygulamalar

1. Unsloth, 12–24 GB’da En İyi En Hızlı LoRA

Unsloth Llama, Mistral, Qwen, Gemma ve Phi’nin ince ayarının sıcak yollarını yaklaşık iki ila beş kez daha hızlı ve standart Transformers’ın yaklaşık yarısı bellek olacak şekilde yeniden yazar. Bir 7B LoRA tek bir 12 GB GPU’ya sığar ve mütevazı bir veri setinde bir öğleden sonra bitiriyi. Yeni masaüstü uygulaması genel tarifler için son CLI adımını kaldırır.

Nerede eksik: kapsam en popüler model ailelerine doğru eğilir; belirsiz mimariler yukarı akış Transformers yolunun gereklidir.

Fiyatlandırma:

Platformlar: Windows (WSL2 aracılığıyla), Linux.

İndir: unsloth.ai · GitHub

Sonuç: 2026’da tek bir tüketici kartında LoRA eğitimi için varsayılan seçim.

2. Axolotl, En İyi Yapılandırma Dosyası Güç Kullanıcısı

Axolotl Hugging Face etrafında inşa edilmiş yapılandırma tabanlı bir eğitim çerçevesidir. Tek bir YAML dosyası modeli, veri setini, LoRA sırasını ve eğitim argümanlarını tanımlar ve Axolotl geri kalanını halleder. Unsloth’tan daha az hız optimizasyonlarını destekler ancak daha az yaygın modeller ve veri seti biçimleri arasında esneklikte kazanır.

Nerede eksik: GUI yok; yapılandırma öğrenme eğrisine sahiptir; belgeler, daha önce bir şey eğittiğiniz varsayılır.

Fiyatlandırma:

Platformlar: Linux (macOS/Windows’ta Docker).

İndir: GitHub (axolotl-ai-cloud/axolotl)

Sonuç: Unsloth’ta modeliniz olmadığında ve yine de makul bir işlem hattı istediğinde doğru seçim.

3. LLaMA-Factory, En İyi GUI Tabanlı Eğitmen

LLaMA-Factory geniş bir eğitim araç seti üzerine bir Gradio tabanlı GUI ile gelir. Model seçin, veri seti yükleyin, LoRA sırasını ve öğrenme hızını ayarlayın ve başlayın. 100+ model ailesi kutudan çıkmazlık halinde kapsar ve grafikleri hiper parametre ayarlamayı ulaşılabilir kılar.

Nerede eksik: GUI daha zor seçimlerden bazılarını gizler; VRAM kenar durumlarında her halükarda CLI’ye ihtiyaç duyar.

Fiyatlandırma:

Platformlar: Windows, Linux.

İndir: GitHub (hiyouga/LLaMA-Factory)

Sonuç: LoRA eğitimine yeni olanlar için en iyi GUI öncelikli giriş noktası.

4. Text Generation WebUI, LoRA Ekleme ve Test Etme için En İyi

Text Generation WebUI (“oobabooga”) çoğu meraklının zaten çalıştırdığı yerel LLM sohbet UI’ıdır. Eğitim sekmesi yerinde LoRA eğitimini yapar ve bir çalıştırma bittiğinde adaptörü etkinleştirebilir ve sonucu hemen kontrol etmek için model ile sohbet edebilirsiniz.

Nerede eksik: bu listedeki en hızlı eğitmen değil; eğitim sekmesi iyi bir “noktaları bağla” aracı, üretim işlem hattı değil.

Fiyatlandırma:

Platformlar: Windows, macOS, Linux.

İndir: GitHub (oobabooga/text-generation-webui)

Sonuç: Verilerinizin ince ayarının önemsediğiniz bir şeyi değiştirip değiştirmediğini görmek için en az uyuşmazlık aracı.

5. PEFT, Kendi Eğitim Döngünüz için En İyi Kütüphane

PEFT Hugging Face’ın Parameter Efficient Fine Tuning kütüphanesidir. Python yapı taşları, LoRA, IA3, ön ek ayarlaması kümesidir ve bunları bir Trainer’a atarsınız. Döngüyü kontrol etmek istiyorsanız, bu çalıştığınız seviyedir.

Nerede eksik: UI yok; her deney bir komut dosyasıdır; ergonomiye siz sorumlusunuz.

Fiyatlandırma:

Platformlar: Windows, macOS, Linux.

İndir: GitHub (huggingface/peft)

Sonuç: Tam kontrol isteyen bir araştırmacı veya ciddi hobi tutkusu için doğru soyutlama seviyesi.

6. H2O LLM Studio, En İyi Kurumsal Aromali Eğitmen

H2O LLM Studio aynı açık çerçeveleri temiz bir React UI’ında sarar, deney izlemesini ekler ve bir çalıştırma tek bir GPU’yu aştığında H2O’nun bulut araçlarıyla temiz şekilde entegre olur. Bir 4090 ile istasyonda rahat.

Nerede eksik: UI buradaki diğer seçimlerden daha ağır bir yüklemedir; fikir sahibi varsayılanlar altta yatan düğmeleri gizleyebilir.

Fiyatlandırma:

Platformlar: Windows, Linux.

İndir: GitHub (h2oai/h2o-llmstudio)

Sonuç: Deneyler tek bir dizüstü bilgisayara değil, bir takıma gittiğinde seçim.

7. MLX-LM, Apple Silicon’da En İyi Yerel İnce Ayar

MLX-LM MLX üzerine inşa edilen Apple yerel LM çerçevesidir. 32 GB birleşik belleğe sahip bir Mac Studio veya temel M2 Pro’da, 7B ve 13B modellerinde LoRA ince ayarı artık desteklenen bir yoldur ve çerçevenin bellek modeli CUDA’nın asla yapamayacağı modelleri sığdırmak için paylaşılan GPU/CPU ayırmasını kullanır.

Nerede eksik: sadece macOS; model kataloğu CUDA’nınkinden daha küçüktür; PyTorch tabanlı araçlardan daha az olgun.

Fiyatlandırma:

Platformlar: macOS (Apple Silicon).

İndir: GitHub (ml-explore/mlx-lm)

Sonuç: Modern bir Mac’te doğru seçim, başka yerde yanlış seçim.

Doğru Olanı Nasıl Seçersiniz

Tek bir 12 GB veya 24 GB tüketici GPU’sunuz varsa ve hız istiyorsanız, Unsloth yükleyin ve defterlerinden birini çalıştırın. Bu listedeki hiçbir şey çalışan bir adaptöre daha hızlı ulaşmaz.

Modeliniz veya veri seti biçimi Unsloth’un hızlı yolunun dışındaysa, yapılandırma tabanlı esnekliği için Axolotl‘ı seçin.

Daha önce hiçbir şey eğitemmediyseniz, LLaMA-Factory aynı altta yatan araçlara bir GUI koyar ve “hangi öğrenme hızı” tartışmasını kısaltır.

Text Generation WebUI‘ı zaten çalıştırıyorsanız Eğitim sekmesini kullanın. Tek seferlik çalıştırma için başka bir araç eklemeyin.

Eğitim döngüsü üzerinde denetim için PEFT doğru kütüphanedir. Python yazacak olmasını bekleyin.

Deneyler diğer kişiler tarafından gözden geçirilmesi gerekiyorsa, H2O LLM Studio açık kaynak tier’ında bu UI’ı gönderir.

MLX-LM Apple Silicon’da doğru seçim ve sadece orada.

SSS

Bir 7B modelini ince ayar için 24 GB GPU’ya ihtiyacım var mı?

Hayır. Unsloth ve QLoRA 8–12 GB’de bir 7B LoRA’yı sığdırır. 24 GB size 13B rahat getirir.

CPU’da ince ayar yapabilir miyim?

Teknik olarak evet, bir kayık ile bir okyanusu geçebileceğiniz şekilde. GPU veya Apple Silicon kullanın.

İnce ayar yerel modelimi işim için daha iyi yapacak mı?

Talimat takibi ve etki alanı sözlüğü için evet. Zor akıl yürütme kazanımları için çoğunlukla hayır; temel modelin tavan tavandır.

Veri setim ne kadar büyük olmalı?

Görev odaklı bir LoRA için 500 ile 5.000 yüksek kaliteli örnek 100.000 vasat örneği yener. Acı olmadan küratör.

Eğittiğim LoRA adaptörünü paylaşabilir miyim?

Evet; adaptörler küçüktür. Temel modelin lisansını ilk kontrol edin, çoğu Llama ve Mistral varyantı izin vericilidir ancak özdeş değildir.