Yerel bir modeli kendi hatalarında eğitmek tam olarak ön eğitim değildir, ancak doğru şekilde yapılırsa, küçük bir modeli dün sizi rahatsız eden hatayı tekrarlamayı bırakmayı öğretir. Bu, yerel LLM topluluğunun tüm yıl boyunca üzerinde çalıştığı “öz iyileştirme” döngüsünün arkasındaki vaattir: modelin yanlış yanıtlarını kaydedin, bunları küçük bir geri bildirim veri setine ayarlayın, hafif bir LoRA ince ayarı çalıştırın ve hata oranının düştüğünü izleyin. Bunlar, masaüstünde hatalardan yerel LLM öz iyileştirmesi için en iyi uygulamadır; bir dizüstü bilgisayarda 7B modeli çalıştırıyor olsanız veya bir iş istasyonunda 70B çalıştırıyor olsanız.
Öz iyileştirme yığınında ne arayacağınız
- Gömülü geri bildirim yakalama. Komut, yanıt ve parmak yukarı/aşağı sinyali (veya daha iyisi, düzeltilmiş bir yanıt) kaydeden bir araç, döngünün başladığı yerdir.
- Veri seti seçimi. Hata günlüğü, faydalı olmadan önce temiz bir yönerge ayarlaması veri setine dönüşmelidir.
- Verimli ince ayar. LoRA ve QLoRA, 24 GB ince ayarlamayı, bir tüketici GPU’sunun geceyi çalıştırabileceği bir şeye indirger.
- Değerlendirme için yerel çıkarım. Modelinizi acenteye sunan araç, ayarlanmış sürümü de sunmalı, böylece ikisini karşılaştırabileceğiniz şekilde.
- Programlı istem optimizasyonu. Birçok hata modu için, çözüm ince ayar değil, daha iyi bir istemdir. Optimizasyon çerçeveleri bunu mekanik hale getirir.
Hızlı karşılaştırma
| Uygulama | En iyi | Platformlar | Ücretsiz plan | Başlangıç fiyatı/ay | Derecelendirme |
|---|---|---|---|---|---|
| LangChain | Geri bildirim yakalamayı ince ayar iş akışına zincirleme | Windows, macOS, Linux | Tam | Ücretsiz (açık kaynak) | 4.5 |
| LM Studio | Günlük çıkarım artı veri seti dışa aktarma | Windows, macOS, Linux | Tam | Ücretsiz | 4.6 |
| Ollama | Ayarlanmış modelleri herhangi bir istemciye sunma | Windows, macOS, Linux | Tam | Ücretsiz (açık kaynak) | 4.7 |
| Axolotl | Tekrarlanabilir YAML odaklı LoRA çalıştırmaları | Linux (WSL aracılığıyla Windows, kapsayıcı aracılığıyla macOS) | Tam | Ücretsiz (açık kaynak) | 4.6 |
| Unsloth | Tek GPU’da 2-5x daha hızlı LoRA | Windows, Linux | Tam | Ücretsiz katman, Pro mevcut | 4.8 |
| Text Generation WebUI | Çıkarım, değerlendirme ve manuel etiketleme için yerel UI | Windows, macOS, Linux | Tam | Ücretsiz (açık kaynak) | 4.4 |
| DSPy | Etiketli hatalardan istemi ve ardışık hatları optimize etme | Windows, macOS, Linux | Tam | Ücretsiz (açık kaynak) | 4.7 |
Uygulamalar
1. LangChain – geri bildirim döngüsünü zincirleme için en iyi
LangChain bir ince ayarlayıcı değildir. İyi yaptığı şey, bir aracıdan her istem-yanıt çiftini yakalamanız, başarısızlıkları etiketlemeniz ve bunları bir eğitim veri setine yönlendirmeniz için yapı taşları sağlamaktır. Callbacks ve Tracing katmanları, bir öz iyileştirme döngüsünün tam ihtiyacı olan şeydir: modelin ne dediğinin, kullanıcının yanıt ile ne yaptığının ve nasıl düzeltildiğinin kalıcı bir kaydı.
Başarısız olduğu yer: API yüzeyi geniş ve sık sık değişir. İnternetteki eski kod örnekleri genellikle yanlıştır.
Fiyatlandırma:
- Ücretsiz: Çerçeve.
- Ücretli: Barındırılan bir pano istiyorsanız LangSmith ücretli bir yöneticisidir.
Platformlar: Windows, macOS, Linux.
İndir: langchain.com — Kaynak (GitHub)
Sonuç: Model, uygulama ve eğitim verileri arasındaki tesisatlar için buradan başlayın.
2. LM Studio – günlük çıkarım ve veri seti dışa aktarma için en iyi
LM Studio masaüstünde en kolay yerel çıkarım arayüzüdür. Bunu bir Hugging Face modeline yönlendirin, bir sohbet penceresi ve yerel bir OpenAI uyumlu sunucu alın ve oturumlar toplamaya başlayın. Son sürümler, konuşmaları JSONL olarak boşaltan bir oturum dışa aktarma özelliği ekledi, bu da geri bildirim veri seti için ham malzememizdir.
Başarısız olduğu yer: Yerleşik ince ayar yok. LM Studio çıkarım-ilk; eğitim başka yerde gerçekleşir.
Fiyatlandırma:
- Ücretsiz: Her şey.
- Ücretli: Hiç.
Platformlar: Windows, macOS, Linux.
İndir: lmstudio.ai
Sonuç: Model çıktısını bir ayarlama çalıştırmasına gitmek için yakalamanın ve incelemenin varsayılanı.
3. Ollama – ayarlanmış modeli daha sonra sunmak için en iyi
Ollama sıkıcı, güvenilir model sunucusudur. Bir LoRA’yı bir kez ince ayarladıktan sonra, bunu bir Ollama model dosyası olarak sarın ve yerel bir OpenAI bitiş noktasıyla konuşan her istemci anında geliştirilmiş sürümünüzü alır. Son sürümler birinci sınıf LoRA yüklemesini ekledi, bu nedenle taban ağırlıklarını yeniden indirmeden adaptörleri değiştirebilirsiniz.
Başarısız olduğu yer: Kullanıcı arayüzü yok. Diğer araçların üstünde olmasını bekleyen bir daemondur.
Fiyatlandırma:
- Ücretsiz: Her şey.
- Ücretli: Hiç.
Platformlar: Windows, macOS, Linux.
İndir: ollama.com — Kaynak (GitHub)
Sonuç: Ayarlanmış modeli makinenizde barındırmanın doğru seçimi.
4. Axolotl – tekrarlanabilir LoRA çalıştırmaları için en iyi
Axolotl, Hugging Face eğitim yığını etrafında YAML tarafından yönlendirilen bir sarmalayıcıdır. Bir veri setine yönlendirin, bir temel model seçin, LoRA sıranızı ve öğrenme oranınızı ayarlayın ve hepsi bu. Her çalıştırma yapılandırma dosyasından tekrarlanabilir, bu da öz iyileştirmenin tüm noktası iterasyonlar arasında iyileştirmeyi ölçmek olduğunda önemlidir.
Başarısız olduğu yer: Linux yereldir. WSL aracılığıyla Windows’da ve kapsayıcı aracılığıyla macOS’ta çalışır, ancak pürüzlü kenarlara sahiptir.
Fiyatlandırma:
- Ücretsiz: Her şey.
- Ücretli: Hiç.
Platformlar: Esas olarak Linux; Windows için WSL.
İndir: github.com/axolotl-ai-cloud/axolotl
Sonuç: Deneylerden bir ay sonra tekrarlanabilir olmasını istiyorsanız doğru seçim.
5. Unsloth – hızlı tek GPU LoRA için en iyi
Unsloth, stok Hugging Face Trainer’a kıyasla tek bir tüketici GPU’sunda 2-5x hızlı bir ayarlama kitaplığıdır. VRAM kullanımı yaklaşık yarısı. Bir 4090’da bu, dört yerine bir saat içinde 7B LoRA çalıştırması anlamına gelir; bir 3060’da bu, çalıştırmanın hiç bitmiş olması anlamına gelir.
Başarısız olduğu yer: Bazı mimariler temel transformatör sürümünün arkasında. En yeni modellere yönelik destek bir veya iki sürüm sonra gelir.
Fiyatlandırma:
- Ücretsiz: Tek GPU’da her şey.
- Ücretli: Multi-GPU ve kurumsal destek için Unsloth Pro.
Platformlar: Windows, Linux.
İndir: unsloth.ai — Kaynak (GitHub)
Sonuç: Tek masaüstü GPU’sunun tüm sahip olduğunuz zaman doğru seçim.
6. Text Generation WebUI – manuel etiketleme ve değerlendirme için en iyi
Text Generation WebUI (Oobabooga) yerel çıkarım için genel amaçlı arayüz arayüzüdür ve aynı zamanda etiketleme ve değerlendirme ortamı olarak işlev görür. Temel ve ayarlanmış modelleri yan yana yükleyin, aynı istemi her ikisine de çalıştırın ve hangi cevabın daha iyi olduğunu işaretleyin. Her derecelendirme sonraki tur için aynı konuşma günlüğüne gider.
Başarısız olduğu yer: Varsayılan UI eski. WSL olmadan Windows’ta kurulum zor olabilir.
Fiyatlandırma:
- Ücretsiz: Her şey.
- Ücretli: Hiç.
Platformlar: Windows, macOS, Linux.
İndir: github.com/oobabooga/text-generation-webui
Sonuç: Arayüz seven insanlar için değerlendirme güvenlik kemeri.
7. DSPy – başarısızlık istem olduğunda, ağırlıklar değil, en iyi
DSPy istemi parametre olarak işlem görür. Başarısızlıkların küçük etiketli veri setini verin, bir metrik tanımlayın ve istemi (ve birkaç örnek) sığdırmak için optimize eder. Birçok hata modu için bu, ince ayarlamaktan daha hızlı ve daha ucuzdur. Optimize edilen istem daha sonra üretim acentenize geri beslenebilir.
Başarısız olduğu yer: Öğrenme eğrisi. Soyutlamalar (İmzalar, Modüller, Optimizleyiciler) güçlüdür, ancak ilk okumada bariz değildir.
Fiyatlandırma:
- Ücretsiz: Her şey.
- Ücretli: Hiç.
Platformlar: Windows, macOS, Linux.
İndir: dspy.ai — Kaynak (GitHub)
Sonuç: Ince ayarlamadan önce DSPy’yi deneyin. Ucuz istemler ucuz başarısızlıkları düzeltir.
Doğruyu nasıl seçersiniz
Az önce başladıysanız ve tek bir yığın istiyorsanız, çıkarım için LM Studio artı yakalama için LangChain artı LoRA ayarlama çalıştırması için Unsloth, çalışan bir döngüye gitmek için en ucuz yoldur.
Hatalarınız esas olarak akıl yürütme boşluklarıysa (model dolaştı, bir adımı atladı), DSPy ile başlayın. İstem optimizasyonu genellikle boşluğu GPU saati yerine sent için kapatır.
Hatalarınız etki alanına özgüyse (model kod tabanınızı veya ürününü bilmiyor), bu ince ayardır. LM Studio ve Ollama ikilisinin üstünde Axolotl veya Unsloth kullanın.
İki veya daha fazla GPU’ya sahip bir iş istasyonundaysanız, Axolotl Unsloth’un ücretsiz katmanının ötesine ölçeklenir.
Text Generation WebUI’yi ne eğittiğinizden bağımsız olarak değerlendirme arayüzünüz olarak kullanın. Manuel A/B testleri, bir ayarlamanın gerçekten işleri iyileştirip iyileştirmediğini bilmenin en hızlı yoludur.
SSS
Kendi verilerime eğitim olmadan yerel bir LLM’yi öz iyileştire bilir miyim? Yalnızca bir noktaya kadar. DSPy ile istem optimizasyonu, çoğu insanın beklediğinden daha ileri götürür, ancak etki alanına özgü başarısızlıklar etki alanına özgü verilere ihtiyaç duyar.
Yararlı bir LoRA ince ayarlaması için ne kadar veridime ihtiyacım vardır? Hedefli bir düzeltme için, birkaç yüz etiketli hata örneği yeterlidir. Genel bir modelin yönerge ayarlanması on binlerce gerektirir.
3060 veya 4060’da hangisi daha hızlıdır: Unsloth veya Axolotl? Unsloth, tek GPU’da geniş bir marj tarafından. Axolotl, birden fazla GPU’nuz olduğunda veya tekrarlanabilir YAML config’leri istediğinizde daha iyidir.
LoRA ayarlandığında temel modelin yeteneklerini kaybeder miyim? Genellikle hayır. LoRA temel ağırlıkları donduruyor ve küçük bir adaptör ekliyor. Adaptörü boşaltabilir ve temel modeli geri alabilirsiniz.
Bunu Apple Silicon Mac’te çalıştırabilir miyim? Çıkarım (LM Studio, Ollama, Text Generation WebUI) evet. Eğitim Metal’de CUDA’dan daha yavaş çalışır; bazı mimariler hala pratik eğitim süreleri için Linux GPU kutusu gerektirir.
