16GB dizüstü bilgisayarda Gemma 4 çalıştırmak bir pazar öğleden sonrasının işidir. Performansını anlamak daha uzun bir sohbettir. Ollama, LM Studio ve llama.cpp arasında üçüncü kez geçiş yaptıysanız ve hala “hangi kuantizasyon gerçekten benim donanımım için daha iyi?” sorusuna cevap veremiyorsanız, bu yedi yerel LLM kıyaslama uygulamasından biri sizi tahmin oyunundan çıkarmaya yardımcı olacaktır.
Masaüstünde tek kullanıcılı yerel LLM kurulumu için yeniden üretebilir sayılar rapor eden uygulamaları seçtik. Hız kıyaslamaları (donanımınızda saniye başına token) kalite kıyaslamalarıyla (genel paketlerde doğruluk) birlikte gider; böylece sorduğunuz şeyle eşleşen bir araç seçebilirsiniz.
Yerel LLM kıyaslama uygulamasında nelere bakılmalı
- Gerçekte ne ölçüyorsunuz. Verim, gecikme, VRAM ayak izi, bilinen veri seti üzerinde kalite ve kendi veri setinizde görev başına kalite beş farklı sorudur.
- Yerel çalışan. Araç, modelin bulunduğu yere ulaşması gerekir. Bu, Ollama, llama.cpp, LM Studio’nun OpenAI uyumlu sunucusu veya doğrudan Python çağrısı anlamına gelir.
- Bilinen veri seti. MMLU, TruthfulQA, HellaSwag ve IFEval sıklıkla alıntılanılan adlardır. Araçta bunlardan hiçbiri yoksa, bu bir kıyaslama değildir.
- Tekrarlanabilir çıktı. Model ve yapılandırmanın karması ile bir JSON veya CSV raporu, sadece bir ekran görüntüsü değil.
- Maliyet görünürlüğü. “Yerel” bir çalıştırma bile gerçek zaman maliyetine sahiptir. İlk token’a kadar geçen süreyi ve sabit hal verimini gösteren araçlar ödünleşmeleri açık kılar.
Hızlı karşılaştırma
| Uygulama | Şunun için en iyi | Platformlar | Ücretsiz | Öne çıkan |
|---|---|---|---|---|
| lm-evaluation-harness | Yayınlanan kalite puanlarını yeniden oluşturma | Windows, macOS, Linux | Ücretsiz, açık kaynak | MMLU, IFEval vb. referans uygulaması |
| llama-bench | Ham verim ve gecikme testi | Windows, macOS, Linux | Ücretsiz | llama.cpp ile gönderilir, GGUF yerel |
| MLPerf Client | Satıcı tarafsız donanım kıyaslaması | Windows | Ücretsiz | AMD, Intel, Nvidia hepsi bunu kullanır |
| DeepEval | Sizin veri setiniz, sizin metrikleriniz | Windows, macOS, Linux | Ücretsiz katman | pytest tarzı sözdizimi, LLM-as-judge |
| Promptfoo | Modeller arasında karşılaştırmalı değerlendirme | Windows, macOS, Linux | Ücretsiz, açık kaynak | Tarayıcıda yan yana çıktı farklılıkları |
| HELM | Kapsamlı akademik kıyaslama | Windows, macOS, Linux | Ücretsiz, açık kaynak | Model arası karşılaştırma referansı |
| OpenAI Evals | Komut istem seviyesi test durumları | Windows, macOS, Linux | Ücretsiz, açık kaynak | Kolay yazma, muazzam komunite kataloğu |
Uygulamalar
1. lm-evaluation-harness — Bilinen kıyaslama yeniden üretebilirliği için en iyi
lm-evaluation-harness, EleutherAI’den, MMLU, IFEval, HellaSwag, ARC, TruthfulQA ve onlarca diğerini yayınlamak için çoğu model sürümü tarafından kullanılan referans uygulamadır. Yerel bir modele işaret edin ve makalede alıntılanan aynı sayıları yeniden oluşturun.
Eksiklikleri: Veri seti indirmeleri büyüktür. Dizüstü bilgisayarda ilk kurulum, onlarca gigabayt önbellek talep eder.
Fiyatlandırma:
- Ücretsiz: Tam açık kaynak kitaplığı
- Ücretli: Yok
Platformlar: Windows, macOS, Linux (Python)
İndir: GitHub
Sonuç: Amaç “makalede puanını kendi donanımımda yeniden oluşturmak” olduğunda seçim.
2. llama-bench — Verim ve gecikme testi için en iyi
llama-bench llama.cpp deposunun içinde gönderilir ve GGUF kuantizasyonları, komut istemi uzunlukları ve arka uç yapılandırmaları genelinde ham token/saniye ölçer. “Q5_K_M bu CPU’da gerçekten Q4_K_S’den daha hızlı mı olacak?” sorusunu sohbet sarmalayıcı engel olmadan yanıtlar.
Eksiklikleri: Sadece hız. Çıktı kalitesi hakkında hiçbir şey söylemez.
Fiyatlandırma:
- Ücretsiz: llama.cpp ile paketlenmiş
- Ücretli: Yok
Platformlar: Windows, macOS, Linux
İndir: GitHub
Sonuç: Makinenizde model karşılaştırmak için verim numaralarına ihtiyaç duyduğunuzda seçim.
3. MLPerf Client — Satıcı tarafsız donanım kıyaslaması için en iyi
MLPerf Client AMD, Intel ve Nvidia’nın tümünün son kullanıcı donanımında LLM çıkarım performansı için alıntıladığı MLCommons kıyaslamasıdır. Satıcılar arasında sayılar doğrudan karşılaştırılabilir çünkü herkes aynı paketi çalıştırır.
Eksiklikleri: Önce Windows. Model listesi sabit ve küratörlü, bu nedenle genel amaçlı bir kıyaslama aracı değildir.
Fiyatlandırma:
- Ücretsiz: Tam paket
- Ücretli: Yok
Platformlar: Windows
İndir: mlcommons.org
Sonuç: Ryzen AI dizüstü bilgisayarını Core Ultra ile metodoloji tartışması olmadan karşılaştırmak için seçim.
4. DeepEval — Kendi veri setiniz için en iyi
DeepEval değerlendirmeyi pytest tarzı test durumlarına dönüştüren bir Python çerçevesidir. Metrikler LLM-as-judge puanlaması, halüsinasyon algılama, bağlamsal hassasiyet ve yanıt ilgisi içerir ve her test yerel bir modele karşı çalışabilir.
Eksiklikleri: Bazı gelişmiş metrikler varsayılan olarak barındırılan modelleri çağırır. Onları yerel bir hakime işaret etmek için yapılandırmayı okumak bir akşam değer.
Fiyatlandırma:
- Ücretsiz: Tam açık kaynak kitaplığı
- Ücretli: Yönetilen gözlemlenebilirlik katmanı
Platformlar: Windows, macOS, Linux
İndir: GitHub
Sonuç: Çalıştırmak istediğiniz kıyaslama kendiniz yazdığınız bir olduğunda seçim.
5. Promptfoo — Yan yana karşılaştırma için en iyi
Promptfoo aynı komut istemlerini birkaç modele karşı çalıştırır ve tarayıcı tabanlı bir diff görünümü üretir. Aynı zamanda red-teaming aracı olarak da çalışır, ancak kıyaslama iş akışı için yan yana çıktı görünümü kurmasının sebebidir.
Eksiklikleri: Karşılaştırma görünümü ham metrik görünümünden daha güçlüdür. Referans puanlar için lm-evaluation-harness veya DeepEval ile eşleştirin.
Fiyatlandırma:
- Ücretsiz: Tam açık kaynak CLI
- Ücretli: Yönetilen takım katmanı
Platformlar: Windows, macOS, Linux (Node.js)
İndir: promptfoo.dev
Sonuç: Soru “model A mi yoksa model B mi on komut istemimi daha iyi yanıtlıyor?” olduğunda seçim.
6. HELM — En iyi akademik referans
HELM, Stanford’un CRFM’sinden, “Holistic Evaluation of Language Models” projesidir. Geniş senaryo kıyaslaması kullanarak yetkili bir çapraz model tablosu yayınlar ve aynı kod kendi modelinize karşı yerel olarak çalışır.
Eksiklikleri: Ağır. Tam HELM çalıştırmaları bir iş istasyonunda saatler alır. Hızlı bir akıl sağlığı kontrolü için dizüstü bilgisayar aracı değildir.
Fiyatlandırma:
- Ücretsiz: Tam açık kaynak projesi
- Ücretli: Yok
Platformlar: Windows, macOS, Linux
İndir: GitHub
Sonuç: Sayıların bir makalede veya teknik raporda savunulabilir olması gerektiğinde seçim.
7. OpenAI Evals — Topluluk tarafından yazılan test durumları için en iyi
OpenAI Evals komut istemi seviyesi test durumları yazmak için bir çerçevedir (topluluk kataloğu matematik, mantık bulmacaları, kod ve akıl yürütme içerir) ve bunları OpenAI uyumlu bir bitiş noktasının arkasında herhangi bir modele karşı çalıştırır.
Eksiklikleri: Katalog kalitesi değişiklik gösterir. Bazı değerlendirmeler diğerlerinden daha güçlüdür.
Fiyatlandırma:
- Ücretsiz: Açık kaynak çerçevesi
- Ücretli: Yok
Platformlar: Windows, macOS, Linux
İndir: GitHub
Sonuç: Model test etmenin en hızlı yolu bir topluluk değerlendirmesi almak, yerel bitiş noktanıza işaret etmek ve sonuçları okumak olduğunda seçim.
Doğru olanı seçme
Yayınlanan kalite puanlarını yeniden üretmek istiyorsanız: lm-evaluation-harness. Disk alanı ve kahve ayırın.
Donanımınızda verimliliği karşılaştırmak istiyorsanız: llama-bench. Kuant-vs-kuant sorusuna yanıt vermenin en hızlı yolu.
Dizüstü bilgisayarları veya GPU’ları karşılaştırıyorsanız: MLPerf Client. Satıcı tarafsız, elma ile elma.
Kıyaslamanız kendi veri setiniz ise: DeepEval. LLM’ler için pytest tarzı testler.
Amaç komut istemlerinizde iki modelin yan yana görünümü ise: Promptfoo.
Sayıların akademik güvenilirliğe ihtiyacı varsa: HELM. Uzun çalıştırmayı kabul edin.
Topluluk tarafından yazılan testler yeterli ise: OpenAI Evals. Bir dizini alın, modelinize işaret edin, çalıştırın.
Sık Sorulan Sorular
Genel olarak en iyi yerel LLM kıyaslaması hangisidir? Kalite yeniden üretebilirliği için lm-evaluation-harness. Donanımınızda hız için llama-bench.
Ollama veya LM Studio’da çalışan bir modeli kıyaslayabilir miyim? Evet. Bu listedeki her araç OpenAI uyumlu bir bitiş noktasını destekler ve Ollama, LM Studio ve Jan hepsi bunu kullanıma sunur.
MMLU nedir ve neden herkes bunu alıntılıyor? MMLU, birçok akademik konu arasında çoktan seçmeli bir kıyaslamadır. Alıntılanır çünkü birçok model puanlarını yayınlar ve karşılaştırmalar kolaydır.
Kıyaslama uygulaması red-teaming uygulaması ile aynı mı? Hayır. Kıyaslama, yetenek ve hızı ölçer. Red teaming güvenliği test eder. Promptfoo her ikisini de yapabilir; lm-evaluation-harness sadece birincisini.
Bu kıyaslamaları çalıştırmak için GPU’ya ihtiyacım var mı? Hayır. lm-evaluation-harness ve llama-bench CPU’da çalışır. Hız kıyaslamaları, GPU’nun en belirgin fark yaptığı yerdir.
Tüm bu araçlar ücretsiz mi? Bu listedeki her araç ücretsiz bir katmana sahiptir. Sadece DeepEval ve Promptfoo yönetilen gözlemlenebilirliği satarlar.
