Ağustos 2026’da piyasaya sürülen Proxmox 9.2, yerel LLM’ler çalıştıran birçok ev laboratuvarı kullanıcısı için NVIDIA’nın açık çekirdek modüllerini kıran bir çekirdek güncellemesi ile geldi ve düzeltme, NVIDIA’nın yaklaşık bir hafta sonra yayınladığı düzeltilmiş bir sürücü olduğu ortaya çıktı. Bu, çıkarım için GPU çalıştıran her Proxmox sahibinin karşılaşacağı modeldir: bir çekirdek güncellemesi gelir, sürücü yeni başlıkları reddeder, nvidia-smi “No devices were found” döndürür ve Ollama veya vLLM yeniden derleninceye kadar başlamaz.
Yerel LLM iş yükleri için Proxmox’ta NVIDIA sürücülerini yönetmek için en iyi uygulamalar bu deseni bir krizden bir rutine indirger. İşte bir sonraki çekirdek güncellemesinden önce kurulu olması değer yedi masaüstü aracı.
Proxmox NVIDIA stack’inde ne aramalı
Sürücü kurulum yolu ile başlayın. Satıcı tarafından sağlanan .run yükleyici işe yarar ve anlama değer, ancak ev laboratuvarı için bir paketin yinelenebilirliğini istiyorsunuz. Bu, NVIDIA’nın CUDA deposundan imzalı bir .deb veya bilinen iyi bir sürücü sürümünü sabitlemek için komut dosyası yapılabilir bir yol anlamına gelir.
DKMS’ye dikkat edin. Dynamic Kernel Module Support çekirdek güncellendiğinde NVIDIA modülünü yeniden oluşturur. DKMS’yi atlarsanız, her çekirdek bump’ında el ile yeniden derlersiniz ve sorunlar orada yaşar. DKMS modülünün güncellemeden sonra gerçekten yeniden inşa edildiğini ve sessizce başarısız olmadığını doğrulayın.
GPU geçişi tarafını izleyin. GPU ana bilgisayarda çalışmak yerine bir VM’ye geçirilirse, modül VM’nin içinde yaşar ve Proxmox, ana bilgisayarı kartı tutmasını engellemek için vfio-pci bağlantısına ihtiyaç duyar. Kırık geçiş genellikle kırık sürücü ile karıştırılır.
Son olarak, izleme ve geri alma planlayın. nvidia-smi bir döngüde size kartın canlı olduğunu söyler; Netdata zaman içinde kullanımı gösterir; güncellenmeden önce alınan host’un anlık görüntüsü, geri almanın bir Proxmox geri yükleme tıklamasından biri olduğu anlamına gelir.
Hızlı karşılaştırma
| Uygulama | Rol | Ücretsiz plan | Ödeme katmanı | Öne çıkan özellik |
|---|---|---|---|---|
| Proxmox VE | NVIDIA’nın yaşaması gereken hiper yönetici | Ücretsiz, açık kaynak | kurumsal repo için ücretli abonelik | her riskli sürücü güncellemesinden önce anlık görüntü |
| NVIDIA driver installer | CUDA ve çekirdek modülleri gönderir | Ücretsiz | Ücretsiz | imzalı .deb ve çekirdek güncellemelerini tolere eden ağ yükleyici |
| Aprox Proxmox client | Telefon veya masaüstünden Proxmox konsoluna erişin | Ücretsiz | Ücretsiz | tarayıcı açmadan VM’yi yeniden başlatın |
| Ollama | GPU’yu tüketen yerel LLM çalıştırıcısı | Ücretsiz, açık kaynak | Ücretsiz | tek satır kurulum, tek satır model çekme |
| Open WebUI | Ollama veya vLLM üzerinde sohbet ön ucu | Ücretsiz, açık kaynak | Ücretsiz | çok modelli sohbet, RAG, bulut bağımlılığı yok |
| vLLM | yüksek verimli LLM çıkarım sunucusu | Ücretsiz, açık kaynak | Ücretsiz | meşgul kurulumlar için Ollama’ya yönelik daha yüksek verimli alternatif |
| NVIDIA System Management Interface | nvidia-smi komut satırı |
Ücretsiz, sürücü ile gelir | Ücretsiz | bir şey kırıldığında ilk olarak çalıştırdığınız araç |
| Netdata | canlı GPU ve sistem metrikleri | Ücretsiz katman | ücretli bulut planları | zaman içinde GPU kullanımı, sıcaklık ve VRAM |
1. Proxmox VE
Proxmox VE stack’inin tabanındaki hiper yöneticidir. NVIDIA iş yükleri için en önemli ayar anlık görüntü disiplinidir: her riskli sürücü veya çekirdek değişikliğinden önce ana bilgisayar ve GPU taşıyan VM’nin anlık görüntüsünü alın, böylece geri alma iki tıklık bir işlem olur. Proxmox web UI’ın Yedekleme programı, LXC veya VM anlık görüntüsünü otomatikleştirebilir; ana bilgisayarın kendisinin ayrı bir yaklaşıma ihtiyacı vardır (durum bilgisi olmayan bir kurulum, kök havuzunun ZFS anlık görüntüsü veya yükleyici bayraklarının manuel notu).
Nerede eksik kaldığı: Proxmox’un kendisi ilk taraf GPU geçişi sihirbazı sunmaz. Bunu CLI ve /etc/pve/qemu-server/<vmid>.conf aracılığıyla yapılandırırsınız.
Fiyatlandırma: topluluk repo’su ile ücretsiz. kurumsal repo için ödeme aboneliği soket başına mütevazı bir yıllık ücretle başlar.
Platformlar: işlem kutusunda çıplak metal.
İndir: Proxmox VE
Sonuç: temel. Her sürücü güncellemesinden önce anlık görüntü alın.
2. NVIDIA driver installer
NVIDIA sürücü yükleyici imzalı CUDA deposu paketi veya .run yükleyici olarak gelir. Proxmox ev laboratuvarları için CUDA deposu daha güvenilir yoldur: repo ekleyin, DKMS ile nvidia-driver-open (açık çekirdek modülleri) yükleyin, yeniden başlatın, nvidia-smi doğrulayın. Bir çekirdek güncellemesi geldiğinde, DKMS modülü yeniden oluşturur; olmadığında, bir kez elle yeniden derlersiniz ve düzeltmeyi günlüğe kaydedersiniz.
Nerede eksik kaldığı: açık çekirdek modülleri hala daha yeni yoldur. Bazı eski kartlar sahiplik modüllerine ihtiyaç duyar ve sürüm matrisi yükseltmeden önce okumaya değer.
Fiyatlandırma: Ücretsiz.
Platformlar: Linux (Debian, Ubuntu ve Proxmox’un kullandığı türevler).
İndir: NVIDIA CUDA repository
Sonuç: DKMS ile repo kurulum, çekirdek güncellemelerini en sık tolere eden kurulumdur.
3. Aprox Proxmox client
Aprox Proxmox için bir telefon istemcisidir. Bir sürücü güncellemesi iş günü ortasında ters giderken, Aprox etkilenen VM’yi yeniden başlatmanızı, anlık görüntüye geri dönmenizi veya tarayıcı açmadan görev geçmişini kontrol etmenizi sağlar. Web UI’ın kullandığı aynı Proxmox API’sini okur.
Nerede eksik kaldığı: bu bir istemcidir, değil bir değiştirmedir. Derin yapılandırma hala web UI aracılığıyla gider.
Fiyatlandırma: Ücretsiz.
Platformlar: Android; Android runtimes aracılığıyla Windows ve ChromeOS’ten kullanılabilir.
İndir: Aptoide · Google Play
Sonuç: dokunmak için tam masaüstüne giriş yapmak istemediğiniz ev laboratuvarı için hızlı kurtarma istemcisi.
4. Ollama
Ollama Proxmox GPU’sunda yerel LLM çalıştırmanın en kolay yolu. GPU geçişli bir VM veya LXC konteynerine yükleyin, tek satır komutla model çekin ve Ollama standart OpenAI şeklinde yerel bir API ortaya koymaktadır. Ollama ile başlayan ve hiç ayrılmayan ev laboratuvarları nadiren pişman olurlar.
Nerede eksik kaldığı: verimlilik eşzamanlılıkta vLLM’den daha düşüktür. ev sohbeti kurulumu için bu önemli değil; küçük takım için olabilir.
Fiyatlandırma: Ücretsiz, açık kaynak.
Platformlar: Linux, macOS, Windows.
İndir: Ollama
Sonuç: vLLM’yi henüz sunmayan ev laboratuvarı GPU için varsayılan çalıştırıcı.
5. Open WebUI
Open WebUI Ollama veya vLLM üzerinde oturan sohbet ön ucudur. Çok modelli sohbeti, yerel belgelere karşı RAG’ı, paylaşılan konuşma geçmişini ve birden çok kullanıcı hesabını yönetir. Ollama ile aynı VM’de bir konteyner içinde çalıştırın ve bir kitap işareti koyabileceğiniz bir URL’de görünür.
Nerede eksik kaldığı: bu başka bir hareketli parçadır. Yalnızca terminalden sohbet ederseniz, Ollama API’sına karşı curl iyi çalışır.
Fiyatlandırma: Ücretsiz, açık kaynak.
Platformlar: Docker (herhangi bir ev sahibi).
İndir: Open WebUI
Sonuç: ev LLM kurulumu için dostça ön uç.
6. vLLM
vLLM bir hane veya küçük takım Ollama’nın yavaşlamasına neden olacak kadar saniye başına yeterli belirteç ürettiğinde daha yüksek verimli çıkarım sunucusudur. Sayfalı dikkati, toplu istekleri destekler ve çok daha yüksek eşzamanlılığa sahip modelleri barındırır. Kurulum daha karmaşıktır ve CUDA sürümüne hassastır.
Nerede eksik kaldığı: bu Ollama’nın “yükle ve unut” deneyimi değildir. Sürüm notlarını okumayı ve CUDA ve PyTorch sürümlerini eşleştirmeyi bekleyin.
Fiyatlandırma: Ücretsiz, açık kaynak.
Platformlar: CUDA ile Linux.
İndir: vLLM
Sonuç: eşzamanlılık kurulum basitliğinden daha önemli olduğunda seçim.
7. NVIDIA System Management Interface
nvidia-smi bir şey kırıldığında her Proxmox-plus-NVIDIA kullanıcısının ilk çalıştırdığı komuttur. Sürücü sürümünü, CUDA çalışma zamanını, GPU kullanımını, VRAM kullanımını, etkin işlemleri, sıcaklıkları ve gücü gösterir. Bir çekirdek güncellemesi geldiğinde, nvidia-smi sürücünün hayatta kalıp kalmadığının ilk dürüst okumasıdır.
Nerede eksik kaldığı: bu bir CLI’dir. Tmux bölmesinde bırakabileceğiniz grafik nvidia-smi -l 1 döngüsü vardır ama bu bir pano değildir.
Fiyatlandırma: Ücretsiz, sürücü ile gelir.
Platformlar: Linux, Windows (NVIDIA sürücüsü aracılığıyla).
İndir: yukarıdaki NVIDIA sürücü kurulumu ile paketlenmiş.
Sonuç: her çekirdek veya sürücü değişikliğinden sonra çalıştırmanız gereken ilk araç.
8. Netdata
Netdata sürücü yüklendiğinde NVIDIA toplayıcısını otomatik olarak alır. GPU kullanımını, VRAM’ı, gücü ve sıcaklığı tarayıcıda saniye düzeyinde ayrıntılı olarak işler. Tarihsel olarak, bir kıyaslamayı çalıştırmanın bildirmediği termal boğulma tespit etmeniz bu şekildedir.
Nerede eksik kaldığı: ücretsiz katmanda uzun süreli saklama sınırlıdır. Bir yıllık GPU geçmişi önemliyse Prometheus’ta tarihsel ölçümleri saklayın.
Fiyatlandırma: az sayıda düğüm için ücretsiz katman. ücretli bulut planları saklama ekler.
Platformlar: Linux (aracı), herhangi bir tarayıcı (pano).
İndir: Netdata
Sonuç: zaman içinde GPU hatalı davranışını tespit etmenin en hızlı yolu.
Nasıl seçer
Her ev laboratuvarı GPU’su Proxmox VE (sürücü değişikliklerinden önce anlık görüntü), DKMS ile NVIDIA CUDA deposu ve ilk kontrol aracı olarak nvidia-smi ile başlamalıdır. Dost canlısı LLM kurulumu için Ollama artı Open WebUI ekleyin veya verimlilik önemliyse vLLM. Telefon tarafı kontrol için Aprox yükleyin ve sürekli GPU görünürlüğü için Netdata. Bir çekirdek güncellemesi geldiğinde, ilk anlık görüntü alın, ikinci güncelleyin, üçüncü nvidia-smi çalıştırın, dördüncü Netdata GPU panelini kontrol edin. Birhangi birsi başarısız olursa, Aprox istemcisi geri alma için tarayıcı açmaktan daha hızlıdır.
SSS
Proxmox 9.2 neden yerel LLM’lerimi kırdı?
Çekirdek bump bunun için NVIDIA sürücü desteğinden önde idi. NVIDIA yaklaşık bir hafta sonra düzeltilmiş bir sürücü yayınladı; bu sürücüyü yükledikten sonra, dkms status çalıştırıp yeniden başlattıktan sonra, nvidia-smi ve Ollama geri yüklendi.
Proxmox’ta açık veya tescilli NVIDIA modülleri kullanmalı mıyım?
Son Ampere ve daha yeni kartlar için açık çekirdek modülleri 2026’da önerilen yol ve NVIDIA’nın ileri doğru desteklediği şeydir. Eski Turing ve Pascal kartlar hala sahiplik modüllerine dayanmaktadır.
Proxmox’ta Ollama için GPU geçişine ihtiyacım var mı?
GPU işlem kutusundaysa ve host’ta Ollama çalıştırıyorsanız hayır. VM içinde Ollama çalıştırıyorsanız evet. LXC konteynerleri doğru cgroup ve udev kuralları ile geçiş olmadan host’un GPU’sunu paylaşabilir.
Proxmox’ta en iyi yerel LLM çalıştırıcısı nedir?
kurulum kolaylığı için Ollama, eşzamanlılık için vLLM. Her ikisi de konuk üzerine yüklenmiş NVIDIA sürücüsünü tüketir.
Proxmox’ta zaman içinde GPU sıcaklığını nasıl izleyebilirim?
GPU’ya sahip konuğa Netdata yükleyin. NVIDIA ölçümlerini otomatik olarak alır. uzun süreli saklama için Prometheus’a ölçümleri gönderin ve Grafana’da görüntüleyin.
