NVIDIA vGPU for Compute, fiziksel GPU kaynaklarının sanallaştırılarak yapay zekâ, makine öğrenmesi, yüksek performanslı hesaplama ve yoğun GPU kullanan uygulamalarda daha verimli kullanılmasını sağlayan bir teknolojidir.
Bu yapının temel amacı yalnızca bir fiziksel GPU’yu birden fazla sanal makine arasında paylaşmak değildir. NVIDIA vGPU; GPU kaynaklarının nasıl bölüneceğini, farklı iş yüklerine nasıl tahsis edileceğini, GPU’lar arasındaki veri iletişiminin nasıl yapılacağını ve sanal makinelerin GPU kullanırken nasıl taşınabileceğini de yönetir.
Özellikle büyük ölçekli AI ve HPC altyapılarında GPU kaynaklarının doğru şekilde paylaşılması, yatırım maliyetinin daha verimli kullanılmasını ve farklı iş yüklerinin aynı altyapı üzerinde güvenli şekilde çalıştırılmasını sağlar.
MIG-Backed vGPU
NVIDIA vGPU’nun en önemli özelliklerinden biri MIG, yani Multi-Instance GPU desteğidir.
MIG destekleyen GPU’larda fiziksel GPU, donanım seviyesinde birden fazla bağımsız GPU bölümüne ayrılabilir. Bu bölümlerin her biri belirli miktarda GPU belleğine ve işlem kaynağına sahip olur.
Bu sayede tek bir güçlü GPU’nun tamamını tek bir sanal makineye vermek yerine, GPU birkaç farklı sanal makine veya uygulama arasında paylaştırılabilir.
MIG’in time-sliced vGPU’dan temel farkı burada ortaya çıkar. Time-sliced modelde GPU zamanı farklı sanal makineler arasında sırayla paylaştırılırken, MIG yapısında fiziksel GPU kaynakları gerçekten bölümlere ayrılır.
Bu da özellikle birden fazla kullanıcı, müşteri veya tenant’ın aynı fiziksel GPU’yu kullandığı yapılarda daha güçlü izolasyon sağlar.
Device Groups
GPU altyapılarında performans yalnızca GPU’nun gücüne bağlı değildir. GPU’nun hangi PCIe hattına bağlı olduğu, hangi ağ kartıyla aynı topolojide bulunduğu veya hangi GPU’larla yüksek hızlı bağlantıya sahip olduğu da performansı doğrudan etkileyebilir.
Device Groups özelliği bu noktada devreye girer.
Bu özellik sayesinde birbirleriyle ilişkili donanımlar birlikte değerlendirilebilir ve sanal makinelere kaynak tahsisi yapılırken fiziksel topoloji dikkate alınabilir.
Örneğin bir GPU ile aynı PCIe yapısında bulunan yüksek hızlı bir ağ kartının birlikte kullanılması, özellikle AI training ve HPC uygulamalarında gecikmeyi azaltabilir ve veri aktarım hızını artırabilir.
Bu nedenle Device Groups, özellikle çok GPU’lu ve yüksek hızlı ağ altyapılarında önemli bir özellik olarak öne çıkar.
GPUDirect
GPU kullanan sistemlerde performansı etkileyen en önemli konulardan biri verinin nasıl taşındığıdır.
Geleneksel yapılarda veri çoğu zaman depolama sisteminden veya ağ üzerinden önce sistem belleğine, ardından GPU belleğine aktarılır. Bu süreç CPU üzerinde ek yük oluşturabilir.
NVIDIA GPUDirect teknolojisi, bu veri yolunu daha verimli hâle getirmeyi amaçlar.
GPUDirect RDMA sayesinde GPU belleği ile yüksek hızlı ağ altyapısı arasında daha doğrudan veri aktarımı yapılabilir.
GPUDirect Storage ise verinin depolama sistemi ile GPU arasında daha verimli taşınmasını sağlar.
Böylece CPU üzerinden yapılan gereksiz veri kopyalama işlemleri azaltılır. Özellikle büyük veri kümeleriyle çalışan yapay zekâ, veri analitiği ve HPC uygulamalarında bu durum ciddi performans avantajı sağlayabilir.
Heterogeneous vGPU
Her sanal makinenin GPU ihtiyacı aynı değildir.
Bazı uygulamalar küçük miktarda GPU belleğine ihtiyaç duyarken bazıları çok daha yüksek işlem gücü ve GPU belleği gerektirebilir.
Heterogeneous vGPU özelliği sayesinde aynı fiziksel GPU üzerinde farklı büyüklükte vGPU profilleri kullanılabilir.
Örneğin bir sanal makineye daha küçük bir GPU profili atanırken başka bir sanal makineye daha yüksek kapasiteli bir profil verilebilir.
Bu yaklaşım özellikle çok kullanıcılı ve servis sağlayıcı ortamlarında önemli bir esneklik sağlar.
GPU kaynaklarının herkes için eşit bölünmesi yerine, gerçek ihtiyaca göre dağıtılması mümkün olur.
Bu da hem kapasitenin daha verimli kullanılmasını hem de gereksiz kaynak tüketiminin önlenmesini sağlar.
Live Migration
GPU kullanan sanal makinelerin geçmişteki en önemli dezavantajlarından biri, fiziksel GPU’ya güçlü şekilde bağlı olmalarıydı.
NVIDIA vGPU’nun desteklediği yapılarda Live Migration özelliği sayesinde GPU kullanan sanal makineler bir fiziksel hosttan başka bir hosta taşınabilir.
Bu özellik özellikle bakım operasyonlarında büyük kolaylık sağlar.
Örneğin bir ESXi host üzerinde firmware güncellemesi, hypervisor güncellemesi veya donanım bakımı yapılacaksa, desteklenen mimarilerde GPU kullanan sanal makineler başka bir hosta taşınabilir.
Bu sayede hizmet kesintisi minimum seviyede tutulabilir.
GPU altyapısında Live Migration desteğinin bulunması, klasik sanallaştırma altyapılarındaki operasyonel esnekliğin GPU kullanan sistemlere de taşınmasını sağlar.
Multi-GPU ve P2P
Bazı AI ve HPC uygulamalarında tek bir GPU yeterli olmayabilir.
Özellikle büyük dil modelleri, derin öğrenme eğitimleri veya yüksek hesaplama gücü gerektiren bilimsel uygulamalarda birden fazla GPU’nun birlikte kullanılması gerekebilir.
NVIDIA vGPU, bu tür senaryolar için Multi-GPU desteği sunar.
Böylece tek bir sanal makineye birden fazla GPU kaynağı atanabilir.
P2P, yani Peer-to-Peer iletişim ise GPU’ların birbirleriyle daha doğrudan veri alışverişi yapabilmesini sağlar.
Bu yaklaşımda verinin sürekli CPU üzerinden taşınması gerekmediği için GPU’lar arası veri aktarımı daha hızlı gerçekleşebilir.
Özellikle büyük AI modellerinin eğitiminde bu özellik büyük önem taşır.
NVIDIA NVSwitch
Bir sistemde çok sayıda GPU bulunması tek başına yüksek performans anlamına gelmez. GPU’ların birbirleriyle ne kadar hızlı iletişim kurduğu da en az GPU sayısı kadar önemlidir.
NVIDIA NVSwitch bu ihtiyaca yönelik geliştirilmiştir.
NVSwitch, GPU’lar arasında yüksek bant genişliğine sahip bir iletişim altyapısı oluşturur.
Özellikle sekiz veya daha fazla GPU’nun birlikte çalıştığı AI sistemlerinde GPU’lar arasında yoğun veri alışverişi gerçekleşir.
Bu veri transferi yavaş olduğunda sistemin toplam performansı ciddi şekilde düşebilir.
NVSwitch sayesinde GPU’lar arasındaki iletişim hızlandırılır ve büyük ölçekli AI eğitim iş yüklerinin daha verimli çalışması sağlanır.
NVLink Multicast
NVLink Multicast, aynı verinin birden fazla GPU’ya daha verimli şekilde dağıtılmasını sağlar.
Normal bir yapıda aynı veri birkaç GPU’ya ayrı ayrı gönderildiğinde veri yolu üzerinde tekrar eden trafik oluşabilir.
Multicast yöntemi ile bir veri birden fazla GPU’ya daha etkin şekilde aktarılabilir.
Bu özellikle dağıtık AI uygulamalarında ve birden fazla GPU’nun aynı veri seti üzerinde çalıştığı sistemlerde önem kazanır.
GPU Scheduling Policies
Time-sliced vGPU kullanılan sistemlerde GPU zamanının sanal makineler arasında nasıl dağıtılacağı da önemli bir konudur.
NVIDIA bu amaçla farklı scheduling politikaları sunar.
En yaygın politikalar Best Effort, Equal Share ve Fixed Share olarak öne çıkar.
Best Effort yaklaşımında GPU kaynakları mevcut kullanıma göre dağıtılır. Bir sanal makine GPU kullanmıyorsa boşta kalan kaynak diğer sanal makineler tarafından değerlendirilebilir.
Bu yaklaşım GPU kullanım oranını artırmak açısından avantajlıdır.
Equal Share politikasında GPU zamanı sanal makineler arasında daha dengeli şekilde paylaşılır.
Bu sayede farklı kullanıcı veya uygulamalar arasında daha adil bir kaynak dağılımı sağlanabilir.
Fixed Share yaklaşımında ise belirli bir sanal makineye veya vGPU profiline sabit bir zaman payı ayrılır.
Bu yapı özellikle performansın daha öngörülebilir olması gereken sistemlerde tercih edilebilir.
Doğru scheduling politikasının seçilmesi, GPU performansı kadar servis kalitesi açısından da önemlidir.
Suspend ve Resume
NVIDIA vGPU destekli sanal makinelerde belirli platformlarda Suspend ve Resume işlemleri de desteklenebilir.
Suspend işlemi sırasında sanal makinenin mevcut çalışma durumu korunur.
Daha sonra Resume işlemi yapıldığında VM kaldığı yerden çalışmaya devam eder.
GPU kullanan sistemlerde bu işlem klasik sanal makinelere göre daha karmaşıktır. Çünkü yalnızca VM belleğinin değil, GPU tarafındaki durum bilgisinin de korunması gerekir.
Bu nedenle Suspend ve Resume kullanılacaksa GPU modeli, vGPU sürümü ve hypervisor uyumluluğu mutlaka kontrol edilmelidir.
Unified Virtual Memory
CPU belleği ve GPU belleği normal şartlarda birbirinden farklı alanlardır.
GPU kullanan uygulamalar verileri bu iki bellek arasında taşımak zorunda kalabilir.
Unified Virtual Memory, yani UVM, CPU ve GPU tarafında daha birleşik bir adresleme modeli sunar.
Bu yapı sayesinde uygulamalar CPU ve GPU belleğini daha esnek şekilde kullanabilir.
Özellikle CUDA tabanlı uygulamalarda bellek yönetimini kolaylaştırabilir ve büyük veri kümeleri üzerinde çalışan uygulamalarda programlama sürecini sadeleştirebilir.
UVM, GPU belleğini fiziksel olarak büyütmez. Ancak CPU ve GPU belleği arasındaki veri yönetimini daha kolay hâle getirir.
Inference İş Yüklerinde Doğru vGPU Modelinin Seçilmesi
Inference sistemlerinde tek bir GPU paylaşım yöntemi her zaman en doğru seçenek olmayabilir.
İş yüküne göre time-sliced vGPU, MIG-backed vGPU veya bazı yapılarda time-sliced MIG-backed yaklaşımı tercih edilebilir.
Burada seçim yapılırken yalnızca GPU kapasitesine bakılmamalıdır.
Model büyüklüğü, GPU belleği ihtiyacı, eşzamanlı kullanıcı sayısı, gecikme beklentisi, izolasyon ihtiyacı ve performans gereksinimleri birlikte değerlendirilmelidir.
Örneğin çok sayıda küçük inference servisi çalıştırılacaksa GPU’nun daha küçük bölümlere ayrılması verimli olabilir.
Buna karşılık büyük bir AI modelinin çalıştırıldığı sistemde GPU kaynaklarının daha büyük kısmının tek bir iş yüküne ayrılması gerekebilir.
Bu nedenle inference tasarımında temel hedef GPU’yu mümkün olduğunca fazla sayıda sanal makineye bölmek değil, iş yükü ile kaynak arasında doğru dengeyi kurmak olmalıdır.
Tüm Özellikler Birlikte Nasıl Değerlendirilmeli?
NVIDIA vGPU’nun asıl gücü, bu özelliklerin birlikte kullanılabilmesinden gelir.
Örneğin MIG ile fiziksel GPU kaynakları bölünebilir, Heterogeneous vGPU ile farklı büyüklüklerde profiller oluşturulabilir ve scheduling politikalarıyla GPU kullanım zamanı yönetilebilir.
Bunun yanında GPUDirect ile veri aktarım performansı artırılabilir, NVLink ve NVSwitch ile GPU’lar arasındaki iletişim hızlandırılabilir.
Multi-GPU desteği sayesinde büyük AI iş yükleri tek bir VM üzerinde birden fazla GPU kullanabilir.
Live Migration ise bakım ve operasyon süreçlerinde daha yüksek esneklik sağlar.
Dolayısıyla NVIDIA vGPU yalnızca GPU paylaşımı sağlayan bir teknoloji olarak değil, GPU kaynaklarının bütün yaşam döngüsünü yöneten bir altyapı olarak değerlendirilmelidir.
NVIDIA vGPU for Compute, fiziksel GPU kaynaklarının daha verimli, esnek ve kontrollü şekilde kullanılmasını sağlar.
MIG ile donanım seviyesinde izolasyon sağlanabilir, time-sliced vGPU ile GPU zamanı paylaşılabilir, Heterogeneous vGPU ile farklı büyüklükte kaynaklar oluşturulabilir.
GPUDirect, NVLink ve NVSwitch gibi teknolojiler veri aktarımı ve GPU’lar arası iletişim performansını artırırken, Live Migration ve Suspend-Resume gibi özellikler operasyonel yönetimi kolaylaştırır.
Ancak bu özelliklerin tamamının her GPU modeli, hypervisor veya işletim sistemi üzerinde desteklendiği düşünülmemelidir.
Bir GPU sanallaştırma projesi hazırlanırken şu yaklaşım benimsenmelidir:
Önce iş yükünün ihtiyacı belirlenmeli, ardından bu iş yüküne uygun GPU modeli, vGPU yöntemi, hypervisor ve kaynak paylaşım politikası seçilmelidir.
Bu şekilde tasarlanan bir altyapı hem GPU kaynaklarının daha verimli kullanılmasını sağlar hem de gelecekte kapasitenin büyütülmesini ve yeni AI iş yüklerinin sisteme eklenmesini kolaylaştırır.
