NVIDIA Yapay Zeka Çiplerinin Dünya Genelinde İzlenmesini Sağlayan Yeni Bir Yazılım Tanıttı

NVIDIA, veri merkezi operatörlerine yapay zeka altyapılarını gerçek zamanlı olarak izleme imkanı sunan yeni bir GPU filo yönetim platformunu duyurdu. Bu sistem, dünya geneline dağılmış dağıtımlardan telemetri verilerini NVIDIA’nın NGC bulut platformuna çekiyor. Operatörler, donanım sağlığından enerji verimliliğine, şu anda çalışan GPU’ların fiziksel konumuna kadar her şeyi merkezi bir panodan görüntüleyebiliyor.

Merkezi Kontrol Paneli Operatörlere Kapsamlı Görünürlük Sağlıyor

Yazılım, her bir ortamda kurulu olan müşteri yönetimli bir aracıya dayanıyor. Bu aracı, detaylı sistem verilerini topluyor ve NGC üzerinde barındırılan merkezi bir panele gönderiyor. Operatörler buradan performansı birden fazla katmanda inceleyebiliyor. Tüm dağıtılmış donanımın küresel bir görünümü, bireysel şirket içi veya bulut sitelerine karşılık gelen işlem bölgeleri ve düğüm bazında ayrıntılı dökümler panodan takip edilebiliyor.

Ortaya çıkan veriler yalnızca envanter ve kullanım özetleri sağlamakla kalmıyor. Her bir GPU’nun fiziksel olarak nerede çalıştığını da tespit edebiliyor. Bu işlevsellik, kısıtlı yapay zeka işlemcilerinin kaçakçılığını veya yetkisiz ihracatını caydırabilir.

NVIDIA, yazılımın kesinlikle yalnızca bir izleme katmanı olduğunu vurguluyor. Yazılımın GPU’ları devre dışı bırakma veya davranışlarını uzaktan değiştirme yeteneği bulunmuyor. Bu tasarım seçimi, arka kapı veya üretici kontrollü devre kesicilerle ilgili endişelerin önüne geçmeyi amaçlıyor. Pratikte NVIDIA, çiplerinin izin verilmeyen bölgelerde görünüp görünmediğini görebilir. Ancak bunları devre dışı bırakmak için herhangi bir teknik mekanizmaya sahip değil. Şirket, platformun açık kaynaklı olduğunu, müşteriler tarafından yüklendiğini ve yönetildiğini ve tamamen denetlenebilir olduğunu belirtiyor.

Sistem içindeki telemetri, performans analizini de destekliyor. Platform, kısa ömürlü yük artışları da dahil olmak üzere güç davranışını takip ediyor. Operatörler, enerji verimliliğini ince ayarlarken güç bütçeleri dahilinde kalabiliyor. Platform ayrıca GPU kullanımını, bellek bant genişliği kullanımını ve çok düğümlü kümelerde bağlantı performansını yakalıyor.

Termal yönetim bir başka odak noktası. İzleme aracısı, yoğun sunucu konfigürasyonlarında yetersiz soğutmayı işaret edebilecek ısı yoğunlaşmasını ve hava akışı düzensizliklerini tespit ediyor. Bu termal dengesizliklerin erken tespiti, darboğaz veya bileşen yaşlanması oluşmadan önce düzeltici önlem alınmasını sağlıyor. Platform ayrıca dağıtılmış sistemlerde tutarlılığı kontrol ediyor. Sunucuların aynı yazılım yığınlarını, sürücü sürümlerini ve yapılandırma ayarlarını çalıştırdığını doğruluyor.

Yeni sistem NVIDIA’nın veri merkezi yönetimi portföyünü genişletse de mevcut araçların yerini almıyor. Veri Merkezi GPU Yöneticisi (DCGM), yerel, düşük seviyeli tanılar için kullanılmaya devam ediyor. NVIDIA’nın Temel Komut platformu ise tamamen farklı bir katmanda çalışıyor. AI iş zamanlaması, veri kümesi organizasyonu ve iş akışı düzenlemesini ele alıyor. Üç hizmet birlikte, GPU yönetiminin her katmanını kapsayan eksiksiz bir sistem oluşturuyor.

Platformun katılımın isteğe bağlı olması, operatörlerin yalnızca katılmayı reddedebileceği için anlamlı bir kaçakçılık önleme kontrolü olarak işlev görmesini olası kılmıyor. Gerçek etkisi düzenleyici değil, operasyonel olacak. Yazılım, yapay zeka dağıtımları küresel olarak ölçeklendikçe birleşik GPU gözlemlenebilirliğine doğru bir adımı işaret ediyor.^[1]