Atıl GPU Kapasitesini Çözen Yeni Girişim: Expanse

Veri merkezleri günümüzde yüzde 30 ile 40 arasında değişen oldukça düşük bir verimlilikle çalışıyor. Özellikle yapay zeka projelerinin artmasıyla birlikte GPU yani grafik işlemci birimlerine olan talep tavan yapmış durumda. Bu yoğunluğa rağmen kullanıcıların ayırdığı bütçe ve donanım kaynaklarının büyük bir kısmı yazılımsal verimsizlikler nedeniyle boşa gidiyor. Y Combinator destekli yeni girişim Expanse, bu atıl kapasiteyi kurtarmak için özel bir teknoloji sunduğunu duyurdu.

Sistem, yaygın olarak bilinen hazır büyük dil modelleri yerine tamamen bu iş için sıfırdan inşa edilmiş özel bir makine öğrenimi mimarisi kullanıyor. Expanse, kullanıcıların gönderdiği kaynak kodları ve donanım topolojilerini analiz ediyor. Topoloji, donanım bileşenlerinin bir ağ üzerinde birbiriyle nasıl bağlandığını ve nasıl yerleştiğini ifade eden fiziksel yapıdır. Kodların farklı donanım yapılarında nasıl performans gösterdiğini öğrenen sistem, her veri merkezi kümesine özel modeller eğiterek kaynak israfını en aza indiriyor.

Platform, donanım tüketimini izlemek için telemetri yöntemini kullanıyor. Telemetri, bir sistemin çalışma performansına dair verilerin uzaktan otomatik olarak toplanması sürecidir. DCGM ve CUPTI gibi sistem araçlarıyla işlemcinin ve belleğin anlık durumunu izleyen Expanse, hangi kod satırının donanımı ne kadar yorduğunu net bir şekilde gösteriyor.

Güvenlik endişelerine karşı da önlem alan girişim, verileri bulut tabanlı bir merkeze göndermek yerine tamamen kurum içi sistemlerde çalıştırıyor. Sistem, internet bağlantısı olmayan hava boşluklu (air-gapped) ortamlarda da görev yapabiliyor. Ayrıca ana iş planlayıcıların akışını bozmayan pasif bir öneri katmanı olarak çalıştığı için olası bir arıza durumunda işlerin aksamasının önüne geçiliyor.