Geliştiriciler İçin Yalın ve Esnek CUDA Dil Modeli Altyapısı Sunuldu
NVIDIA GPU'lar üzerinde doğrudan çalışabilen, üzerinde kolayca değişiklik yapılabilen son derece minimalist bir CUDA dil modeli altyapısı geliştiricilerin kullanımına sunuldu.
Yapay zeka modellerinin arkasındaki karmaşık matematiksel ve donanımsal süreçleri anlamak isteyen yazılımcılar için yeni bir açık kaynak kodlu proje geliştirildi. "Tiny hackable CUDA language model" adını taşıyan bu çalışma, büyük dil modellerinin (LLM) temelini oluşturan Transformer mimarisini doğrudan CUDA diliyle yazılmış en yalın haliyle sunuyor. CUDA (Compute Unified Device Architecture), NVIDIA grafik kartlarının paralel işlem gücünü kullanarak yüksek performanslı hesaplamalar yapmayı sağlayan bir programlama platformudur. Bu projenin temel amacı, karmaşık kütüphane katmanlarını aradan kaldırarak doğrudan donanım seviyesinde çalışan bir ön eğitim (pre-training) altyapısı sağlamaktır.
Sistem, karmaşıklığı en aza indirmek adına tokenize etme (tokenization) işlemlerini tamamen devre dışı bırakarak doğrudan ham baytlar (raw bytes) üzerinde çalışıyor. Tokenizasyon, normal şartlarda metinleri yapay zekanın anlayabileceği sayısal parçalara bölme işlemidir; bu projede ise kodun sade kalması için bu süreç bayt seviyesine indirgenmiştir. Geliştiriciler kendi metin verilerini sisteme yükleyerek modeli sıfırdan eğitebiliyorlar. Bellek dostu bir mimariye sahip olan proje, 8 GB belleğe sahip standart bir NVIDIA RTX 3050 ekran kartında bile paket boyutunun (batch size) düşürülmesiyle rahatlıkla çalıştırılabiliyor. Ayrıca yazılımın ARM mimarisine sahip NVIDIA Jetson Orin Nano gibi gömülü sistemlerde de başarıyla test edildiği belirtiliyor.
Proje, temiz ve anlaşılır bir kod tabanı sunmak amacıyla LoRA (düşük dereceli uyarlama ile hızlı ince ayar yapma yöntemi) veya model kuantizasyonu (model boyutunu küçültmek için sayısal hassasiyeti düşürme işlemi) gibi ileri seviye özellikleri varsayılan olarak barındırmıyor. Ancak esnek yapısı sayesinde dileyen geliştiriciler bu özellikleri temel koda kendileri entegre edebiliyor. Modelin eğitim esnasındaki matematiksel doğruluk kontrolleri yapay verilerle test edilmiş durumda olup, yapay zeka modellerinin mutfağına inmek ve CUDA programlamayı pratik bir proje üzerinden öğrenmek isteyenler için güçlü bir eğitim aracı sunuluyor.
