SGLang Consortium Açık Kaynak Yapay Zekâ Çıkarımına Odaklanıyor

Açık kaynaklı yapay zekâ çıkarım motoru SGLang’ın yol haritası için NVIDIA, AMD, Intel, Google, Meta, Cloudflare, Modal ve RadixArk’ın katıldığı yeni bir konsorsiyum kuruldu. LMSYS Org, oluşumu 12 Kasım’da San Francisco’daki ilk SGLang Summit’in açılışında duyurdu. Katılımcı şirketler, modeli çalıştırma yazılımının gelecekteki ihtiyaçlarını proje geliştiricileriyle birlikte ele alacak.

SGLang ne yapıyor?

Bir yapay zekâ modeli eğitildikten sonra, kullanıcının sorularına yanıt üretirken onu çalıştırma aşamasına çıkarım (inference) denir. Bu sırada kullanılan yazılım; istekleri GPU’lara dağıtma, bellek ve işlem kaynaklarından yararlanma, farklı modelleri ve iş yüklerini çalıştırma gibi görevleri yönetir. SGLang, bu çalışma katmanına yönelik açık kaynaklı bir motordur; kendi başına yeni bir yapay zekâ modeli veya donanım duyurusu değildir.

LMSYS, SGLang’ın yüz binlerce GPU üzerinde çalıştığını ve büyük ölçekli üretim sistemlerinde kullanıldığını belirtiyor. Bu, proje ekibinin paylaştığı kullanım bilgisi; konsorsiyumun yeni bir performans sonucu açıkladığı anlamına gelmiyor.

Konsorsiyum hangi işleri yürütecek?

Kurucu üyeler SGLang geliştiricileriyle yılda iki kez yol haritası toplantısı yapacak. LMSYS’nin duyurusunda ortak çalışma başlıkları arasında yeni ve gelişmiş modelleri destekleme, akıl yürütme ve çok modlu iş yükleri, dağıtık çıkarım ve farklı donanımlarda optimizasyon yer alıyor. Şirketler mühendislik desteği, üretim sistemlerinden geri bildirim, test kaynakları veya ortak geliştirme katkısı sunabilecek.

Önemli yönetişim ayrıntısı şu: konsorsiyum üyeleri projeyi tek başına kontrol etmiyor. LMSYS’ye göre teknik kararlar ve kod kabulü SGLang’ın bakımcılarında kalacak; proje topluluğun tamamına açık olmaya devam edecek. Çalışma gruplarının toplantılar arasında birlikte çalışması ve yol haritasındaki ilerlemelerin kamuya açık paylaşılması planlanıyor.

Geliştiriciler ve işletmeler için olası etkisi

Çıkarım yazılımı birden fazla donanım platformunda çalışabildiğinde, geliştiriciler altyapı seçimini tek bir hızlandırıcıya bağlamak zorunda kalmayabilir. Konsorsiyumun açıkladığı amaç da farklı çip ve bulut altyapılarındaki kullanım deneyimini ortak geliştirme sürecine taşımak. Ancak duyuru, bugün yeni bir uyumluluk, fiyat veya performans garantisi vermiyor; bunlar ilerideki yazılım sürümleri ve testlerle netleşecek.

SGLang’ın rolü, yapay zekâ modellerini eğitmekten çok onları kullanıcılara yanıt üretirken verimli çalıştıran yazılım katmanında. Veri merkezi GPU’ları ile çıkarım yazılımının nasıl birbirini tamamladığına dair AMD Instinct MI400 serisi haberimizi de okuyabilirsiniz.

Kaynak

Kurucu üyeler, çalışma başlıkları ve yönetişim için LMSYS Org’un SGLang Consortium duyurusu.