Microsoft, dün HOT CHIPS Sempozyumunda Project Brainwave adlı yeni öğrenme hızlandırma platformunu duyurdu. Proje, gerçek zamanlı AI için, istekleri aldığı kadar hızlı bir şekilde işleyebilmek için ultra düşük gecikme süresi gerektiren bir sistem tasarlamak üzere oluşturuldu. Microsoft’tan bir mühendis olan Doug Burger‘e göre “Project Brainwave, bulut tabanlı derin öğrenme modelleri sunmak için performans ve esneklikte önemli bir sıçrama gerçekleştiriyor”.
Project Brainwave sistemi üç ana katmandan oluşuyor. İlk olarak, Microsoft, geçtiğimiz birkaç yılda Project Catapult‘u kullanarak uyguladığı devasa Field-Programmable Gate Array (FPGA) altyapısını kullandı. Yüksek Performanslı FPGA’leri kullanarak Project Brainwave ekibi, donanım mikro servisleri olarak Deep Neural Networks‘e (Derin Sinir Ağı, DNN) hizmet ederek, gelen isteklerin CPU tarafından işlenmesi ihtiyacını ortadan kaldırdı ve gecikme süresini azalttı, çünkü FPGA bunları ağın izin verdiği hızda istekleri karşılayabildi.
İkincisi, ekip, piyasada bulunan FPGA’lara sentezlenen güçlü bir DNN Processing Unit (DNN İşleme Birimi, DPU) kullanıyor ancak diğer şirketlerin zaten yaptığı şeylerden farklı bir şekilde inşa ediyor. Microsoft, tasarım zamanında çipin operatörlerini ve veri türlerini tanımlamak yerine, esnekliklerini sınırlarken, çeşitli veri türlerinde ölçeklenen bir yonga tasarladı.
Üçüncüsü, Project Brainwave, Microsoft Bilişsel Araç Seti ve Google’ın Tensorflow’u da dahil olmak üzere geniş kapsamlı popüler öğrenme çerçevelerini destekliyor. Bunu yapmak için ekip, şirketin yüksek performanslı altyapısıyla popüler çerçevelerde eğitilmiş modelleri köprüleyen grafik tabanlı bir ara temsilci tanımladı.
Microsoft, “gerçek zamanlı AI için tasarlanmış olan sistemin uzun kısa vadeli anılar (LSTM) gibi karmaşık, yoğun bellek modelleri kullanabileceğini” iddia ediyor. Bir gösteri olarak şirket, dün HOT CHIPS Sempozyumunda büyük bir Gated Recurrent Unit (GRU) modeli çalıştırmak için Intel’in yeni 14 nm Stratix 10 FPGA’sini ve Microsoft’un özel 8 bit kayan nokta biçimini (“ms-fp8”) kullandı. Sonuç, büyük GRU modelini çalıştırırken Stratix 10 tarafından sağlanan etkileyici 39.5 Teraflop oldu; her istek milisaniyenin altında bir sürede gerçekleştirildi.
Sonuç olarak Microsoft, Project Brainwave’i Azure müşterilerine sunmayı ve gelecekte Bing gibi diğer ürünlere güç sağlamak için kulla
