Otomotiv — Elektrikli araç siparişlerinde haftalık toparlanma
Ekim ayının ilk haftasında elektrikli araç siparişleri haftalık bazda toparlanırken yıllık karşılaştırmada belirgin baskı altında kaldı.
Micron — TurboQuant ile bellek azalması
Google'ın TurboQuant sıkıştırması KV cache belleğini 6 kata kadar küçültebiliyor. Önemli bir teknolojik adım oldu, bellek hisselerini de düşürüyor.
1 dk okuma
Google malum TurboQuant adını verdiği bir sıkıştırma teknolojisi tanıttı. Büyük dil modellerinin KV cache belleğini bazı senaryolarda 6 kata kadar sıkıştırabiliyor.
KV cache denen şey, dil modellerinin uzun bağlam pencerelerinde konuşma geçmişini tuttuğu bellek alanı. Bağlam penceresi büyüdükçe alan da büyüyor, ciddi bellek tüketiyor.
İlk bakışta Micron için kötü haber gibi duyor. Nitekim hisselere negatif tesir etti.
Fakat Bloomberg Intelligence analistleri diyor ki model ağırlıkları hala GPU belleğinde durmak zorunda, sıkıştırma onlara dokunmuyor. Dolayısıyla yüksek bant genişlikli bellek, yani HBM talebi devam.