Yapay Zeka - LPU'lar ve Groq

Piyasada yapay zeka denince herkesin aklına Nvidia geliyor.

Ancak Groq isminde bir şirket, oyunun kurallarını derinden değiştirmeye hazırlanıyor.

Groq’un kurucusu Jonathan Ross, Nvidia ile rekabet etmediklerini, bambaşka bir kulvarda koştuklarını anlatıyor.

Aslında Nvidia’ya yapılmış en büyük iyiliklerden biri olduklarını bile söylüyor.

Öncelikle yapay zeka pazarını ikiye ayırmak gerekiyor.

Birincisi "eğitim" (training), yani modelin veriyle akıllı hale getirilmesi.

İkincisi ise "çıkarım" (inference), yani eğitilmiş modelin günlük hayatta kullanılması.

Nvidia, yüksek kar marjlı eğitim pazarının mutlak hakimi.

Groq ise çıkarım pazarına odaklanmış durumda.

Ross’a göre bir modelin eğitimi için harcanan işlem gücünün 10 ila 20 katı, o modelin kullanımı yani çıkarım için gerekiyor.

Yani asıl büyük ve hacimli pazar çıkarım tarafında.

Groq diyor ki, "Nvidia tüm çiplerini yüksek karla eğitim için satsın".

"Biz de düşük kar marjlı ama devasa hacimli çıkarım işini onların elinden alalım".

Böylece kimse kar marjını düşürmek zorunda kalmaz.

LPU

Groq'un LPU adını verdiği çipleri, Nvidia'nın GPU'larından mimari olarak çok farklı.

Nvidia’nın en büyük bağımlılığı ve darboğazı HBM denilen özel bellekler.

Nvidia, bu bellekler için dünyadaki üç büyük üreticiye (SK Hynix, Samsung, Micron) bağımlı.

Groq ise LPU mimarisinde bu harici belleklere ihtiyaç duymuyor.

Bunu bir fabrika montaj hattı gibi düşünebilirsiniz.

GPU, hattın küçük bir kısmını kurup işini yapar, sonra o hattı söküp yeni bir kısım kurar.

LPU ise tüm montaj hattını tek seferde kurup işi kesintisiz akıtır.

Bu mimari sayesinde Groq’un LPU’ları rakipsiz avantajlar sunuyor.

Maliyetleri 5 kattan daha düşük.

Enerji verimlilikleri ise yaklaşık 3 kat daha iyi.

Çünkü veriler harici belleklere gidip gelmek yerine çip içinde çok kısa mesafeler kat ediyor.

Bu da daha az enerji harcanması demek.

En önemlisi, HBM bağımlılığı olmadığı için üretim kapasitelerinin neredeyse bir sınırı yok.

FARKLI BİR BÜYÜME MODELİ

Groq, sadece teknolojide değil iş modelinde de yenilikçi.

Şirket, sermaye ihtiyacı olmadan ölçekleniyor.

Suudi Arabistan'daki gibi büyük anlaşmalarda, yatırım maliyetini (capex) iş ortakları karşılıyor.

Groq çipleri kuruyor ve elde edilen gelirden ortağının yatırımını belli bir getiriyle geri ödüyor.

Geri ödeme tamamlandıktan sonra ise gelirin büyük kısmı Groq’a kalıyor.

Yani herkesin yatırım sandığı 1.5 milyar dolarlık anlaşma aslında bir gelir kalemi.

Şirket bu sayede sermayeye takılmadan inanılmaz bir hızla büyüyor.

2024 başında 640 çipleri varken, yıl sonunda 40.000 çipe ulaştılar.

Hedefleri önce 2 milyon, sonra çok daha fazlası.

2027 sonuna kadar dünyadaki yapay zeka çıkarım işlem gücünün en az yarısını sağlamayı hedefliyorlar.

PİYASAYA DAİR DİĞER NOTLAR

Yapay zekanın gelişimini sınırlayan ölçeklendirme yasaları (scaling laws) bir duvara toslamış değil.

Sentetik veri, yani yapay zekanın kendini eğitmek için daha kaliteli veri üretmesi, bu sınırları sürekli aşıyor.

Groq, tam yedi yıl boyunca ürün-pazar uyumunu bulmak için beklemiş.

Hatta bir noktada paraları o kadar azalmış ki "Grock Bonds" adıyla çalışanlarından maaşları yerine şirket hissesi almalarını istemişler.

Çalışanların %80’i katılmış ve şirket batmaktan bu sayede kurtulmuş.

Çin, DeepSeek gibi modellerle yarışta olduğunu gösterdi.

Ancak sansür ve ifade özgürlüğü konusundaki kısıtlamalar, modellerin potansiyelini sınırlayabilir.

Avrupa ise yeteneğe sahip ama risk almaktan çekinen bir kültüre sahip.

Girişimciliği teşvik eden, Silikon Vadisi gibi özel bir "şehir" veya bölge kurulmadıkça geride kalmaya devam edebilir.