Bant genişliği — Bellek ve bağlantıların aktarım hızı

Bant genişliği (bandwidth, veri aktarım hızı), bir belleğin, veri yolunun ya da ağ bağlantısının birim zamanda taşıyabildiği en yüksek veri miktarıdır ve bellekte saniyede gigabayt (GB/s) ya da terabayt (TB/s), ağda çoğunlukla saniyede gigabit (Gb/s) ile ölçülür. Terim işlemci ile DRAM arasındaki yolda, çipleri birbirine bağlayan hatlarda ve veri merkezi ağlarında kullanılır. Yapay zekâ çiplerinde başarımı çoğu zaman işlem gücü değil, verinin işlemciye yetişme hızı sınırladığı için önem taşır. Dragonomi rapor özetlerinde HBM sevkiyatları, Nvidia ve AMD hızlandırıcılarının karşılaştırması, Çin'e ihracat kuralları ve bellek fiyatları anlatılırken sık geçer.

Nasıl çalışır

Bir bellek arayüzünün bant genişliği iki sayının çarpımıdır. Birincisi arayüzün genişliği, yani aynı anda kaç bitin paralel hatlardan geçtiğidir. İkincisi her hattın, yani her pinin saniyede taşıdığı bit sayısıdır. Çarpım bit cinsinden çıkar ve bayta çevirmek için 8'e bölünür.

Bu hesap HBM4 üzerinde adım adım gösterilebilir. JEDEC'in Nisan 2025'te yayımladığı JESD270-4 standardında bir HBM4 yığınının arayüzü 2.048 bit genişliğindedir. Standardın tanımladığı pin hızı 8 Gb/s'dir. Standart bu değeri bir üst değer olarak verir, ama bellek üreticileri ürünlerinde onu aşar. 2.048 × 8 = 16.384 Gb/s eder. Bunu 8'e bölünce 2.048 GB/s, yani 2 TB/s civarı çıkar. Standardın yığın başına "en çok 2 TB/s civarı" ifadesi bu çarpımdan gelir. Aynı standart yığını 32 kanala, her kanalı da iki sözde kanala böler. Kanal sayısı aynı anda kaç bağımsız okuma yapılabileceğini belirler.

HBM'in yüksek bant genişliği bu çarpımın ilk teriminden gelir. Bir bilgisayardaki sıradan DDR5 bellek modülü 64 bitlik bir veri yoluna sahiptir. HBM ise yığını işlemcinin hemen yanına, aynı taşıyıcı üzerine koyduğu için binlerce kısa bağlantı çekebilir. Pin hızı DDR5'ten çok yüksek olmasa da genişlik onlarca kat fazladır.

Bir GPU'nun toplam bellek bant genişliği, yanına yerleştirilen yığın sayısıyla yığın başına bant genişliğinin çarpımıdır. Bu yüzden iki şirket aynı toplam rakama farklı yollardan ulaşabilir. Biri az sayıda ama hızlı yığın kullanır, diğeri çok sayıda ama yavaş yığın.

Bant genişliği gecikme (latency) ile karıştırılmamalıdır. Gecikme, bir veri isteğinin ilk baytının gelmesine kadar geçen süredir ve nanosaniyeyle ölçülür. Bant genişliği ise akış başladıktan sonra saniyede ne kadar veri geldiğini söyler. Bir otoyol benzetmesiyle gecikme yolun uzunluğu, bant genişliği şerit sayısıdır. Yapay zekâ iş yüklerinde büyük ve öngörülebilir veri blokları okunduğu için asıl kısıt çoğunlukla şerit sayısıdır.

Ölçü birimlerinde iki ayrıntı sık hata üretir. Gb/s (gigabit) ile GB/s (gigabayt) arasında 8 kat fark vardır, ağ ekipmanı bitle, bellek baytla anlatılır. Ayrıca çipler arası bağlantılarda üreticiler çoğu zaman iki yönün toplamını yazar. Bellek tarafındaki değere İngilizce metinlerde memory bandwidth, çipler ve sunucular arasındaki bağlantının değerine interconnect bandwidth denir.

Tek sayı değil, bir hiyerarşi

Bir yapay zekâ sunucusunda tek bir bant genişliği yoktur. Veri, hızı ve kapasitesi birbirinden çok farklı kademelerden geçer. En hızlı kademe işlemcinin içindeki SRAM (statik bellek) önbellekleridir. Çok hızlıdır ama çip alanını yer ve kapasitesi megabaytlarla sınırlıdır. Onun dışında GPU'nun hemen yanına istiflenen HBM (High Bandwidth Memory, yüksek bant genişlikli bellek) gelir. Sonra CPU'ya bağlı LPDDR (telefon ve dizüstü kökenli düşük güçlü DRAM) ya da DDR bellek gelir. Onu GPU'ları birbirine bağlayan ölçek içi ağ (scale-up, örneğin Nvidia'nın NVLink'i), çevre birimlerine giden PCIe ve son olarak rafları birbirine bağlayan ölçek dışı ağ (scale-out, Ethernet ya da InfiniBand) izler.

Nvidia'nın 5 Ocak 2026'da yayımladığı Vera Rubin platform tanıtımındaki rakamlarla bu kademeler tek bir raf üzerinden sayılabilir. Aşağıdaki tabloda GPU başına değerler Nvidia'nın açıkladığı rakamlardır, son sütundaki oranlar bu rakamlardan hesaplanmıştır.

Veri GPU'nun kendi belleğinden çıkıp başka bir GPU'ya gittiğinde tek yönlü hız on ikide birine, başka bir rafa gittiğinde yüz onda birine iner. Vera CPU ise 1,5 TB'a kadar LPDDR5X taşır ve GPU'ya 1,8 TB/s'lik NVLink-C2C hattıyla bağlanır. Yani CPU belleği kapasite, HBM hız kademesidir. Bir iş yükünün verimi çoğu zaman en yavaş kademede kaybedilir. Bu nedenle "bant genişliği" sözcüğü bir metinde geçtiğinde ilk soru hangi kademeden söz edildiğidir.

Bellek duvarı

Bellek duvarı (memory wall), işlemcilerin hesaplama hızı belleğin veri sağlama hızından çok daha hızlı büyüdüğü için başarımın giderek bellek tarafından sınırlanması durumudur. Terimi Virginia Üniversitesi'nden William Wulf ve Sally McKee, Mart 1995'te Computer Architecture News'ta yayımlanan "Hitting the Memory Wall" makalesiyle yerleştirdi. Argümanları basit bir üstel büyüme hesabına dayanıyordu. İşlemci ve DRAM hızları farklı oranlarda büyümeye devam ederse ortalama bellek erişim süresi bir noktada toplam çalışma süresine hükmedecekti.

Sık gözden kaçan nokta, 1995'teki orijinal argümanın bant genişliği değil gecikme üzerine kurulmuş olmasıdır. Wulf ve McKee, işlemcinin her bellek isteğinde ne kadar beklediğini soruyordu. Önbellekler ve çok kanallı bellekler gecikmeyi büyük ölçüde gizledi. 2026'da yapay zekâ bağlamında kullanılan bellek duvarı ise bant genişliği anlamındadır. Sorun tek bir isteğin ne kadar sürdüğü değil, saniyede ne kadar verinin taşınabildiğidir.

Bu yeni anlamı en net sayısallaştıran çalışma Amir Gholami ve arkadaşlarının Mart 2024'te arXiv'de yayımlanan, daha sonra IEEE Micro'da çıkan "AI and Memory Wall" makalesidir. Yazarlara göre son 20 yılda sunucu donanımının tepe işlem gücü her iki yılda 3,0 kat büyüdü. İşlem gücü FLOPS ile, yani saniyedeki kayan noktalı işlem sayısıyla ölçülür. Aynı dönemde DRAM bant genişliği iki yılda 1,6 kat, çipler arası bağlantı bant genişliği ise 1,4 kat büyüdü. Bu oranlar on dönem boyunca bileşik uygulanınca 3,0 üzeri 10 kabaca 59.000, 1,6 üzeri 10 kabaca 110, 1,4 üzeri 10 ise kabaca 29 eder (hesap). Yani yirmi yılda işlem gücü, onu besleyen bellekten kabaca beş yüz kat daha hızlı büyüdü.

Roofline modeli ve aritmetik yoğunluk

Roofline modeli (çatı çizgisi modeli), bir programın bir donanımda ulaşabileceği en yüksek başarımı iki tavanla sınırlayan basit bir çerçevedir. Samuel Williams, Andrew Waterman ve David Patterson modeli Nisan 2009'da Communications of the ACM'de yayımladı. Birinci tavan çipin tepe işlem gücüdür. İkinci tavan tepe bellek bant genişliğiyle programın aritmetik yoğunluğunun çarpımıdır. Ulaşılabilir başarım bu ikisinden küçük olanıdır.

Aritmetik yoğunluk (arithmetic intensity), bellekten okunan her bayt başına yapılan işlem sayısıdır ve FLOP/bayt ile ölçülür. Williams ve arkadaşları orijinal makalede "operational intensity" terimini kullandı ve bunu DRAM'den çekilen bayt başına FLOP olarak tanımladı. Yoğunluğu düşük bir program her baytla az iş yapar ve bant genişliği tavanına takılır. Basit bir örnek iki dizinin toplanmasıdır. 32 bitlik iki sayı okunur (8 bayt), toplanır (1 işlem) ve sonuç yazılır (4 bayt). Bayt başına 0,08 civarı işlem düşer, bu yüzden böyle bir program hangi çipte çalışırsa çalışsın belleği bekler. Yoğunluğu yüksek bir program aynı veriyi defalarca kullanır ve işlem tavanına ulaşır.

İki tavanın kesiştiği noktaya sırt noktası (ridge point) denir. Sırt noktası tepe işlem gücünün tepe bant genişliğine bölünmesiyle bulunur. Veri sayfalarında işlem gücü TFLOPS (saniyede trilyon işlem) ya da PFLOPS (saniyede katrilyon işlem) ile, sayı biçimine göre ayrı ayrı verilir. BF16, FP8 ve FP4, sayıların 16, 8 ve 4 bitle tutulduğu biçimlerdir. Bit sayısı azaldıkça çip saniyede daha çok işlem yapar. Nvidia H100 SXM'in veri sayfasında yoğun BF16 işlem gücü 989 TFLOPS, bellek bant genişliği 3,35 TB/s'dir. 989 / 3,35 kabaca 295 eder (hesap). Yani H100'ü tam kapasite çalıştırmak için bir programın bellekten okuduğu her bayt başına 295 civarı işlem yapması gerekir. Bunun altındaki her program, ne kadar işlem gücü satın alınmış olursa olsun, belleği bekler.

Çıkarımda token hızı tavanı

Büyük dil modelleri metni token denen kelime parçalarıyla işler. Metin üretiminin kod çözme (decode) aşaması, yani modelin cevabı token token yazdığı aşama, roofline üzerinde en kötü yerdedir. Tek bir kullanıcıya hizmet verirken model her yeni token için tüm ağırlıklarını bellekten bir kez okur. Her ağırlık için kabaca bir çarpma ve bir toplama yapılır. Ağırlık 8 bitlik (FP8) ise bir baytla iki işlem yapılır, yani aritmetik yoğunluk 2 FLOP/bayt civarındadır (hesap). Bu değer H100'ün sırt noktasının çok altındadır, çip bu aşamada işlem gücünün küçük bir kısmını kullanır.

Bu durum basit bir üst sınır hesabı verir. 70 milyar parametreli bir model FP8'de 70 GB civarı yer tutar. H100'ün 3.350 GB/s'si 70 GB'a bölününce saniyede 48 civarı tam okuma çıkar (hesap). Tek kullanıcı için tavan saniyede 48 token civarıdır. Gerçek değer bunun altında kalır. Databricks, 12 Ekim 2023'teki çıkarım yazısında bunu ölçmek için MBU (Model Bandwidth Utilization, model bant genişliği kullanımı) ölçüsünü tanımladı. MBU, fiilen ulaşılan bant genişliğinin tepe bant genişliğine oranıdır. Fiili değer, parametre boyutu ile KV cache boyutunun toplamının token başına süreye bölünmesiyle bulunur. Databricks'in H100 ölçümlerinde tek kullanıcıda (batch 1) MBU %55-60 çıktı. Buna göre 70 milyarlık modelde gerçekçi hız saniyede 26-29 token civarındadır (hesap).

Aynı anda çok kullanıcıya hizmet vermek, yani batch'i (aynı anda işlenen istek grubunu) büyütmek, ağırlıkları bir kez okuyup birçok isteğe kullanmayı sağlar ve aritmetik yoğunluğu yükseltir. Ancak her kullanıcının KV cache'i, yani modelin o konuşmanın önceki token'ları için sakladığı ara sonuçlar, ayrıca okunmak zorundadır. Databricks'in ölçümlerinde batch büyüdükçe MBU düştü. Bu yüzden çıkarımda bellek kapasitesi en az bant genişliği kadar belirleyicidir.

Kimler üretiyor ve pazar ne kadar

Yapay zekâ hızlandırıcılarındaki bant genişliğinin büyük kısmı HBM'den gelir ve HBM'i üç şirket üretir. Counterpoint Research'ün Aralık 2025'te yayımladığı verilere göre 2025'in üçüncü çeyreğinde HBM pazarında SK hynix'in payı %57, Samsung'unki %22, Micron'unki %21 civarındaydı. Samsung bu çeyrekte Micron'u geride bırakarak ikinci sıraya yükseldi.

HBM yığını, DRAM yongalarının üst üste dizilip silikon içinden geçen dikey bağlantılarla (TSV, through-silicon via) birbirine bağlanmasıyla yapılır. Yığın, gelişmiş paketleme ile GPU'nun yanına aynı taşıyıcı üzerine yerleştirilir. Zincirin ayrıntısı yarı iletken değer zinciri maddesindedir. Bant genişliğini kullanan taraf ise GPU üreticileri ve kendi çiplerini tasarlayan hiper ölçekleyiciler, yani Google ve Amazon gibi büyük bulut şirketleridir.

Pazarın büyüklüğü hızla yukarı revize ediliyor. Micron yönetimi Aralık 2025'te HBM'in toplam pazarının 2025'teki 35 milyar dolar civarından 2028'de 100 milyar dolar civarına çıkacağını öngördü. Şirketin Aralık 2024'teki önceki tahmininde 100 milyar dolar eşiğine 2030'da ulaşılıyordu. Talep tarafında yoğunlaşma yüksektir. Morgan Stanley, Dragonomi'nin 19 Kasım 2025'te aktardığı çalışmasında 2026 HBM talebinin %54'ünün Nvidia'dan, %22'sinin Google'dan, %8'inin AMD'den geleceğini tahmin ediyor. Tek bir müşteri arzın yarısından fazlasını çektiği için HBM üreticisinin kaderi büyük ölçüde Nvidia'nın ürün onayına bağlıdır.

Sırt noktası kuşaktan kuşağa neden yükseliyor

GPU tanıtımlarında manşet bant genişliğindeki artıştır. Daha az konuşulan ölçü sırt noktasıdır ve her kuşakta yükseliyor. H100'de yoğun FP8 işlem gücü 1.979 TFLOPS olduğundan sırt noktası 1.979 / 3,35 ile 590 civarına çıkar, yani BF16'daki değerin iki katına (hesap). Düşük hassasiyet işlem tarafını iki katına çıkarır, bant genişliğine dokunmaz.

Nvidia'nın 5 Ocak 2026 tarihli tanıtımına göre Rubin GPU'su 288 GB HBM4 ve 22 TB/s'ye kadar bant genişliği taşır. Nvidia bunu Blackwell'in "neredeyse üç katı" olarak tanımlar, B200'ün 8 TB/s civarındaki değerinden çıkış 2,75 kattır. Aynı tanıtımda NVFP4 (Nvidia'nın 4 bitlik sayı biçimi) çıkarım işlem gücü 50 PFLOPS, eğitim işlem gücü 35 PFLOPS olarak verilir. Çıkarım gücündeki artış Blackwell'e göre 5 kat olarak anlatılır. Aşağıdaki oranlar bu rakamlardan hesaplanmıştır. 50.000 TFLOPS / 22 TB/s kabaca 2.270, 35.000 / 22 kabaca 1.590 FLOP/bayt eder. İşlem gücü 5 kat, bant genişliği 2,75 kat büyüdüğü için bayt başına düşen işlem bir kuşakta 1,8 kat civarında daha artar.

Bu karşılaştırmada hassasiyet farkı akılda tutulmalıdır. H100'ün 295'i BF16, Rubin'in değerleri NVFP4 içindir. Rubin'de sırt noktası çıkarımda 2.000'in üzerine çıkar, eğitimde 1.600 civarında kalır. Kod çözmenin aritmetik yoğunluğu ise birkaç FLOP/bayt düzeyinde kaldı. Bant genişliği her kuşakta artsa da bellek duvarı, en çok FP8 ve FP4 gibi düşük hassasiyetli biçimler yüzünden derinleşir.

Çin'e özel tasarlanan Nvidia H20 bu eğilimin tersidir. 96 GB HBM3 ve 4,0 TB/s bant genişliği taşıyan çipin FP16 işlem gücü 148 TFLOPS civarındadır ve sırt noktası 37 FLOP/bayt civarıdır (hesap). H20'nin bant genişliği H100'ün %119'u, işlem gücü ise %15'i kadardır. İhracat kuralı işlem gücünü kısıtladığı için çip kod çözme ağırlıklı çıkarıma göre kurgulandı.

Hızlandırıcılar bant genişliğini nasıl topluyor

Aşağıdaki tablo başlıca yapay zekâ hızlandırıcılarının resmî bellek bant genişliğini gösterir. Yığın başına değerler toplamın yığın sayısına bölünmesiyle yapılmış hesaptır.

Tepe pin hızında çalışan çip az

HBM3E yığınının arayüzü 1.024 bittir ve tepe pin hızı 9,6 Gb/s civarındadır, bu da yığın başına 1,23 TB/s civarı eder (hesap). Google'ın Nisan 2025'te duyurduğu Ironwood TPU'su 8 adet 24 GB'lık HBM3E yığını taşır. Google'ın açıkladığı 7,37 TB/s sekize bölündüğünde yığın başına 0,92 TB/s, yani 7,2 Gb/s civarı pin hızı çıkar (hesap). B200 yığın başına 1 TB/s, H200 0,8 TB/s civarıyla çalışır. Çoğu hızlandırıcı HBM'in tepe hızının altında kalır.

AWS'nin Aralık 2025'te tanıttığı Trainium3 ters yönde bir örnektir. TrendForce'a göre çip 4 adet 36 GB'lık HBM3E yığınıyla 4,9 TB/s'ye ulaşır, yani HBM3E tavanında çalışır. Amazon yığın sayısını Nvidia'nın yarısına indirip bant genişliği başına maliyetle rekabet eder, ama en hızlı HBM3E'yi almak zorunda kalır.

Aynı rakam, iki farklı mühendislik

Rubin ve MI455X manşette birbirine yakın görünür, 22 ve 19,6 TB/s. Aşağıdaki pin hızları resmî toplamlardan hesaplanmıştır. Rubin'in yığın başına 2,75 TB/s'si 2.048 bitlik HBM4 arayüzünde 10,7 Gb/s civarı pin hızı demektir. AMD'nin CES 2026'da Helios rafıyla sergilediği MI455X ise 432 GB HBM4 taşır. Yığın başına 36 GB varsayımıyla 12 yığın eder ve pin başına 6,4 Gb/s civarı çıkar. AMD bant genişliğini yığın sayısı ve paketleme alanıyla, Nvidia ise tedarikçisini hız sınırına zorlayarak alır.

Haziran 2025'te tanıtılan MI355X ile B200'ün bant genişliği aynıydı, 8 TB/s civarı, fark kapasitedeydi (288 GB'a karşı 192 GB). AMD'nin Llama 3.1 405B ve DeepSeek R1'de iddia ettiği 1,3 kata kadar FP4 çıkarım avantajı (üretici iddiası) bant genişliğinden değil, tek GPU'ya sığan KV cache miktarından gelir.

HBM4 standardı ile müşteri talebi arasındaki açık

JEDEC'in 8 Gb/s'lik standart değeri bir başlangıçtır, bellek üreticileri için asıl eşik Nvidia'nın talep ettiği hızdır. PC Games Hardware'in 20 Ocak 2026 tarihli haberine göre Nvidia'nın GTC 2025'teki ilk Rubin hedefi 13 TB/s civarıydı. Bu, 8 yığında 6,4 Gb/s civarı pin hızına denk gelir (hesap). Hedef Ocak 2026'da 22 TB/s'ye çıkınca gereken pin hızı yukarıda hesaplanan 10,7 Gb/s'ye, yani standart değerin %34 civarı üzerine yükseldi. Üretim verimi ve tedarikçi seçimi bu sayıya bağlıdır.

SK hynix 12 Eylül 2025'te HBM4 seri üretim sistemini hazır ilan etti ve 10 Gb/s'nin üzerinde hız açıkladı. Micron 2025'te 11 Gb/s'nin üzerinde pin hızlı, yığın başına 2,8 TB/s'yi aşan HBM4 örnekleri duyurdu. Samsung 12 Şubat 2026'da HBM4 seri üretimine ve sevkiyatına başladı. Samsung'un HBM4'ü 11,7 Gb/s sabit hızda çalışır, 13 Gb/s'ye kadar çıkabilir ve yığın başına 3,3 TB/s'ye kadar bant genişliği sunar. Yani "HBM4" etiketi tek bir hız anlamına gelmez. JEDEC değeri yığın başına 2 TB/s civarıdır, ürünlerde ise yığın başına bant genişliği kabaca 1,6 TB/s (MI455X varsayımı) ile 3,3 TB/s arasında değişir.

HBM4'ün bir başka yeniliği yığının en altındaki taban kalıp (base die) ile ilgilidir. SK hynix bu kalıbı HBM3E'ye kadar kendisi yapıyordu. TrendForce'un 1 Aralık 2025 tarihli haberine göre HBM4'te taban kalıp TSMC'nin 12 nm sınıfı sürecine geçti, TSMC müşteriye özel C-HBM4E için N12FFC+, N5 ve N3P seçenekleri hazırlıyor. Samsung taban kalıbı kendi fabrikasında 4 nm'de üretiyor. Bellek denetleyicisi ve fiziksel arayüz (PHY) taban kalıba taşındıkça müşteriye özel hale gelecek. HBM, farklı proses düğümlerini birleştiren ve müşteriyi tedarikçiye bağlayan bir dökümhane ve bellek üreticisi ortak ürününe dönüşüyor.

SRAM yolu ve çıkarımın ayrışması

HBM tavanını aşmanın en radikal yolu veriyi çipin içindeki SRAM'de tutmaktır. Nvidia'nın baş bilimcisi Bill Dally, Dragonomi'nin 19 Mart 2026'da yayımladığı 18 Mart 2026 tarihli Nvidia telekonferans notlarına göre kod çözmenin bellek erişim hızına çok duyarlı olduğunu söyledi. Dally'ye göre transistörler bedava olsaydı bütün veri SRAM'de tutulurdu. Aynı konuşmada veri merkezlerindeki gücün %90'ının çıkarıma gittiğini belirtti. Bu çerçevede bant genişliği bir enerji sorunudur, çünkü veriyi taşımak onu işlemekten pahalıdır.

Cerebras bu yolu uç noktaya taşıdı. Mart 2024'te tanıtılan WSE-3, tüm bir silikon plaka (wafer) büyüklüğündeki çipinde 44 GB SRAM, 21 PB/s bellek bant genişliği ve 125 PFLOPS işlem gücü taşır ve HBM kullanmaz.

Nvidia 24 Aralık 2025'te Groq'un LPU teknolojisi için münhasır olmayan bir lisans ve ekip transferi anlaşmasıyla bu yola girdi. The Register ve TrendForce'un aktardığına göre anlaşmanın tutarı 20 milyar dolar civarındadır. The Register'ın 19 Mart 2026 tarihli incelemesine göre 16 Mart 2026'daki GTC'de tanıtılan Groq 3 LPX rafında her LP30 çipi 500 MB civarı SRAM ve 150 TB/s bant genişliği taşır. Bir raf 256 LPU, toplam 128 GB SRAM ve 40 PB/s civarı içerir. LP30'un FP8 işlem gücü 1,2 PFLOPS'tur ve çip Samsung'un fabrikasında üretilir.

Bant genişliğini kapasiteye bölmek ödünleşimi gösterir. Bir çipin kendi belleğini saniyede kaç kez baştan sona okuyabildiği bu bölmeyle bulunur (hesap). LP30 için bu sayı 300.000 civarıdır (150 TB/s / 0,5 GB). WSE-3 için 480.000 civarı (21 PB/s / 44 GB), Rubin için 76 civarıdır (22 TB/s / 288 GB). LP30 ile Rubin arasındaki 4.000 katlık fark, SRAM'in bant genişliğinde kazandığını ama kapasitede kaybettiğini gösterir. The Register'a göre trilyon parametreli bir model için 4-8 LPX rafı, yani 1.024-2.048 LPU gerekir.

Bu ödünleşim çıkarımı parçalara böldü. LPX tasarımında kapasite isteyen dikkat (attention) hesabı Rubin GPU'larında kalır. İleri beslemeli ağ (FFN) katmanları Ethernet üzerinden LPU'lara gider ve işi Nvidia'nın Dynamo yazılımı dağıtır. Hedef saniyede 500 ile 1.000'in üzerinde token ve milyon token başına 150 dolara kadar çıkabilen premium fiyattır.

Ayrışmanın öbür ucunda Eylül 2025'te tanıtılan Rubin CPX vardır. Çip, bağlamın işlendiği ön doldurma (prefill) aşaması için tasarlandı. Ön doldurma tüm girdi token'larını aynı anda işlediği için aritmetik yoğunluğu yüksektir. Rubin CPX bu yüzden HBM yerine 128 GB GDDR7 (grafik kartlarında kullanılan bellek türü) taşır. Çip 1,8-2,0 TB/s ile Rubin'in onda biri kadar bant genişliği sunar ve NVLink yerine PCIe Gen6 ile bağlanır. The Next Platform'un 11 Eylül 2025 tarihli tahminine göre üretim maliyeti R200'ün dörtte biri civarındadır. Yatırımcı açısından anlamı, HBM talebinin tüm hızlandırıcılara eşit yayılmayacağıdır.

Ağ tarafı, NVLink, PCIe ve optik

Bir model birden fazla çipe bölündüğünde çipler arası bant genişliği devreye girer. Nvidia'nın NVLink 6'sı Rubin'de GPU başına 3,6 TB/s sunar ve Nvidia bu rakamı çift yönlü toplam olarak verir. PCIe 6.0'ın 16 hatlı bağlantısı çift yönde 256 GB/s'dir, NVLink 6 bunun 14 katı civarındadır (hesap). PCI-SIG, PCIe 7.0 şartnamesini 11 Haziran 2025'te yayımladı. PCIe'nin rolü ölçek içi ağ değil, CPU, ağ kartı ve SSD erişimidir.

Ölçek içi ağda tek standart yoktur. UALink Konsorsiyumu 8 Nisan 2025'te hat başına 200G hız ve 1.024 hızlandırıcıya kadar bağlantı tanımlayan UALink 200G 1.0 şartnamesini yayımladı. Ekim 2025'te Open Compute Project (OCP) içinde ESUN (Ethernet for Scale-Up Networking) çalışma grubu kuruldu. Grupta AMD, Arista, Arm, Broadcom, Cisco, HPE-Juniper, Marvell, Meta ve Microsoft yer alıyor. Nvidia'nın da gruba katılması, kapalı NVLink'in yanında Ethernet tabanlı ölçek içi ağ ihtimalini kabul ettiğini gösteriyor.

Bakırın mesafe ve yoğunluk sınırı ağı optiğe itiyor. Broadcom, optik bileşenleri çip paketine taşıyan (CPO, co-packaged optics) 102,4 Tb/s'lik Tomahawk 6-Davisson Ethernet anahtarının sevkiyatına 8 Ekim 2025'te başladı. Nvidia, GTC 2025'te 102,4 Tb/s'lik Spectrum-6 tabanlı Spectrum-X Photonics CPO anahtarlarını 2026 için açıkladı. Marvell ise Aralık 2025'te Celestial AI'ı satın alacağını duyurdu. Marvell'in iddiasına göre Celestial'ın fotonik çipleti 16 Tb/s taşır, bu 1,6T portların 10 katı civarıdır ve bakıra göre güç verimliliği 2 kattır. Teknolojik arka plan silikon fotonik maddesindedir.

Mühendislik makaleleri dışında pek konuşulmayan bir nokta, ağın kendisinin bellek bant genişliği tüketmesidir. DeepSeek'in Mayıs 2025'te arXiv'de yayımlanan donanım makalesine göre bir sunucuda PCIe 5.0'ın 160 hattını doyurmak düğüm başına 1 TB/s civarı bellek bant genişliği gerektirir. Bellek ve ağ bant genişliği ayrı kalemler değil, birbirinin rakibidir.

Çin, ihracat kontrolleri ve yerli HBM

ABD Ticaret Bakanlığı'na bağlı Sanayi ve Güvenlik Bürosu'nun (BIS) 2 Aralık 2024 tarihli kuralı bant genişliğini hukuki bir eşiğe dönüştürdü. Kural, bellek bant genişliği yoğunluğu, yani yığının birim alanına düşen bant genişliği 2 GB/s/mm² üzerinde olan HBM'i ECCN 3A090.c kapsamına aldı. ECCN, ABD ihracat kontrol listesindeki sınıflandırma numarasıdır. Covington'ın Aralık 2024 tarihli özetine göre lisans istisnası yalnızca 3,3 GB/s/mm²'nin altındaki HBM'e tanındı. Piyasadaki tüm HBM yığınları 2 eşiğinin üzerinde olduğundan Çin'e GPU'nun yanında HBM yığınının kendisi de lisansa bağlandı. Çin'deki yerli HBM mecburiyetinin, yani yerli ikame çabasının hukuki kaynağı bu kuraldır.

BIS'in 15 Ocak 2026 tarihli kuralı bant genişliğini açık bir satış sınırına çevirdi. Baker McKenzie ve CNAS'ın özetlerine göre Nvidia H200 ve AMD MI325X, Çin'e satış için vaka bazlı incelemeye alındı. İlk koşul, toplam işlem performansının (TPP, BIS'in işlem gücünü tek sayıyla ifade eden ölçüsü) 21.000'in altında olmasıdır. İkinci koşul toplam DRAM bant genişliğinin 6.500 GB/s'nin altında kalmasıdır. Bunlara ABD'de satılan miktarın %50'si ile sınırlı bir hacim tavanı ve üçüncü taraf testi eklenir. Pakete ayrıca bu çiplere uygulanan %25'lik bir vergi eşlik eder. H200'ün 4,8 TB/s'si eşiğin altında, B200'ün 8 TB/s'si üstündedir.

DeepSeek'in Mayıs 2025 tarihli makalesine göre ihracat uyumu için H800'de NVLink 900 GB/s'den 400 GB/s'ye indirilmişti. Şirket fiilen 160 GB/s civarı NVLink ve 40 GB/s civarı InfiniBand kullandı. İletişimi uzman paralelliği ve DualPipe zamanlamasıyla hesaplamanın arkasına gizledi. Aynı makale, DeepSeek-V3'ün çok başlı gizli dikkat (MLA, multi-head latent attention) yöntemiyle KV cache'i token başına 70,3 KB'a indirdiğini gösterir. Bu değer Qwen-2.5 72B'de 327,7 KB (4,66 kat), LLaMA-3.1 405B'de 516,1 KB'tır (7,3 kat civarı). 100.000 token'lık bir bağlamda bu, DeepSeek-V3 için 7 GB, LLaMA-3.1 405B için 52 GB civarı okuma demektir (hesap). Mimari ayrıştırılmadan yapılan çip karşılaştırması eksik kalır.

Huawei, Eylül 2025'teki Huawei Connect etkinliğinde Ascend 950'nin aynı kalıbını iki farklı özel HBM ile paketleyeceğini açıkladı. 950PR, HiBL 1.0 bellekle 128 GB ve 1,6 TB/s sunar, 2026'nın ilk çeyreğinde ön doldurma ve öneri sistemleri için çıkar. 950DT, HiZQ 2.0 bellekle 144 GB, 4 TB/s ve 2 TB/s çipler arası bağlantı sunar, 2026'nın son çeyreğinde kod çözme ve eğitim için planlanır. 950DT'nin bant genişliği Rubin'in beşte birinin biraz altındadır (hesap).

Çin açığı çip başına değil sistem başına kapatıyor. CloudMatrix 384, 384 Ascend 910C çipini tamamen optik bağlantıyla birleştiren bir sistemdir. Dragonomi'nin 6 Kasım 2025 tarihli yazısında aktarılan SemiAnalysis verilerine göre sistem, Nvidia GB200 NVL72'ye göre BF16'da kabaca 2 kat işlem gücü, 3,6 kat bellek kapasitesi ve 2,1 kat bellek bant genişliği sunar. Son oran basit bir çarpımla doğrulanır. 384 × 3,2 TB/s 1,23 PB/s civarı eder, bu da NVL72'nin 576 TB/s'sinin 2,1 katıdır (hesap). Bedeli güçtür. Aynı yazıya göre sistem Nvidia'nın kabaca dört katı, 600 kilovat civarı güç çeker. Güç oranı işlem gücü oranına bölünce FLOP başına enerji verimi kabaca 2 kat, bant genişliği oranına bölünce bant genişliği başına enerji verimi 1,9 kat civarı daha düşük çıkar (hesap). Verim oranları aktarımlarda biraz farklı geçer, Dragonomi yazısı FLOP başına verim için hem 2,5 hem 2,6 kat değerini anar.

Yerli HBM'in kendisi geridedir. Digitimes'ın 23 Ekim 2025 tarihli haberine göre CXMT, HBM3 numunelerini 2025'in ikinci yarısında Huawei dahil müşterilerine gönderdi. Şirket seri üretimi 2026 sonu, HBM3E'yi 2027 için hedefliyor. İkincil kaynaklardaki %25 civarı verim rakamı doğrulanmış değildir. 5 Nisan 2026 itibarıyla Çin'in yerli HBM'i bir ila iki kuşak geridedir ve verimi, Çin hızlandırıcı arzının fiili bant genişliği tavanıdır.