Çıkarım (inference) — Yapay zekâ modellerinin kullanım aşaması

Çıkarım (inference, yapay zekâ çıkarımı), eğitimi tamamlanmış bir yapay zekâ modelinin yeni bir girdiye yanıt üretmek için çalıştırılmasıdır. Bir sohbet botuna soru sorulduğunda, bir kodlama ajanı dosya düzenlediğinde ya da bir öneri sistemi ürün seçtiğinde arka planda yürüyen işlem çıkarımdır. Bir model sürümü bir kez eğitilir, çıkarım ise her kullanımda tekrarlanır. Bu yüzden yapay zekâ gelirlerinin ve donanım talebinin süreklilik taşıyan kısmını oluşturur. Dragonomi rapor özetlerinde Nvidia, Broadcom, bellek üreticileri ve veri merkezi şirketleri anlatılırken, talebin eğitimden çıkarıma kaydığı tezi üzerinden sık geçer.

Nasıl çalışır

Bir yapay zekâ modeli, eğitim sırasında ayarlanan milyarlarca sayıdan, yani ağırlıklardan (parametrelerden) oluşur. Eğitimde model örneklerden hata payını ölçer ve ağırlıklarını geriye yayılım (backpropagation) denen yöntemle düzeltir. Çıkarımda ağırlıklar donmuştur. Girdi modelin katmanlarından yalnızca ileri yönde bir kez geçer ve bir çıktı üretilir. Geriye dönüş, gradyan hesabı ve ağırlık güncellemesi yoktur.

Büyük dil modellerinde (LLM) bu ileri geçiş metin üzerinde işler. Metin önce token denen parçalara bölünür. Bir token kabaca bir kelime ya da kelime parçasıdır. Model, elindeki token dizisine bakarak bir sonraki tokenın olasılık dağılımını hesaplar. Bu dağılımdan bir token seçilir, diziye eklenir ve işlem baştan tekrarlanır. Yanıt bu yüzden tek hamlede değil, token token üretilir. Bu yapıya özbağlanımlı (autoregressive) üretim denir.

Döngünün maliyeti, her yeni token için modelin bütün katmanlarından yeniden geçilmesinden gelir. Yüz tokenlık bir yanıt, yüz ayrı ileri geçiş demektir. Her geçişte modelin etkin ağırlıklarının tamamı bellekten okunur. Sağlayıcılar bu yüzden aynı anda gelen çok sayıda isteği bir batch (toplu iş) içinde birleştirir. Ağırlıklar bir kez okunur ve batch’teki bütün kullanıcılar için kullanılır.

Çıkarım performansı üç ölçüyle izlenir. İlk tokene kadar geçen süre (time to first token, TTFT) kullanıcının yanıtın başlamasını ne kadar beklediğini gösterir. Kullanıcı başına saniyedeki token sayısı, yanıtın ekrana akış hızıdır. GPU başına toplam token verimi ise sağlayıcının maliyetini belirler. Son iki ölçü ters yönde hareket eder. Batch büyüdükçe toplam verim artar, ama her kullanıcıya düşen hız azalır. Token başına maliyet bu iki ucun arasında seçilen noktaya göre değişir.

Ağırlıkların sayısal hassasiyeti de maliyeti belirler. Eğitim çoğunlukla 16 bitlik biçimlerle yapılır. Çıkarımda ağırlıklar 8 bitlik (FP8) ya da 4 bitlik (FP4) biçimlere indirgenebilir. Bu işleme nicemleme (quantization) denir. Daha az bit, daha az bellek ve daha hızlı hesap demektir. Çıkarım çiplerinin veri sayfalarında FP8 ve FP4 hızlarının öne çıkarılmasının nedeni budur. Tablolarda geçen NVFP4 ve MXFP4 de 4 bitlik biçimlerin türevleridir.

Çıkarım iki yerde çalışır. Büyük modeller veri merkezlerindeki GPU ve özel hızlandırıcılarda çalışır, kullanıcıya bir API ya da uygulama üzerinden sunulur. Bu işe model sunumu (model serving) da denir. Küçük modeller ise telefon, bilgisayar ya da araç içinde, yani kenar yapay zekâ donanımında çalışabilir. Bu maddenin konusu ağırlıklı olarak veri merkezi çıkarımıdır.

Son yıllarda iki gelişme sorgu başına çıkarım işini katladı. Akıl yürüten (reasoning) modeller, yanıtı vermeden önce kullanıcıya gösterilmeyen uzun bir düşünme metni üretir. Bu düşünme metni de token token üretilir ve ücretlendirilir. Ajanlar (agents) ise tek bir soruyu yanıtlamak yerine araç çağırır, sonucu okur ve döngüyü tekrarlar. Her turda bağlam büyür ve model aynı uzun metni yeniden işler.

Prefill ve decode aşamaları

Bir dil modeline gelen istek iki aşamada işlenir. Bu iki aşamanın donanımdan beklediği şey birbirinin neredeyse tersidir. Çıkarım ekonomisinin büyük kısmı bu farktan doğar.

Prefill (ön doldurma), kullanıcının gönderdiği istemin, yani sistem talimatı, sohbet geçmişi, eklenen belgeler ve sorunun tamamının işlendiği aşamadır. İstemin bütün tokenları önceden bilindiği için aynı anda, paralel olarak işlenebilir. Matematiksel olarak büyük matrislerin büyük matrislerle çarpımıdır. Bellekten okunan her bayt çok sayıda işlemde kullanılır. Bu yüzden prefill hesaplama sınırlıdır, yani hızını çipin işlem gücü belirler. İşlem gücü FLOPS (saniyedeki kayan nokta işlemi) ile ölçülür, PFLOPS saniyede katrilyon, TFLOPS saniyede trilyon işlem demektir. Prefill’in süresi ilk tokene kadar geçen süreyi belirler. Aşamanın sonunda ilk çıktı tokenı ve bir sonraki bölümde anlatılan KV önbelleği oluşur.

Decode (kod çözme), yanıtın üretildiği aşamadır. Her adımda yalnızca bir yeni token üretilir ve bir sonraki adım ona bağlıdır. Bu yüzden paralelleştirilemez. Her adımda modelin etkin ağırlıklarının tamamı ve o ana kadar biriken KV önbelleği yüksek bant genişlikli bellekten (HBM) okunur. Okunan her bayt yalnızca birkaç işlemde kullanılır. Decode bu yüzden bellek bant genişliği sınırlıdır. Çipin hesap birimleri verinin gelmesini beklerken boşta kalır. Kullanıcının gördüğü akış hızını decode belirler.

Bu ayrım üç pratik sonuç doğurur. Birincisi, aynı çip iki aşamada farklı verimle çalışır. Prefill’de hesap birimleri dolu, bellek yolu rahattır. Decode’da durum tersine döner. İkincisi, decode’da verimi artırmanın ana yolu batch’i büyütmektir, çünkü okunan ağırlık birden çok kullanıcıya hizmet eder. Ama her kullanıcının KV önbelleği bellekte ayrı yer kaplar. Batch büyüklüğünü çoğu zaman hesap gücü değil bellek kapasitesi sınırlar. Üçüncüsü, uzun istemler prefill’i ağırlaştırır, uzun yanıtlar ve akıl yürütme metinleri decode’u uzatır. İş yükünün karışımı hangi donanımın daha ucuza çalışacağını belirler.

Sektör bu farka 2024’ten itibaren yazılımla yanıt verdi. Ayrıştırılmış sunum (disaggregated serving), prefill ile decode’u farklı GPU havuzlarında çalıştırır. Prefill havuzu istemi işler, oluşan KV önbelleğini ağ üzerinden decode havuzuna aktarır. Böylece her havuz kendi darboğazına göre boyutlandırılır. Bunun bedeli, KV önbelleğinin makineler arasında taşınmasıdır. Bu da ağ bant genişliği ve gecikme ister.

Spekülatif kod çözme (speculative decoding), decode’un yavaşlığını aşmak için kullanılan bir başka yöntemdir. Küçük ve hızlı bir taslak model birkaç token önerir. Büyük model bu önerileri tek bir ileri geçişte topluca doğrular. Doğru tahmin edilen tokenlar decode adımı harcanmadan kabul edilir. Yöntem, decode’un boşta kalan hesap kapasitesini kullanılır hale getirir.

KV önbelleği (KV cache)

Dil modellerinin çekirdeğindeki dikkat (attention) mekanizması, her token için sorgu (query), anahtar (key) ve değer (value) adlı üç vektör üretir. Yeni bir token üretilirken onun sorgu vektörü önceki bütün tokenların anahtar vektörleriyle karşılaştırılır. Benzerliğe göre değer vektörleri ağırlıklandırılıp toplanır. Önceki tokenların anahtar ve değerleri her adımda yeniden hesaplansaydı, yanıt uzadıkça iş katlanarak büyürdü.

KV önbelleği (key-value cache), önceki tokenların anahtar ve değer vektörlerini bellekte saklayan yapıdır. Prefill aşamasında istemin bütün tokenları için oluşturulur. Decode’un her adımında yeni tokenın anahtar ve değeri eklenir. Böylece her adımda yalnızca yeni token hesaplanır. Bedeli bellektir. KV önbelleği bağlam uzunluğuyla doğru orantılı büyür ve her eşzamanlı istek için ayrı tutulur.

Token başına KV önbelleği büyüklüğü basit bir çarpımla bulunur. Çarpım katman sayısı × 2 (anahtar ve değer) × KV başlık sayısı × başlık boyutu × sayı başına bayttır. Model tasarımcıları bu çarpımı küçültmek için iki yol kullanır. Gruplanmış sorgu dikkati (grouped-query attention, GQA) birden çok sorgu başlığına aynı anahtar ve değer başlığını paylaştırır. Çok başlıklı gizli dikkat (multi-head latent attention, MLA) ise anahtar ve değerleri daha küçük bir gizli vektöre sıkıştırır.

DeepSeek’in 2025 tarihli makalesi (arXiv 2505.09343) bu hesabı DeepSeek-V3 için verir. Model 61 katmanlıdır. MLA ile her katmanda token başına 512 boyutlu gizli vektör ve 64 boyutlu konum (RoPE) vektörü saklanır, toplam 576 boyut eder. 16 bitlik biçimde her boyut 2 bayttır. 61 × 576 × 2 = 70.272 bayt, yani token başına yaklaşık 70 KB çıkar. Aynı makale GQA kullanan Qwen-2.5 72B için yaklaşık 327 KB, LLaMA-3.1 405B için yaklaşık 516 KB verir. Karşılaştırma farklı modeller arasındadır, aynı modelin iki sürümü değildir. Yine de fark yaklaşık 4,7 ile 7,3 kat arasındadır.

Tablonun son sütunu, token başına değerin 131.072 token ile çarpılmasıyla bulunmuştur. 128 bin tokenlık tek bir LLaMA-3.1 405B isteğinin KV önbelleği yaklaşık 63 GiB yer kaplar. Nvidia’nın Mart 2026’daki GTC konferansında ayrıntılarını verdiği Vera Rubin GPU’su 288 GB HBM4 taşır. Bu belleğin yaklaşık dörtte biri tek bir uzun bağlam isteğine gider, model ağırlıkları için de ayrıca yer gerekir. Uzun bağlamlı ve ajan iş yüklerinde bellek kapasitesinin neden işlem gücü kadar önemli olduğu buradan anlaşılır.

KV önbelleğinin yönetimi de bir verim sorunudur. Kwon ve arkadaşlarının SOSP 2023 konferansında sunduğu PagedAttention makalesi, o dönemki sunum sistemlerinde KV önbelleğine ayrılan belleğin yalnızca %20,4 ile %38,2’sinin işe yarar token durumu tuttuğunu gösterdi. Gerisi parçalanma ve paylaşım eksikliği yüzünden boşa gidiyordu. Sistemler her istek için olası en uzun yanıta göre bitişik bir alan ayırıyordu. PagedAttention, işletim sistemlerinin sanal bellek mantığını kullanarak önbelleği küçük sabit bloklara böldü. Bu yöntemi kullanan açık kaynaklı vLLM, aynı gecikmede FasterTransformer ve Orca sistemlerine göre 2 ile 4 kat verim sağladı.

Blok yapısı bir başka imkân da açtı. Aynı önekle başlayan istekler, yani aynı sistem talimatını, aynı belgeyi ya da aynı kod deposunu paylaşan istekler, o önekin KV önbelleğini ortak kullanabilir. Buna önek önbellekleme (prefix caching) denir. Önek bir kez prefill’den geçer, sonraki istekler onu yeniden hesaplamaz. API sağlayıcılarının sattığı istem önbellekleme (prompt caching) hizmeti bu mekanizmanın fiyatlanmış biçimidir.

Neden bu kadar önem kazandı

Çıkarım yeni bir kavram değildir. Görüntü tanıma, arama sıralaması ve öneri sistemleri 2010’larda da eğitilmiş modelleri çalıştırıyordu. Bu iş yükleri çoğunlukla CPU’larda ya da küçük hızlandırıcılarda yürüyordu. Kırılma, 2017’de tanıtılan transformer mimarisinin büyük dil modellerine dönüşmesiyle geldi. Kasım 2022’de ChatGPT’nin yayına girmesi, dil modeli çıkarımını yüz milyonlarca kullanıcıya açık bir hizmete çevirdi. 2024’te akıl yürüten modeller, 2025 ve 2026’da ajanlar sorgu başına üretilen token sayısını artırdı.

Aynı dönemde token başına fiyat hızla düştü. Epoch AI’ın Mart 2025 analizine göre, sabit bir performans düzeyine ulaşmanın çıkarım fiyatı mihenk testine göre yılda 9 kat ile 900 kat arasında düşüyor. GPT-4 düzeyinde doktora seviyesi bilim sorularında düşüş yılda yaklaşık 40 kattır. Ocak 2024 sonrasında başlayan eğilimler hesaba katıldığında medyan düşüş yılda 50 kattan 200 kata çıkıyor. MIT FutureTech ekibinin (Gundlach ve arkadaşları, 2025) sınır modellere odaklanan çalışması daha ılımlı, yılda 5 ile 10 kat arası bir düşüş buluyor. Fark, ölçülen şeyden gelir. Epoch sabit bir yetenek düzeyinin fiyatını izler, en yeni modellerin fiyatı daha yavaş düşer.

Ucuzlama kullanımı patlattı. Google’ın açıklamalarına göre şirketin ürünlerinde işlenen token sayısı Mayıs 2024’te ayda 9,7 trilyondu, Mayıs 2025’te ayda 480 trilyona çıktı. Sundar Pichai Mayıs 2026’daki I/O konferansında bu sayının ayda 3,2 katrilyona ulaştığını, yani bir yılda yaklaşık 7 kat arttığını söyledi.

Hesaplama bütçelerinde çıkarımın payı ise sanıldığı kadar net değildir. Epoch AI’ın Ocak 2025 tahminine göre OpenAI 2024’te hesaplamaya yaklaşık 5 milyar doları araştırma ve geliştirmeye, yaklaşık 2 milyar doları çıkarıma harcadı. Ar-Ge kalemi deneyleri, sentetik veri üretimini ve yayımlanmamış modelleri kapsıyordu. Yayımlanan modellerin nihai eğitim koşuları bu kalemin yalnızca %10 kadarını, yaklaşık 500 milyon doları oluşturuyordu. Epoch’un çip kullanım verisine göre 2025’te OpenAI’ın hesaplaması Ar-Ge ile çıkarım arasında kabaca eşit bölünüyor. Bu tahminler The Information ve New York Times haberlerine dayanır, şirket beyanı değildir.

Donanım ve hizmet zinciri

Çıkarımın değer zinciri dört katmandan oluşur. En altta çipler ve bellek, onların üstünde sunucu ve raf sistemleri, sonra bulut ve veri merkezi kapasitesi, en üstte modeli API ya da uygulama olarak satan şirketler bulunur. Katmanların kâr payı yapay zekâ değer zinciri maddesinde ele alınır.

Çip katmanında baskın ürün Nvidia GPU’larıdır. AMD’nin MI355X’i alternatif GPU tedarikçisi olarak konumlanır. İkinci grup, hiper ölçekleyicilerin kendi tasarladığı özel çiplerdir (ASIC, uygulamaya özgü tümleşik devre). Google’ın TPU’su, Amazon’un Trainium’u ve Microsoft’un Maia’sı bu gruptadır. Google’ın TPU programındaki tasarım ortağı Broadcom’dur. UBS’in Şubat 2026 tarihli değerlendirmesine göre ortaklık 2016’da başladı, bu ortaklıktan çıkan ilk TPU 2018’de geldi ve program yedi nesle ulaştı. Nvidia Vera Rubin, Microsoft Maia 200 ve AWS Trainium3 TSMC’nin 3 nm proses düğümünde üretilir. Bu da yeni nesil çıkarım kapasitesinin önemli bir kısmını tek bir dökümhaneye bağlar.

Google Cloud’un 2025 tarihli belgesine göre yedinci nesil TPU Ironwood, pod başına 9.216 çipe ölçeklenir. Çip başına tepe hızı FP8’de 4.614 TFLOPS, BF16’da 2.307 TFLOPS’tur. Çip 192 GiB HBM taşır ve bellek bant genişliği 7.380 GB/s’dir. Google çipi geniş yoğun modeller, uzman karışımı (mixture of experts, MoE) modelleri ve decode ağırlıklı çıkarım için konumluyor.

Üçüncü grup çıkarıma odaklanan girişimlerdir. Groq ağırlıkları yonga üstü SRAM’de, yani işlemcinin içindeki çok hızlı ama küçük bellekte tutan LPU (language processing unit) çipleri, Cerebras ise tek bir silikon plaka büyüklüğünde çipler üretir. Qualcomm ve Çin’de Huawei, Cambricon ve Hygon da çıkarım çipi satıyor.

Bellek katmanında HBM’i SK hynix, Samsung ve Micron üretir. Decode bant genişliği sınırlı olduğu için HBM, çıkarım çipinin en pahalı ve en kıt girdilerinden biridir. KV önbelleğinin büyümesi sunucu DRAM’ini ve kurumsal SSD’yi de bu zincire ekledi.

Yazılım katmanı en az donanım kadar belirleyicidir. vLLM, SGLang ve Nvidia’nın TensorRT-LLM’i modelleri GPU’lara dağıtan sunum motorlarıdır. Aynı donanımda yazılım değişikliği token başına maliyeti katlarla değiştirebilir. En üst katmanda OpenAI, Anthropic, Google ve DeepSeek gibi model sağlayıcıları çıkarımı milyon token başına fiyatla satar. Çıkarım kapasitesinin bir kısmı kullanıcıya yakın kolokasyon veri merkezlerinde, yani şirketlerin sunucularını yerleştirdiği ortak kullanımlı tesislerde konumlanır, çünkü gecikme önemlidir.

Prefill ile decode’un silikona ayrışması

Prefill ile decode arasındaki fark 2025 ve 2026’da yazılımdan çıkıp çip tasarımına girdi. Bu dönüşümün en açık örneği, Nvidia’nın kısa ömürlü Rubin CPX çipidir.

Nvidia Eylül 2025’te Rubin CPX’i yalnızca prefill için tasarlanmış bir hızlandırıcı olarak duyurdu. The Register’ın aktardığı özelliklere göre çip 30 PFLOPS NVFP4 hesap gücü sunacak ve HBM yerine 128 GB GDDR7 bellek taşıyacaktı. Prefill hesaplama sınırlı olduğu için pahalı HBM’e ihtiyaç duymaz, daha ucuz grafik belleği yeterlidir. Decode ise HBM’li Rubin GPU’larında kalacaktı. Sevkiyat 2026 sonu için hedefleniyordu.

Mart 2026’daki GTC konferansında tablo değişti. Tom's Hardware’in yayımladığı basın soru cevap dökümüne göre Nvidia yöneticisi Ian Buck, CPX’in yol haritasından çekildiğini, 2026’da decode için LPU’ya odaklanıldığını ve CPX’in sonraki nesilde yeniden düşünüleceğini söyledi. Nvidia’nın ifadesi "iptal" değil, "çekildi" biçimindedir. Prefill Rubin GPU’sunda kaldı, decode ise yeni Groq 3 LPX rafına kaydı. Nvidia ucuz bir prefill çipi yerine çok hızlı bir decode çipini seçti.

Groq 3 LPX, Nvidia’nın Aralık 2025’te Groq’la yaptığı lisans anlaşmasının ilk ürünüdür. The Register’ın 16 Mart 2026 tarihli haberine göre bir LPX rafında 256 LPU bulunur ve raf Spectrum-X ağıyla komşu Vera Rubin NVL72 rafına bağlanır. Her LPU 1,2 PFLOPS FP8 hesap gücü ve 500 MB yonga üstü SRAM taşır. LPU başına SRAM bant genişliği 150 TB/s’dir, Rubin GPU’sunun HBM’inde bu değer 22 TB/s’dir. Decode bant genişliği sınırlı olduğu için fark doğrudan token hızına yansır.

Tasarımın sınırı kapasitedir. Groq’un mimarisinde ağırlıklar önbellek olarak değil birincil depolama olarak SRAM’de tutulur. 256 LPU’luk bir rafın toplam SRAM’i 256 × 500 MB = 128 GB eder (hesap). Bir trilyon parametreli bir modelin ağırlıkları 8 bitlik biçimde yaklaşık 1 TB tutar. Modeli yalnızca SRAM’e sığdırmak için birden çok raf ya da GPU ile iş bölümü gerekir. Nvidia’nın 20 Mayıs 2026 telekonferansında LPX’i bağlam işleme kapasitesi sınırlı, premium token hizmetlerini tamamlayan niş bir ürün olarak konumlaması bu yüzdendir.

Nvidia’nın LPX için verdiği sayılar satıcı iddiasıdır ve bağımsız kıyas yoktur. The Register’ın aktardığına göre şirket, 400 bin tokenlık bağlamla çalışan bir trilyon parametreli modelde milyon token maliyetinin 45 dolara indiğini söylüyor. Aynı iddiaya göre LPX ile birleşen sistem, Rubin NVL72’nin tek başına ürettiğinin 35 katı token üretir. Blackwell’e göre watt başına verim 10 kat, token başına maliyet onda bir olur. Nvidia Mayıs 2026’da LPX’in tam üretime girdiğini ve Artificial Analysis ölçümünde saniyede 3.400 çıktı tokenı ile rekor kırdığını açıkladı.

Aynı fikrin Çin’deki karşılığı Huawei’nin Ascend 950 serisidir. Huawei Eylül 2025’te aynı kalıptan, yalnızca belleği farklı iki çip duyurdu. Prefill ve öneri sistemleri için tasarlanan Ascend 950PR, şirketin kendi geliştirdiği HiBL 1.0 belleğiyle 128 GB kapasite ve 1,6 TB/s bant genişliği sunar. Decode ve eğitim için tasarlanan Ascend 950DT, HiZQ 2.0 belleğiyle 144 GB ve 4 TB/s taşır, FP8’de 1 PFLOPS, MXFP4’te 2 PFLOPS hesap gücü verir. LightCounting ve Jon Peddie Research’ün aktardığı takvime göre 950PR 2026’nın ilk çeyreğinde, 950DT dördüncü çeyreğinde çıkacak. Atlas 950 SuperPoD 160 kabinde 8.192 çipi birleştirir. Huawei, Nvidia’nın bu nesilde rafa kaldırdığı CPX fikrini kendi HBM’ini iki çeşit tasarlayarak sürdürüyor.

Ayrışma tek bir firmanın tercihi değildir. Dragonomi’nin 18 Mart 2026 tarihli Nvidia notlarında Google’dan Jeff Dean ile Nvidia’dan Bill Dally, prefill, decode ve dikkat aşamaları için üç ayrı donanım türüne gidilebileceğini öngörür. Çıkarım kapasitesi tek tip GPU alımı olmaktan çıkıp farklı bellek tiplerinin raf düzeyindeki karışımına dönüşüyor.

KV önbelleğinin bellek hiyerarşisi

KV önbelleği büyüdükçe HBM’e sığmaz hale geldi ve sektör bir bellek hiyerarşisine yöneldi. Sık kullanılan önbellek HBM’de, daha az kullanılan CPU’ya bağlı DRAM’de, daha da az kullanılan yerel SSD’de ve en sonunda ağ üzerindeki flaş depolamada tutuluyor. Aynı istemi yeniden prefill’den geçirmek, önbelleğini depodan okumaktan pahalıdır.

Bu fikrin akademik öncüsü Moonshot AI’ın Kimi sohbet botunu çalıştıran Mooncake sistemidir. USENIX FAST 2025’te en iyi makale ödülünü alan sistem prefill ve decode kümelerini ayırır ve boştaki CPU, DRAM, SSD ve ağ kartlarından dağıtık bir KV önbellek havuzu kurar. Makalenin ifadesiyle amaç "daha az hesap için daha çok depolama" kullanmaktır. Gerçek iş yüklerinde, hizmet seviyesi hedefleri altında etkin istek kapasitesi %59 ile %498 arasında arttı. Üretim ortamında A800 kümelerinde %115, H800 kümelerinde %107 daha fazla istek karşılandı.

DeepSeek’in 1 Mart 2025’te açıkladığı çıkarım sistemi verisi, bu yaklaşımın ölçeğini gösterir. Şirketin 24 saatlik verisine göre işlenen 608 milyar giriş tokenının yaklaşık %56,3’ü diskteki KV önbelleğinden geldi.

Nvidia bu hiyerarşiyi Mart 2025’te tanıttığı Dynamo yazılımıyla ürünleştirdi. Dynamo ayrıştırılmış sunumu yönetir ve KV önbelleğini NIXL aktarım kütüphanesiyle GPU, CPU, SSD ve nesne depolama katmanları arasında taşır. Nvidia’nın kendi kıyasına göre Dynamo, GB200 NVL72 üzerinde DeepSeek-R1’de GPU başına token verimini 30 kata, Hopper üzerinde Llama 70B’de 2 kata kadar artırır.

Nvidia Ocak 2026’daki CES fuarında depolama tarafına geçti. Şirketin 5 Ocak 2026 tarihli basın bildirisine göre Inference Context Memory Storage (ICMS) platformu, BlueField-4 veri işlemcisi üzerinde KV önbelleği için ayrı bir depolama katmanı kurar. Katman Spectrum-X Ethernet üzerinden paylaşılır ve Dynamo ile çalışır. Nvidia geleneksel depolamaya göre 5 kat güç verimi iddia ediyor, depolama şirketi Cloudian bu oranı 6 kat olarak veriyor. SSD üreticisi Solidigm bu yeni katmanı belleğin "G3.5" katmanı olarak adlandırıyor. ICMS, Mooncake’in akademide kurduğu fikrin ürünleşmiş halidir.

TrendForce’un 29 Mayıs 2026 tarihli değerlendirmesine göre KV önbelleği kapasitesi bağlam penceresiyle orantılı büyüyor ve HBM ile DRAM talebini doğrudan sürüklüyor. Ajan çıkarımı tek sorguyu sürekli yinelenen bir döngüye çeviriyor ve sunucularda CPU ile GPU oranı 1:8’den 1:4 ve üstüne gidiyor. TrendForce aynı değerlendirmede 2026 küresel bellek pazarı tahminini 551,6 milyar dolardan 889,3 milyar dolara, 2027 tahminini 842,7 milyar dolardan 1,28 trilyon doların üstüne yükseltti. 2026 NAND pazarını 270,6 milyar dolar ve %280,7 artış olarak öngördü. Bu tahminler çok güçlü bir döngü varsayar ve temkinle okunmalıdır.

Dragonomi’nin Micron değerlendirmesi Aralık 2025’te aynı eğilimi şirket tarafından anlatır. Modellerin yalnızca eğitilmesi değil çalıştırılması da kurumsal SSD ihtiyacını hızla artırıyor. Karşı soru UBS’ten gelir. Önbelleğin yeniden kullanımı görev başına gereken kaynağı azaltır. Ama ucuzlayan çıkarım kullanıcı sayısını ve eşzamanlılığı artırırsa toplam altyapı talebi yine büyüyebilir. Verimliliğin toplam tüketimi artırmasına Jevons paradoksu denir ve bellek yatırımcısının asıl sorusu budur.

Önbellek fiyatlaması ve token başına maliyet

KV önbelleğinin bellekte tutulması bir maliyettir ve sağlayıcılar bunu fiyat listesine yansıtır. Anthropic’in 2025 tarihli belgelerine göre istem önbelleklemede beş dakikalık önbelleğe yazım, taban girdi fiyatının 1,25 katıdır. Bir saatlik önbelleğe yazım 2 kat, önbellekten okuma ise 0,1 kattır. Varsayılan ömür beş dakikadır ve her kullanımda ücretsiz tazelenir. Bir istekte en çok dört önbellek kesme noktası tanımlanabilir.

Bu fiyatlardan başa baş noktası adım adım çıkarılabilir. Aynı istem iki kez önbelleksiz gönderilirse maliyet 1 + 1 = 2 birim olur. Beş dakikalık önbellekle ilk gönderim 1,25, ikincisi 0,1 birim tutar, toplam 1,35 birim eder. Tek bir yeniden kullanımda kazanç başlar. Bir saatlik önbellekte ilk yazım 2 birimdir. Bir okumayla toplam 2,1 birim olur ve önbelleksiz 2 birimi aşar. İki okumayla toplam 2,2 birim, önbelleksiz maliyet 3 birim olur. Bir saatlik önbellek ancak en az iki yeniden kullanımda kâra geçer. Saklama süresinin fiyatı, KV önbelleğinin hangi bellek katmanında tutulduğunun maliyetinden gelir.

OpenAI farklı bir yol izler. Önbellekleme otomatiktir ve 1.024 tokenı aşan istemlerde önek eşleşmesiyle çalışır. OpenAI’ın fiyat listesine göre GPT-5 için milyon token başına girdi fiyatı 1,25 dolar, önbellekli girdi 0,125 dolardır. Önbellekli girdi böylece yaklaşık %90 indirimlidir.

Model mimarisinin fiyat listesine en açık yansıdığı örnek DeepSeek’tir. Şirket 29 Eylül 2025’te V3.2-Exp modelini DeepSeek Sparse Attention (DSA) ile yayımladı. DSA bir "yıldırım indeksleyici" ile her adımda dikkat edilecek tokenları seçer. DeepSeek’e göre 128 bin tokenlık bağlamda prefill maliyeti yaklaşık 3,5 kat, decode maliyeti 6 ile 7 kat düştü. Fiyatlar buna göre indirildi.

Önbellekte bulunan girdi, bulunmayan girdiden 10 kat ucuzdur. Önbellek isabet oranı bir uygulamanın çıkarım faturasını belirleyen ana değişkendir.

DeepSeek’in Mart 2025 verisi çıkarımın kârlılık hesabındaki bir tuzağı da gösterir. Şirket düğüm başına 8 H800 GPU kullandığını ve gün içinde ortalama 226,75 düğümün dolu olduğunu açıkladı. GPU saati 2 dolar varsayımıyla günlük maliyet 226,75 × 8 × 24 × 2 = 87.072 dolar eder. DeepSeek bu maliyete karşı "teorik %545 kâr marjı" hesapladı. Ancak hesap bütün kullanımın daha pahalı R1 fiyatından ücretlendiğini varsayar. Gerçekte kullanımın bir kısmı ücretsizdir, V3’ün fiyatı düşüktür ve gece indirimi vardır. Çıkarım kârlılığı GPU doluluğuna ve ücretli kullanım oranına son derece duyarlıdır.

Donanım tarafında token başına maliyet modellemesi de varsayımlara bağlıdır. SemiAnalysis’in InferenceX (eski adıyla InferenceMAX) modellemesi, Ağustos 2025 toplam sahip olma maliyeti varsayımlarıyla GB200 NVL72 için GPU saati başına yaklaşık 2,21 dolar, AMD MI355X için yaklaşık 1,48 dolar kullanır. Sonuçlar hedeflenen kullanıcı başına token hızına göre değişir ve kıyas noktaları aradeğerlemeyle bulunur. AMD Mart 2026’da yazılım iyileştirmeleriyle MI355X’in DeepSeek R1’de token maliyetinin belirgin düştüğünü, GB300 NVL72’nin ise sabit kaldığını savundu. Tek bir "en ucuz çip" yoktur, kazanan etkileşim hızı hedefine ve model ailesine göre değişir.

Çıkarım çipleri rakamlarla

Aşağıdaki tablo 2025 ve 2026’da duyurulan ya da ayrıntılandırılan başlıca çıkarım çiplerini yan yana koyar. Değerler şirketlerin kendi açıklamalarıdır ve hassasiyet biçimleri farklıdır. FP4 ile FP8 hızları doğrudan karşılaştırılamaz.

Tom's Hardware ve StorageReview’un GTC 2026 özetlerine göre Vera Rubin, TSMC’nin 3 nm sürecinde iki kalıplı bir tasarımdır. Bant genişliği Blackwell’in 8 TB/s’sinin yaklaşık 2,8 katıdır, eğitimde 35 PFLOPS sunar ve sevkiyat 2026’nın ikinci yarısında başlar. 50 PFLOPS’un seyrek mi yoğun mu olduğu kaynaklarda çelişir.

Microsoft 26 Ocak 2026’da Maia 200’ü "çıkarım için inşa edilmiş hızlandırıcı" olarak tanıttı. Çip TSMC 3 nm’de üretilir, 140 milyarı aşan transistör taşır ve 750 W güç çeker. Microsoft’a göre FP4 hızı Trainium3’ün 3 katıdır ve filodaki en yeni donanıma göre dolar başına performans %30 daha iyidir. Maia 200, eğitimi hedeflemeyen, düşük hassasiyete ve büyük SRAM’e yaslanan bir hiper ölçekleyici ASIC’inin referans örneğidir.

AWS’nin Aralık 2025’te tanıttığı Trainium3 da 3 nm’dir. Trn3 UltraServer 144 çipe kadar ölçeklenir ve toplamda 362 PFLOPS FP8 ile 20,7 TB HBM3e sunar. AWS’ye göre sunucu performansı Trn2’nin 4,4 katıdır. Çip başına bellek kapasitesi ve bant genişliğinde Trainium3, Maia 200’ün gerisinde kalır.

Qualcomm Ekim 2025’te farklı bir ödünleşme seçti. AI200 kartı HBM yerine LPDDR kullanır ve kart başına 768 GB taşır. LPDDR yavaştır ama ucuzdur ve büyük KV önbelleklerini sığdırır. AI200 2026’da, yakın bellek hesaplaması kullanan AI250 2027’de gelecek. Raf 160 kW’a kadar çıkar. İlk müşteri Suudi Arabistan’ın Humain şirketidir ve sipariş 200 MW’tır. Qualcomm raf başına çip sayısını ve hesap gücünü açıklamadı. Dragonomi’nin Qualcomm telekonferans notları Nvidia’nın çıkarım hızlandırıcısına girişinin Qualcomm’un konumunu nasıl etkilediğini tartışır.

Sözleşme yapıları ve tedarik ilişkileri

Çıkarım kapasitesi artık çip adediyle değil megavat ve gigavat cinsinden satın alınıyor.

Nvidia ile Groq arasındaki 24 Aralık 2025 anlaşması bir satın alma değildir. CNBC’nin yatırımcı kaynaklarına dayanan haberine göre Nvidia yaklaşık 20 milyar dolar karşılığında Groq’un çıkarım teknolojisinin münhasır olmayan lisansını aldı. Kurucu Jonathan Ross ve başkan Sunny Madra dahil ekibin bir kısmı Nvidia’ya geçti. Rakamı şirketler açıklamadı. Groq bağımsız bir şirket olarak kaldı, yeni CEO’su Simon Edwards oldu ve GroqCloud hizmeti sürüyor. Groq’un Eylül 2025 turundaki değerlemesi yaklaşık 6,9 milyar dolardı. Constellation Research gibi gözlemciler lisans ve işe alım yapısını birleşme incelemesini aşmaya yönelik bir tasarım olarak yorumluyor. Bu yoruma göre yapı, rekabet otoritesi onayına bağlı bir kapanış riskini ortadan kaldırıyor.

OpenAI ile Cerebras 14 Ocak 2026’da çok yıllı bir anlaşma imzaladı. OpenAI 2028’e kadar aşamalı olarak yaklaşık 750 MW Cerebras hesaplaması alacak. Kapasite ChatGPT, kodlama ajanları ve ses gibi çıkarım iş yüklerine gidecek. Reuters ve TechCrunch ilk anlaşmanın değerini 10 milyar doların üstünde veriyor. DCD ve The Register’ın haberlerine göre anlaşma 2030’a kadar 2 GW’a genişletilebilir ve OpenAI Cerebras’a 1 milyar dolar borç verdi. Yapı, kapasite taahhüdüyle tedarikçiye kredinin birleşimidir.

Cerebras’ın Mayıs 2026 halka arzı, çıkarım girişimlerinin müşteri yoğunlaşmasını gösterdi. Halka arz başvurusuna dayanan haberlere göre şirketin geliri 2024’te 290,3 milyon dolardan 2025’te yaklaşık 510 milyon dolara çıktı. 2025 gelirinin %24’ü Abu Dabi merkezli G42’den, %62’si yine Abu Dabi’deki MBZUAI üniversitesinden geldi. 2024’ün ilk yarısında G42’nin payı %87’ydi. OpenAI sözleşmesi yoğunlaşmayı yeni bir büyük alıcı üzerinde yeniden kuruyor.

Anthropic ile Google 23 ve 24 Ekim 2025’te bir milyona kadar TPU’yu kapsayan bir anlaşma duyurdu. Anlaşma 2026’da 1 GW’ın çok üstünde kapasite getiriyor. Mali şartlar açıklanmadı, DCD’nin aktardığına göre değeri onlarca milyar dolar düzeyinde. Claude modelleri aynı anda TPU, Trainium ve Nvidia GPU üzerinde çalışıyor, iş yükleri platformlara dağıtılıyor. Büyük bir model sağlayıcısı çıkarımı tek bir çip mimarisine bağlamıyor. Dragonomi’nin 20 Mayıs 2026 Nvidia telekonferans notlarına göre Nvidia, Anthropic’in eklenmesiyle uç model çıkarımındaki payının hızla arttığını söyledi.

Bu anlaşmaların bir ucu Broadcom’a çıkar. Broadcom’un 4 Mart 2026’da açıkladığı 2026 mali yılı ilk çeyrek sonuçlarına göre gelir 19,3 milyar dolarla yıllık bazda %29 arttı. Yapay zekâ yarı iletken geliri 8,4 milyar dolarla %106, özel hızlandırıcı geliri %140 büyüdü. Şirket ikinci çeyrek için yaklaşık 10,7 milyar dolar yapay zekâ geliri öngördü. Yönetim 2027’de 100 milyar doları aşan yapay zekâ çip gelirine ulaşmayı öngörülebilir gördüğünü söyledi. Telekonferans dökümü özetlerine göre OpenAI, Broadcom’un altıncı XPU (müşteriye özel tasarlanan hızlandırıcı) müşterisi oldu ve 2027’de 1 GW’ın üstünde kapasite alacak. Anthropic için 2026’da yaklaşık 1 GW TPU öngörülüyor. Talebin gigavatla anlatılması, çıkarım ASIC’lerinin güç kapasitesi üzerinden pazarlandığını gösterir. Bu taahhütler sermaye harcaması rehberliklerinin de ana girdisidir.

Google’ın TPU’da ikinci bir tasarım ortağı da var. Dragonomi’nin Broadcom’un TPU işindeki ivme özetinde aktarılan UBS değerlendirmesine göre MediaTek’in Zebrafish kod adlı çipi çıkarım iş yükleri için tasarlanıyor. İlk sevkiyat 2025’te bekleniyordu, ama tarih 2026’nın ikinci yarısına kaydı. İkinci tedarikçinin çıkarıma özgü bir çiple seçilmesi, çıkarımda maliyet duyarlılığının yüksekliğini gösterir.