Derin Okuma — HBM Die Stacking

On iki katlı bir kule, bir saç teli kalınlığında

Bir HBM yığınının kesitini eline aldığında gördüğün şey, birbirine yapıştırılmış on iki ince silikon levhadır. Her levha bir DRAM çipi. Aralarında saç telinden ince bakır kanallar, kenarlarda ise çipe güç ve sinyal taşıyan mikroskobik dikey teller uzanır. Toplam yükseklik bir milimetrenin altında kalır.

Kule, modern yapay zeka hızlandırıcılarının belleğidir. Bir GPU'nun etrafına altı ya da sekiz tanesi dizilir. Kulelerden biri çatlarsa, milyonlarca dolarlık hızlandırıcı çöp olur. Peki neden tek bir kalın çip yapmak yerine on iki ince çipi üst üste koyuyoruz?

Neden tek çip yetmiyor

Bir DRAM çipinin kapasitesi, üzerindeki hücre sayısıyla sınırlıdır. Daha fazla hücre için daha büyük silikon gerekir. Silikon büyüdükçe verim düşer, çünkü tek bir toz zerresi tüm levhayı çöpe atar. Ayrıca büyük çipin bir ucundan diğerine sinyal gitmesi uzun sürer, bu da gecikmeyi artırır.

Yığma bu iki sorunu birden çözer. On iki küçük levha, tek büyük levhadan daha yüksek verimle üretilir. Dikey bağlantılar kısa olduğu için sinyal yolu milimetre yerine mikrometre cinsinden ölçülür. Kapasite katlanır, gecikme düşer. Ama bu çözümün bedeli, her levhanın diğerine mikron hassasiyetle hizalanmasıdır.

Ölçek kıyası burada netleşir. Tipik bir DRAM levhası 60-80 milimetrekare alanında üretilir. Aynı kapasiteyi tek levhada toplamaya kalksan, alan dört katına, yani 250 milimetrekareyi aşan bir dikdörtgene çıkar. O boyutta bir levhada tek kusur olasılığı, küçük levhanın birkaç katıdır. Yığma, kusuru küçük parçalara hapseder.

Gecikme tarafı daha da somut. Bir sinyalin silikon içinde kat ettiği yol, ışık hızının yaklaşık yarısı hızında ilerler. 250 milimetrekarelik bir levhada bir uçtan diğerine yol, kabaca 15 milimetre. Bu, saniyede milyarlarca kez okuma yapan bir bellekte ölçülebilir bir gecikme demektir. Dikey yolda ise mesafe 50 mikrometreye iner, yani 300 kat kısalır.

Mikron altı hizalama ve termal sıkıştırma

Levhalar birbirine nasıl yapışır? Cevap, termal sıkıştırma (thermal compression bonding) adı verilen bir işlemde. İki silikon yüzey, aralarında bakır pedler olacak şekilde üst üste getirilir. Ardından yaklaşık 250-400 santigrat derece sıcaklıkta, birkaç on megapaskal basınçla preslenir. Bakır pedler erir ve karşılıklı olarak kaynaşır.

Işlemde hizalama toleransı kritiktir. Bir levhanın diğerine göre kayması 1 mikrometreyi geçerse, bakır pedler temas etmez ve o katman ölü doğar. On iki katmanlı bir yığında her katmanın hizası, alttaki tüm katmanların toplam hatasını taşır. Hata birikimi, yığının en üst katmanında en yüksek olur.

Bakır pedlerin kendisi de küçüktür. Tipik bir mikro bump çapı 20-40 mikrometre arasındadır. Aynı yüzeye santimetrekare başına on binlerce bump yerleştirilir. Yoğunlukta bir kayma, komşu pedlerin birbirine değmesine ve kısa devreye yol açar. O yüzden hizalama makinesi, levhayı yerleştirirken kızılötesi kameralarla alttaki referans işaretlerini okur ve sapmayı yarım mikrometrenin altına çeker.

Sıcaklık döngüsü de bir başka tuzak. Bakır, silikondan farklı bir termal genleşme katsayısına sahiptir. Soğuma sırasında bakır daha çok büzülür, bu da bağlantı noktalarında artık gerilme bırakır. Yığın çalışırken ısındığında bu gerilme tekrar yükselir. Binlerce ısınma-soğuma döngüsünden sonra mikro çatlaklar oluşabilir.

Gerilmenin büyüklüğü sanıldığından yüksektir. Bakırın genleşme katsayısı, silikonun yaklaşık altı katıdır. 300 santigrat dereceden oda sıcaklığına inen bir yığında, her bağlantı noktası çevresinde yüzlerce megapaskallık bir kalıntı gerilme birikir. Gerilme, yığının ömrünü doğrudan belirleyen yorulma çevrimi sayısını düşürür.

Verim matematiği ve iyi die seçimi

On iki levhayı üst üste koyduğunda, yığının verimi her levhanın veriminin çarpımıdır. Tek levha verimi yüzde 90 ise, on iki levhalı yığın verimi kabaca yüzde 28'e düşer. Bu, yığma işleminin neden pahalı olduğunun ilk cevabıdır.

Üreticiler bu çarpımı hafifletmek için "known good die" (bilinen iyi çip) stratejisi uygular. Her levha, yığına girmeden önce tek tek test edilir. Arızalı olanlar ayıklanır. Böylece yığına giren her levhanın sağlam olduğu garanti edilir. Ama test aşaması da maliyet ve zaman ekler.

Testin kendisi de bir sınavdır. Bir DRAM levhası, yığına girmeden önce sıcak ve soğuk uçlarda, farklı gerilimlerde ve farklı zamanlamalarla taranır. Tarama, levha başına saniyeler değil dakikalar alır. On binlerce levhayı test eden bir hat, test ekipmanına ciddi yatırım gerektirir. O yüzden test maliyeti, levha maliyetinin sessiz ama büyük bir parçasıdır.

Bir başka hile, yedek katman kullanmaktır. Bazı tasarımlarda on iki katman yerine on üç katman üretilir, biri yedek olarak tutulur. Yığın testinde bir katman arızalı çıkarsa, yedek devreye alınır. Bu, verimi birkaç puan yükseltir ama her yığına fazladan bir levha maliyeti bindirir.

Yedek katmanın ekonomisi bir eşiğe bağlıdır. Yedek eklemenin maliyeti, kurtardığı yığın sayısının değerinden düşük olduğu sürece mantıklıdır. Verim yüzde 28 iken yedek katman karlıdır, çünkü kurtarılan her yığın pahalıdır. Verim yüzde 70'e çıktığında ise yedek katman gereksiz bir yük haline gelir. Tasarım kararı, verim eğrisinin neresinde durduğuna göre değişir.

Silikon geçiş yolları ve güç dağıtımı

Levhalar arasındaki dikey bağlantılar, silikon geçiş yolu (through-silicon via, TSV) adını alır. Her TSV, silikonun içinden geçen bakır bir sütundur. Çapı tipik olarak 5-10 mikrometre, derinliği ise levha kalınlığına eşittir. Bir HBM yığınında binlerce TSV bulunur.

TSV üretimi kendi başına bir zorluktur. Silikonun içine derin bir delik açılır, içi yalıtkan bir tabakayla kaplanır, sonra bakırla doldurulur. Doldurma sırasında boşluk kalırsa, o TSV direnç gösterir ya da kopar. O yüzden TSV verimi, tüm yığının verimini doğrudan etkiler.

Levha kalınlığı burada belirleyici bir değişkendir. Bir TSV'nin derinliği, levhanın inceltilmesiyle ayarlanır. Yığma öncesi levha, arka yüzünden aşındırılarak 50 mikrometreye kadar inceltilir. Incelik, hem TSV derinliğini kısaltır hem de yığının toplam yüksekliğini düşürür. Ama çok ince levha kırılgandır ve taşıma sırasında çatlar. Üretici, kalınlık ile dayanıklılık arasında dar bir pencere bulmak zorundadır.

Güç dağıtımı da bu dikey yollardan geçer. On iki katman aynı anda okuma-yazma yaptığında, TSV'lerden geçen akım yükselir. Direnç kaynaklı gerilim düşmesi, en üst katmanlarda en belirgin hale gelir. Tasarımcılar bu düşmeyi telafi etmek için güç TSV'lerini sinyal TSV'lerinden ayırır ve daha kalın yapar.

Gerilim düşmesinin ölçüsü küçük ama etkisi büyüktür. Bir güç TSV'sinin direnci, çapına ve boyuna göre onlarca miliohm mertebesindedir. On iki katman aynı anda akım çektiğinde, en üst katmana ulaşan gerilim, alttaki katmandan birkaç yüzde düşük olur. Bellek hücreleri bu düşmeye karşı toleranslı tasarlanır, çünkü aksi halde en üst katman sürekli hata üretir.

Piyasa Hafızası - 2013 HBM spesifikasyonu

Ekim 2013'te JEDEC, yüksek bant genişlikli bellek (High Bandwidth Memory, HBM) standardını yayımladı. İlk spesifikasyon, dört katmanlı bir yığın ve 1024 bitlik bir veri yolu tanımlıyordu. Bu, o güne kadar kullanılan GDDR5'e kıyasla çok daha geniş ama daha yavaş saat hızında çalışan bir mimariydi.

Standart, AMD'nin Fiji mimarisinde ilk kez ürüne dönüştü. O dönemde HBM'in maliyeti, GDDR5'in birkaç katıydı. Yığma verimi düşük, TSV üretimi olgunlaşmamıştı. Piyasa, bu teknolojiyi niş bir çözüm olarak gördü.

Ders şu. Bir standart yayımlandığında, onu üretilebilir kılan süreç henüz olgun değildir. HBM'in ilk on yılı, spesifikasyonun değil, yığma veriminin ve TSV güvenilirliğinin iyileştirilmesiyle geçti. Bugünkü yapay zeka patlamasının belleği, 2013'teki o mütevazı dört katmanlı tanımdan evrildi.

Küçük Bir Hesap

Temsili bir on iki katmanlı HBM yığınının ekonomisi. Sayılar temsili, mantık gerçek.

Tablonun can alıcı satırı, verim çarpımıdır. Tek levha verimi yüzde 90'dan yüzde 95'e çıksa, yığın verimi yüzde 28'den yüzde 54'e fırlar. Yani levha verimindeki beş puanlık iyileşme, yığın maliyetini neredeyse yarıya indirir. O yüzden HBM üreticileri için asıl savaş, yığma değil levha üretiminde kazanılır.

Duyarlılık tarafı daha çarpıcı. Yığın verimi yüzde 28'den yüzde 20'ye düşse, sağlam yığın başına efektif levha maliyeti 54 dolardan 75 dolara çıkar. Hızlandırıcı başına bellek maliyeti 432 dolardan 558 dolara yükselir. Tek bir süreç kayması, tüm sistemin maliyetini yüzde 30 artırır.

Katmanlı okuma çerçevesi

Birincisi, HBM'in darboğazı bellek hücresi değil, yığma sürecidir. Kapasiteyi artırmak istiyorsan önce verimi artırman gerekir. Verim, levha kalitesiyle başlar, hizalama hassasiyetiyle devam eder, termal yönetimle biter.

İkincisi, her yeni katman, hata olasılığını çarpar. On iki katman, on iki ayrı başarısızlık noktası demektir. O yüzden HBM yol haritası, daha fazla katman yerine daha iyi katman üretimine yöneldi. On altı katmanlı yığınlar, ancak levha verimi yeterince yükseldiğinde ekonomik hale gelir.

Üçüncüsü, standart ile üretim arasındaki gecikme, yatırımın gerçek zamanlamasını belirler. 2013'te tanımlanan bir mimari, ancak on yıl sonra yapay zeka çağının belkemiği oldu. Teknoloji takvimini okurken spesifikasyon tarihine değil, süreç olgunluğuna bak.

On iki katlı silikon kule, tek bir çipin yapamadığını yapıyor. Ama o kuleyi ayakta tutan şey, en üstteki katman değil, en alttaki levhanın kusursuzluğu.