Az Nvidia egy nagyon fontos újítást jelentett be, ami nem más, mint az NVHBM, egy speciális memória-technológia. Az NVHBM a tervek szerint az NVLink Fusion Link partnerek számára éppúgy elérhető lesz egyedi AI gyorsítók gyártásához, mint az Nvidia saját GPU-i köré épülő AI gyorsítói számára – mindkét esetben jókora előnyt kínál a normál HBM4E szabványú memória-alrendszerekhez képest.

Az NVHBM lényege, hogy egy új memória-architektúrát vezet be, amelynél a memóriavezérlők már nem az XPU lapka fedélzetén kapnak helyet, ezáltal nem foglalnak értékes szilícium-területet a számítás végző komponensekkel teletűzdelt lapkákon, ehelyett az NVHBM memóriachip-szendvicsek alap lapkájára kerülnek. Azzal, hogy a memóriavezérlőket az NVHBM chipek fedélzetére helyezik át, értékes szilíciumlapka-terület szabadul fel az XPU lapkákon, ezáltal komplexebb AI gyorsítók készülhetnek, amelyek nagyobb számítási teljesítményt nyújthatnak, hiszen nagyobb tranzisztor-büdzsét fordíthatnak a számítási célokat szolgáló komponensek biztosítására.

Ian Cutress, egy rendkívül jól felkészült elemző, aki sokáig a már megszűnt AnandTech csapatának oszlopos tagja volt, úgy látja, az NVHBM lényegében egy fontos lépés a szabványosított HBM memóriachip-szendvicsek felől az egyedi, ügyfél-specifikus memóriafelépítést használó dizájnok felé, amelyek számos új lehetőséget kínálnak. A szabványos HBM memóriachip-szendvicsek mellett a jövőben az egyedi alap lapkával rendelkező HBM dizájnok, illetve a chipekhez szorosabban integrált 3D memóriák versenyeznek majd a vásárlók kegyeiért, éppen ezért a manapság széles körben használt szabványos HBM memóriachip-szendvicsek helyét sokkal inkább utóbbiak veszik majd át, hiszen az egyedi igényekre szabott dizájnok és alap lapkák rengeteg előnyt kínálnak majd mind számítási teljesítmény, mind memória-sávszélesség, mind pedig energiahatékonyság terén.

Az Nvidia csapata szerint az NVHBM memóriachip-szendvicsek esetében a normál HBM4E modellekhez képest chipenként akár 30%-kal is növelhető lesz a memória-sávszélesség, miközben a fogyasztást akár 15%-kal is csökkenteni lehet a normál HBM4E chipeknél megszokott szinthez képest. Ezzel egy időben az átdolgozott memória-interfész révén akár 25%-kal több szilíciumlapka-területet használhatnak majd XPU célra az ügyfelek, vagyis több komponens fér majd el ugyanazon a lapkán, ami nagyobb számítási teljesítményt és/vagy extra funkciók elérését jelentheti, igényektől függően.

Ezzel egy időben a szűkebb memória-interfész révén az interposer felépítése is egyszerűbbé válhat, könnyebb lesz kialakítani a vezetékelést, ezáltal akár 80%-kal több használható szilícium-terület maradhat a teljes tokozás esetében. Az Nvidia szerint a teljes XPU teljesítmény akár 30%-kal is növekedhet azáltal, hogy az NVHBM extra memória-sávszélességet kínál, felszabadul némi számításikapacitás-növelésre használható szilíciumlapka-terület, valamint energiahatékonyabban dolgozik a HBM alapú memória-alrendszer.

Az egyik első ügyfél, aki profitálhat az NVHBM nyújtotta előnyökből, az az Amazon kötelékébe tartozó az Annapurna Labs lesz. A vállalat már fejleszti is a Trainium4-es AI gyorsítót, ami NVLink Fusion és NVLink 6 támogatással érkezhet, ezáltal együttműködhet az Nvidia GPU alapú AI gyorsítóival ugyanazon a rack-architektúrán belül. Az Nvidia tervei szerint a későbbiekben több memóriagyártó is kínál majd NVHBM chipeket, azt viszont nem árulták el, saját kínálatukon belül melyik lesz az első GPU generáció, ami profitálhat az NVHBM nyújtotta előnyökből.