Yeni canavar tanıtıldı: Nvidia H200, yapay zekayı uçuracak
Nvidia, OpenAI’ın GPT-4’ü gibi derin öğrenme ve büyük dil modellerinde (LLM) gelecekteki atılımlarda büyük rol oynayacak yeni nesil yapay zeka süper bilgisayar çiplerini piyasaya sürdüğünü duyurdu. Nvidia, yapay zeka çalışmaları için yeni üst düzey bir çip olan HGX H200‘ü kısa süre önce tanıttı. Yeni GPU, Nvidia’yır resmen şahlandıran H100’ün yerine geliyor. Nvidia HGX H200, performansta yeni zirve
Nvidia, Micron‘dan dünyanın en hızlı HBM3e belleği ile donatılmış yepyeni H200 Hopper GPU’sunu duyurdu. Yeni yapay zeka platformlarına ek olarak Nvidia, artık Exaflop sınıfında JUPITER adlı süper bilgisayarına güç veren Grace Hopper Superchips ile büyük bir süper bilgisayar kazandığını da duyurdu.
Nvidia’nın H100 GPU’ları şu ana kadar sektörde en çok talep gören yapay zeka çipleriydi ancak yeşil ekip müşterilerine daha da fazla performans sunmak istiyor. H200 Tensor Core GPU‘lar tarafından desteklenen yapay zeka için en yeni HPC ve bilgi işlem platformu olan HGX H200’ler hem donanım hem de yazılımda en son Hopper optimizasyonlarıyla ve dünyanın en hızlı bellek çözümüyle geliyor.
Nvidia H200 GPU’lar, 141 GB’a kadar bellek kapasitesi ve 4,8 TB/s’ye kadar bant genişliği sunan Micron’un HBM3e çözümü ile donatılmış durumda; bu da A100’e kıyasla 2,4 kat daha fazla bant genişliği ve iki kat daha fazla kapasite anlamına geliyor. Bu yeni bellek çözümü, Nvidia’nın Llama 2 (70 Milyar parametre LLM) gibi uygulamalarda H100 GPU’larına kıyasla yapay zeka çıkarım performansını neredeyse iki katına çıkarmasını sağlıyor. TensorRT-LLM paketindeki son gelişmeler de çok sayıda yapay zeka uygulamasında büyük performans artışları sağlıyor. Nvidia H200 GPU’lar 4 ve 8 yollu GPU yapılandırmalarına sahip geniş bir HGX H200 sunucu yelpazesinde sunulacak. Tek bir HGX sistemindeki 8 yollu H200 GPU yapılandırması, 32 PetaFLOP‘a kadar FP8 işlem performansı ve 1,1 TB bellek kapasitesi sağlayacak.
Mevcut sunucularla uyumlu
Yeni GPU’lar mevcut HGX H100 sistemleriyle de uyumlu olacak. Bu sayede halihazırda H100 tabanlı sistemi kullananlar sadece yeni GPU’yu satın alarak hızlı bir yükseltme yapabilecek. Asus, ASRock Rack, Dell, Eviden, Gigabyte, Hewlett Packard Enterprise, Ingrasys, Lenovo, QCT, Wiwynn, Supermicro ve Wistron gibi Nvidia’nın iş ortakları H200 GPU’lar 2024’ün 2. çeyreğinde piyasaya çıktığında güncellenmiş çözümleri sunmaya başlayacak. Nvidia, yeni çiplerin fiyatlandırması hakkında herhangi bir bilgi vermedi ancak piyasaya sürüldüklerinde pahalı olacağı kesin. Mevcut H100’lerin her birinin 25.000 ila 40.000 dolar arasında satıldığı tahmin ediliyor. Yeni H200 çipler esas değişimi bellek tarafında yaşasa ve performans farkını buraya borçlu olsa da fiyatların daha yüksek olacağı kesin gibi. Bu arada Nvidia, büyük talep gören H100’lerin fişini elbette çekmeyecek. Firma, önümüzdeki yıl en az 2 milyon adet H100 üretmeyi hedefliyor.
