AMD, NVIDIA H100보다 최대 60% 빠른 Instinct MI300X AI GPU 가속기 출시

AMD는 NVIDIA의 H100보다 최대 60% 향상된 성능을 제공하는 자사의 주력 AI GPU 가속기인 MI300X의 공식 출시를 발표했습니다.

AMD는 마침내 AI 부문에서 NVIDIA를 상대할 GPU를 보유하게 되었으며, MI300X는 H100보다 최대 60% 더 빠릅니다.

AMD Instinct MI300 클래스 AI 가속기는 TSMC의 고급 패키징 기술을 활용하는 또 다른 강력한 칩렛이 될 것입니다. 오늘 AMD는 이러한 칩의 출시를 발표했을 뿐만 아니라 훌륭해 보이는 MI300X의 첫 번째 성능 벤치마크를 공유했습니다. AMD는 먼저 일반 사양을 비교 및 ​​CDNA 3 가속기 제공(NVIDIA H100과 비교)으로 사용했습니다.

• 2.4배 더 커진 메모리 용량
• 1.6배 더 높은 메모리 대역폭
• 1.3X FP8 TFLOPS
• 1.3X FP16 TFLOPS

일반적으로 LLM 커널 TFLOP에서 MI300X는 FlashAttention-2 및 Llama 2 70B에서 최대 20% 더 높은 성능을 제공합니다. 8x MI300X 솔루션과 8X H100 솔루션을 비교하는 플랫폼 관점에서 보면 Llama 2 70B & Bloom 176B에서는 60%의 이득을 얻었습니다. AMD는 훈련 성능에서 MI300X가 경쟁 제품(H100)과 동등하며 추론 워크로드에서 빛을 발하는 동시에 경쟁력 있는 가격/성능을 ​​제공한다고 언급합니다.

AMD Instinct MI300X – CDNA 3 &를 통해 NVIDIA의 AI 패권에 도전합니다. 거대한 기억

AMD Instinct MI300X는 AI 부문 내 NVIDIA의 Hopper와 Intel의 Gaudi 가속기를 대상으로 하기 때문에 가장 주목받을 칩입니다. 이 칩은 CDNA 3 아키텍처로만 설계되었으며 많은 일이 진행되고 있습니다. 이 칩은 5nm와 6nm IP를 혼합하여 호스팅할 예정이며, 모두 결합하여 최대 1,530억 개의 트랜지스터(MI300X)를 제공합니다.

설계부터 메인 인터포저는 4세대 Infinity Fabric 솔루션을 사용하여 인터커넥트 레이어를 수용하는 패시브 다이로 배치됩니다. 인터포저에는 8개의 HBM3 패키지를 포함하는 총 28개의 다이, HBM 패키지 사이에 16개의 더미 다이가 포함되어 있습니다. 4개의 활성 다이가 있고 이러한 활성 다이 각각은 2개의 컴퓨팅 다이를 갖습니다.

CDNA 3 GPU 아키텍처를 기반으로 하는 각 GCD는 2560개 코어에 해당하는 총 40개의 컴퓨팅 유닛을 갖추고 있습니다. 총 8개의 컴퓨팅 다이(GCD)가 있으므로 총 320개의 컴퓨팅 & 20,480개 코어 유닛. 수율을 위해 AMD는 이러한 코어의 일부를 축소할 예정이며 지금부터 한 달 후에 정확한 구성에 대한 자세한 내용을 얻을 수 있을 것입니다.

메모리는 이전 제품인 MI250X(128GB)보다 50% 더 많은 HBM3 용량을 자랑하는 MI300X를 통해 엄청난 업그레이드를 볼 수 있는 또 다른 영역입니다. 192GB의 메모리 풀을 달성하기 위해 AMD는 MI300X에 8개의 HBM3 스택을 장착하고 각 스택은 12-Hi이며 IC당 2GB 또는 스택당 24GB의 용량을 제공하는 16Gb IC를 통합합니다.

메모리는 최대 5.3TB/s의 대역폭과 896GB/s의 Infinity Fabric 대역폭을 제공합니다. 비교를 위해 NVIDIA의 향후 출시될 H200 AI 가속기는 141GB 용량을 제공하고 Intel의 Gaudi 3은 144GB < /span>용량. 대용량 메모리 풀은 대부분 메모리에 바인딩된 LLM에서 매우 중요하며 AMD는 메모리 부서를 선도함으로써 AI 능력을 보여줄 수 있습니다. 비교를 위해:

• 인스팅트 MI300X – 192GB HBM3
• 가우디 3 – 144GB HBM3
• H200 – 141GB HBM3e
• MI300A – 128GB HBM3
• MI250X – 128GB HBM2e
• H100 – 96GB HBM3
• 가우디 2 – 96GB HBM2e

전력 소비 측면에서 AMD Instinct MI300X는 Instinct MI250X의 500W보다 50% 증가한 750W, NVIDIA H200보다 50W 더 많은 등급을 받았습니다.

하나의 구성선보 최대 8개의 MI300X GPU 가속기와 2개의 AMD EPYC 9004 CPU를 갖춘 G593-ZX1/ZX2 서버. 이러한 시스템에는 최대 8개의 3000W 전원 공급 장치가 장착되어 총 18000W의 전력을 공급합니다.

현재 AMD는 NVIDIA가 이미 2024년 Hopper H100 GPU & Blackwell B100 GPU와 Intel은 향후 출시를 위해 Guadi 3 및 Falcon Shores GPU를 준비하고 있습니다.

한 가지 확실한 점은 현재 AI 고객은 얻을 수 있는 거의 모든 것을 게걸스럽게 먹어치울 것이며 모든 사람이 이를 활용할 것이라는 점입니다. 그러나 AMD는 NVIDIA의 대안이 될 뿐만 아니라 AI 부문의 리더가 되는 것을 목표로 하는 매우 강력한 솔루션을 보유하고 있습니다.

AMD Radeon Instinct 가속기