AMD представи мощния ускорител за изкуствен интелект Instinct MI300X и хибридния HPC процесор Instinct MI300A

По време на събитието Advance AI AMD официално представи Instinct MI300X - специализиран изчислителен ускорител, предназначен за обработка на огромни количества данни за генеративен ИИ и високопроизводителни изчислителни натоварвания. Това е най-мощният изчислителен ускорител в арсенала на AMD.

Instinct MI300X е базиран на архитектурата CDNA 3 и оформлението на чипа, използващ кристали, изработени по 5 и 6 nm технологични процеси. За сглобяването на чиповете се използват усъвършенствани 3D опаковки и TSV монтаж. Основният слой на чипа е представен от четири I/O Die кристала с поддръжка на 128-канален HBM3 интерфейс за памет, 256 MB Infinity Cache, поддръжка на 64 PCIe 5.0 линии и 64 PCIe 4.0 линии.

Върху I/O Die кристалите са разположени осем XCD кристала, всеки от които съдържа 38 изпълнителни блока на архитектурата CDNA 3, което дава общо 304 блока. Ускорителят е оборудван със 192 GB памет HBM3 с пропускателна способност от 5,3 TB/s. За клъстериране на MI300X е осигурена поддръжка на шината Infinity Fabric от четвърто поколение. Като цяло MI300X разполага със 153 милиарда транзистора.

AMD сравнява MI300X с ускорителите за изкуствен интелект H100 на NVIDIA. Последният разполага с 80 GB HBM3 при скорост 3,35 Тбайта/секунда. AMD твърди, че MI300X осигурява равенство в задачите за обучение на ИИ, но 1,6 пъти превъзхожда конкурента в инференциалните задачи (работа на вече обучени системи за ИИ). Например AMD обещава 1,4 пъти по-висока скорост в сравнение с H100 за големия езиков модел Llama 2 със 70 милиарда параметри, докато MI300X осигурява 1,6 пъти по-висока производителност на модела Bloom със 176 милиарда параметри.

Instinct MI300X ще може да се комбинира в системи от осем ускорителя на една платка. Такава платформа ще може да се конкурира със системата H100 HGX на NVIDIA, като същевременно ще осигурява по-висока производителност и значително по-голям капацитет на паметта, последното от които е от решаващо значение за приложенията на изкуствения интелект.

AMD нарича Instinct MI300X най-мощните изчислителни ускорители за изкуствен интелект в историята. Платформата на AMD от осем MI300X осигурява 10,4 Pflops производителност при FP16 / BF16 операции. За сравнение, платформата HGX от H100 на NVIDIA осигурява 7,9 Pflops производителност в същите задачи. А капацитетът на паметта HBM3 на решението на AMD е 2,4 пъти по-голям от този на конкурентната платформа.

AMD представи и нова софтуерна платформа ROCm 6, оптимизирана за използване със серията ускорители Instinct MI300. Според компанията новият софтуер подобрява производителността на изчислителните ускорители със специализирани библиотеки от големи езикови модели 2,6 пъти и внася други оптимизации, които като цяло осигуряват на MI300X до 8 пъти по-висока производителност в сравнение с ускорителите MI250X, работещи със софтуерната платформа ROCm 5.

Заедно с Instinct MI300X AMD представи и специализираните хибридни процесори MI300A за центрове за данни и високопроизводителни изчисления (HPC). Всъщност това е сървърен хибриден процесор, съчетаващ процесор и мощен изчислителен ускорител върху една подложка.

Като цяло структурата им е много сходна с оформлението на MI300X, но MI300A използва само шест блока XCD на архитектурата CDNA 3. Те съдържат 146 милиарда транзистора. Други три чипсета в MI300A са представени от CCD изчислителни кристали, всеки от които съдържа осем процесорни ядра Zen 4. Това означава, че тук има общо 24 ядра, които работят на 48 нишки. Специализираните APU на MI300A получават 128 GB памет от комплекта HBM3 с пропускателна способност 5,3 Тбайта/s.

AMD заявява за Instinct MI300A производителност от 61 Tflops при FP64 операции и 122 Tflops при FP32 операции. Отбелязва се също, че новостта осигурява два пъти по-висока производителност на ват консумация на енергия от конкурентното решение NVIDIA Grace Hopper. Последното, нека ви припомним, съчетава ускорител на NVIDIA и централен процесор, базиран на Arm.