Google представи най-бързия си ускорител за изкуствен интелект - Cloud v5p

г. 12:25 ч.
Google представи най-бързия си ускорител за изкуствен интелект - Cloud v5p

Днес Google обяви пускането на новия си модел за големи езици Gemini. Заедно с него компанията представи и новия си ускорител на изкуствен интелект Cloud TPU v5e (Tensor processing unit). Клъстерът, базиран на новите TPU, се състои от 8960 чипа v5p и е оборудван с най-бързата междусистемна връзка на Google - скоростта на трансфер на данни може да достигне 4800 Gbps на чип.

Облачният TPU v5e е оборудван с 95 GB памет HBM3 с пропускателна способност 2765 Gbytes/s. Производителността при операции с цели числа INT8 е 918 TOPS (трилиона операции в секунда), а производителността при изчисления с плаваща запетая BF16 е 459 Tflops.

Google твърди, че новите чипове са значително по-бързи от предишното поколение TPU v4 образец. Новият Cloud TPU v5p ще предлага два пъти по-висока производителност при операции с плаваща запетая (FLOPS) и три пъти по-голям капацитет на паметта с висока пропускателна способност.

Според Google новите ускорители TPU v5p могат да обучават големи езикови модели, като GPT-3 със 175 милиарда параметъра, 2,8 пъти по-бързо от TPU v4, като същевременно използват по-малко енергия. Освен това, благодарение на второто поколение SparseCore, TPU v5p може да обучава модели с плътно вграждане 1,9 пъти по-бързо от TPU v4. В допълнение към подобренията в производителността TPU v5p осигурява два пъти по-голяма мащабируемост от TPU v4, което в комбинация с удвоената производителност осигурява четири пъти повече флопове на клъстер.

Интересно е, че по отношение на производителността за един долар TPU v5p леко отстъпва на наскоро представените ускорители TPU v5e. Последните обаче могат да се клъстерират само до 256 чипа, а един чип ще осигури само 197 Tflops в BF16 спрямо 275 Tflops в TPU v4 и 459 Tflops в TPU v5p.

"В ранния етап на използване Google DeepMind и Google Research демонстрираха два пъти по-голямо ускорение на LLM тренировъчни натоварвания, базирани на чипове TPU v5p, в сравнение с производителността, свалена от сегашното поколение чипове TPU v4", пише Джеф Дийн, главен учен в Google DeepMind и Google Research. - Широката поддръжка на ML рамки като JAX, PyTorch, TensorFlow и инструменти за оркестрация ще ни позволи да мащабираме още по-ефективно, използвайки чипове v5p. С второто поколение SparseCore наблюдаваме и значителни подобрения в производителността на работните натоварвания при извършване на вграждания. TPU са от жизненоважно значение за осигуряването на възможност за най-мащабните ни изследователски и инженерни натоварвания върху усъвършенствани модели като Gemini."
      
Споделете тази новина:



Подобни новини

Google ще съкрати няколкостотин души - те ще бъдат заменени от изкуствен интелект

Google ще съкрати няколкостотин души - те ще бъдат заменени от изкуствен интелект
Google стартира поредната вълна от съкращения още през миналата година...
 

Смартфоните Pixel на Google са се научили да крият снимки и данни на потребителите от служителите в сервизните центрове

Смартфоните Pixel на Google са се научили да крият снимки и данни на потребителите от служителите в сервизните центрове
Според страницата за поддръжка на Google Pixel режимът за ремонт създава чиста версия на операционната система Android в отделен дял, което гарантира, че личните данни на собственика на устройството остават в безопасност...
 

Google стартира инструмент за преместване на подкасти от Podcasts в YouTube Music

Google стартира инструмент за преместване на подкасти от Podcasts в YouTube Music
Google отбелязва, че процесът на миграция може да отнеме известно време и че не всички подкасти ще бъдат достъпни в YouTube Music...
 

Смартфоните Pixel на Google крият снимки и потребителски данни когато са в сервиз

Смартфоните Pixel на Google крият снимки и потребителски данни когато са в сервиз
Подобни нововъведения намаляват риска от неоторизиран достъп до лични данни по време на процеса на ремонт, като дават на собствениците по-голям контрол върху техните устройства...
 


 
SetCombG.com новини

Още Новини

Най-бързият FPV дрон в света ще може да предава Формула 1
Той лети със скорост 350 км/ч Още

Търсенето на Apple Vision Pro беше по-високо от очакваното, а нивото на връщане по-ниско
Минг-Чи Куо вярва, че Apple вероятно първоначално ще разшири продажбите на Vision Pro в повече англоезични страни като Австралия, Канада, Нова Зеландия и Великобритания Още

ASUS представя обновени OLED ноутбуци Vivobook S
Те са задвижвани от най-новите процесори Intel Core Ultra и AMD Ryzen 8040 Още

SoftBank отправя предизвикателство към NVIDIA с ускорители на AI на Arm
Oснователят на SoftBank Масайоши Сон (Masayoshi Son) смята да привлече до 100 млрд. долара за реализацията на свой собствен проект в тази област Още

Kioxia е предложила на SK Hynix достъп до японските си заводи, за да сключи сделка с Western Digital.
Японският производител на 3D NAND чипове Kioxia е предложил на своя инвеститор SK Hynix производствени линии в Япония Още