Google представи най-бързия си ускорител за изкуствен интелект - Cloud v5p

г. 12:25 ч.
Google представи най-бързия си ускорител за изкуствен интелект - Cloud v5p

Днес Google обяви пускането на новия си модел за големи езици Gemini. Заедно с него компанията представи и новия си ускорител на изкуствен интелект Cloud TPU v5e (Tensor processing unit). Клъстерът, базиран на новите TPU, се състои от 8960 чипа v5p и е оборудван с най-бързата междусистемна връзка на Google - скоростта на трансфер на данни може да достигне 4800 Gbps на чип.

Облачният TPU v5e е оборудван с 95 GB памет HBM3 с пропускателна способност 2765 Gbytes/s. Производителността при операции с цели числа INT8 е 918 TOPS (трилиона операции в секунда), а производителността при изчисления с плаваща запетая BF16 е 459 Tflops.

Google твърди, че новите чипове са значително по-бързи от предишното поколение TPU v4 образец. Новият Cloud TPU v5p ще предлага два пъти по-висока производителност при операции с плаваща запетая (FLOPS) и три пъти по-голям капацитет на паметта с висока пропускателна способност.

Според Google новите ускорители TPU v5p могат да обучават големи езикови модели, като GPT-3 със 175 милиарда параметъра, 2,8 пъти по-бързо от TPU v4, като същевременно използват по-малко енергия. Освен това, благодарение на второто поколение SparseCore, TPU v5p може да обучава модели с плътно вграждане 1,9 пъти по-бързо от TPU v4. В допълнение към подобренията в производителността TPU v5p осигурява два пъти по-голяма мащабируемост от TPU v4, което в комбинация с удвоената производителност осигурява четири пъти повече флопове на клъстер.

Интересно е, че по отношение на производителността за един долар TPU v5p леко отстъпва на наскоро представените ускорители TPU v5e. Последните обаче могат да се клъстерират само до 256 чипа, а един чип ще осигури само 197 Tflops в BF16 спрямо 275 Tflops в TPU v4 и 459 Tflops в TPU v5p.

"В ранния етап на използване Google DeepMind и Google Research демонстрираха два пъти по-голямо ускорение на LLM тренировъчни натоварвания, базирани на чипове TPU v5p, в сравнение с производителността, свалена от сегашното поколение чипове TPU v4", пише Джеф Дийн, главен учен в Google DeepMind и Google Research. - Широката поддръжка на ML рамки като JAX, PyTorch, TensorFlow и инструменти за оркестрация ще ни позволи да мащабираме още по-ефективно, използвайки чипове v5p. С второто поколение SparseCore наблюдаваме и значителни подобрения в производителността на работните натоварвания при извършване на вграждания. TPU са от жизненоважно значение за осигуряването на възможност за най-мащабните ни изследователски и инженерни натоварвания върху усъвършенствани модели като Gemini."
      
Споделете тази новина:



Подобни новини

Amazon добави специалист по изкуствен интелект, работил в Google и Baidu в борда на директорите си

Amazon добави специалист по изкуствен интелект, работил в Google и Baidu в борда на директорите си
През предходните няколко месеца Amazon съкрати няколкостотин служители, като тези реформи засегнаха и подразделението за облачни услуги на AWS...
 

Microsoft, Amazon и Google ще блокират достъпа на руски компании до своите облачни услуги

Microsoft, Amazon и Google ще блокират достъпа на руски компании до своите облачни услуги
На 15 март 2024 г. Softline съобщи, че Amazon планира да спре достъпа до облачни услуги на 20 мар...
 

Google ще съкрати няколкостотин души - те ще бъдат заменени от изкуствен интелект

Google ще съкрати няколкостотин души - те ще бъдат заменени от изкуствен интелект
Google стартира поредната вълна от съкращения още през миналата година...
 

Смартфоните Pixel на Google са се научили да крият снимки и данни на потребителите от служителите в сервизните центрове

Смартфоните Pixel на Google са се научили да крият снимки и данни на потребителите от служителите в сервизните центрове
Според страницата за поддръжка на Google Pixel режимът за ремонт създава чиста версия на операционната система Android в отделен дял, което гарантира, че личните данни на собственика на устройството остават в безопасност...
 

Google стартира инструмент за преместване на подкасти от Podcasts в YouTube Music

Google стартира инструмент за преместване на подкасти от Podcasts в YouTube Music
Google отбелязва, че процесът на миграция може да отнеме известно време и че не всички подкасти ще бъдат достъпни в YouTube Music...
 


 
SetCombG.com новини

Още Новини

За пет години престъпниците са прехвърлили 100 млрд. долара в криптовалути
Често чрез стабилни монети и централизирани борси Още

Предполага се, че Tesla специално оптимизира автопилота за Илон Мъск и влиятелни блогъри
Твърди се, че представителите на Tesla следят маршрутите на блогърите въз основа на техните отзиви Още

Сателитен интернет в раница: SpaceX пусна антената Starlink Mini за пътешественици и дигитални номади в САЩ
Експерти от бранша прогнозират, че Starlink Mini може да се превърне в катализатор за възхода на "цифровото номадство Още

Apple възнамерява да продаде с 10 процента повече iPhone 16 до края на годината, отколкото продаде iPhone 15 миналата година
Според анализатори на Bloomberg Intelligence прогнозата на Apple за продажбите на iPhone е положителен знак Още

Porsche изтегля всички електрически автомобили Taycan заради проблеми със спирачките
Ръководителят на проекта Porsche Taycan, Кевин Гик, подчерта, че компанията е решила да изтегли всички 150 000 продадени електрически автомобила, включително последния модел 2025, за да гарантира безопасността на клиентите Още