Американският стартъп Cerebras Systems, известен със своите иновации в областта на чиповете за машинно обучение, представи новата си платформа Cerebras Inference, която е обявена за най-мощната в света за изводи в изкуствения интелект. Тази платформа, базирана в облака, се стреми да предложи сериозна конкуренция на решенията на NVIDIA, които доминират в момента на пазара.

Cerebras Inference използва ускорителите WSE-3, изработени по 5 nm процес на TSMC. Тези чипове са истински чудовища в света на полупроводниците, съдържайки 4 трилиона транзистора, 900 000 ядра и 44 GB SRAM памет. Това води до впечатляваща обща пропускателна способност на вградената памет от 21 байта/сек и вътрешна междусистемна връзка със скорост от 214 байта/сек. В сравнение, NVIDIA H200 предлага „само“ 4,8 байта/сек, което подчертава значителното предимство на Cerebras.

Според Cerebras, тяхната нова платформа за изводи осигурява до 20 пъти по-висока производителност в сравнение с конкурентните решения, базирани на NVIDIA чипове, в хиперскалерни услуги. В случай на работа с модела за изкуствен интелект Llama3.1 8B, Cerebras Inference осигурява производителност до 1800 токена в секунда на потребител, докато при Llama3.1 70B скоростта достига до 450 токена в секунда. За сравнение, тези стойности при AWS са съответно 93 и 50 токена в секунда, а най-добрият резултат за NVIDIA H100 е 128 токена в секунда за Llama3.1 70B.

Cerebras също така подчертава, че тяхната платформа поддържа 16-битово ниво на точност за целия процес на извод, без да жертва производителността. Това прави Cerebras Inference изключително привлекателно решение за приложения, които изискват висока точност и производителност.

Ценовата политика на Cerebras също е изключително конкурентна, като услугите за извеждане на изводи струват значително по-малко от тези на конкурентите. Например, таксата за обработка на 1 милион токена при Llama3.1 8B е 0,1 долара, а за Llama3.1 70B – 0,6 долара. Таксите се изчисляват на база използваните услуги, което прави платформата достъпна за широк кръг потребители.

Cerebras планира да предоставя услуги за изводи чрез API, съвместим с OpenAI, което означава, че разработчиците, които вече използват модели като GPT-4, Claude или Mistral, могат лесно да мигрират към Cerebras Inference без значителни промени в кода си.

Платформата предлага различни нива на обслужване, включително Enterprise план с персонализирани модели и специализирана поддръжка, както и стандартен Developer Tier с абонаменти от 0,1 USD за 1 милион токена. Наличен е и безплатен достъп на начално ниво с ограничения.

Cerebras Systems вярва, че стартирането на тази платформа ще открие нови възможности за прилагане на генеративен изкуствен интелект в разнообразни индустрии и приложения.