Nvidia: стойки Groq будут запущены в этом году после покупки за 20 миллиардов долларов

Nvidia сообщила о полномасштабном производстве стоек Groq 3 LPX. Это событие отмечает начало коммерческого использования технологий, полученных в результате крупнейшей сделки по приобретению в истории компании.

По словам старшего директора Nvidia Диона Харриса, стойки Groq будут развернуты вместе с центральными процессорами Vera и графическими процессорами Rubin в облачной инфраструктуре Nebius. Ожидается, что они будут полностью введены в эксплуатацию к концу текущего года.

Ускоренная разработка и выпуск чипов Groq подчеркивают растущую важность низколатентного инференса. Эта технология необходима для создания отзывчивых AI-агентов, которые могут быстро обрабатывать запросы пользователей, особенно в задачах кодирования, без заметных задержек. Nvidia отмечает, что облачные провайдеры могут устанавливать более высокие цены на такие сервисы.

"Для тех, кто занимается обработкой токенов, это открывает возможность предлагать премиальные уровни обслуживания пользователям и клиентам, которые действительно требуют самых строгих соглашений по чувствительности к задержкам", – заявил Харрис.

В декабре прошлого года Nvidia завершила приобретение активов у стартапа по производству чипов Groq за 20 миллиардов долларов – это самая крупная сделка в истории компании.

Архитектура Groq включает 500 мегабайт высокоскоростной SRAM, интегрированной непосредственно на кристалле чипа. Это позволяет минимизировать узкие места, связанные с памятью. Чипы Groq производятся компанией Samsung, в то время как графические процессоры Nvidia изготавливает Taiwan Semiconductor Manufacturing (TSMC).

Nvidia упаковывает 256 отдельных чипов Groq 3 в свои стойки LPX. Согласно данным Artificial Analysis, стойка Nvidia Groq 3 LPX способна обрабатывать 3400 токенов в секунду.

Рынок высокопроизводительных вычислений для AI становится все более конкурентным. Например, компания Advanced Micro Devices (AMD) ранее в этом году объявила об интеграции своих серверных систем с чипами от Cerebras. Cerebras, недавно вышедшая на биржу, также фокусируется на низколатентном инференсе. OpenAI в своем новом режиме Ultrafast обещает скорость до 750 токенов в секунду, и этот режим "работает на базе Cerebras".

Чипы с низкой задержкой, такие как Groq, не заменяют собой GPU. GPU являются основой для большинства вычислений в AI, они способны выполнять как обучение моделей, так и инференс, а также обладают гибкостью для адаптации к новым технологиям и моделям. Чипы Groq в основном ориентированы на фазу "декодирования" в процессе обслуживания моделей.

"Речь не идет о замене GPU", – пояснил Харрис. "Речь идет об использовании подходящей цены и подходящего процессора для нужной части рабочей нагрузки".

Nvidia в настоящее время наращивает поставки своих систем Vera Rubin, производство которых началось ранее в этом году. На презентации Vera Rubin и Groq 3 LPX в марте генеральный директор Nvidia Дженсен Хуанг спрогнозировал совокупные продажи в размере 1 триллиона долларов от текущего поколения чипов Blackwell и новых систем Vera Rubin к 2027 году.

Тогда же Хуанг заявил, что четверть серверных мощностей, предназначенных для приложений кодирования, будет выделена под чипы Groq.

"Остальная часть моего центра обработки данных – это на 100% Vera Rubin", – добавил Хуанг.

Nvidia представит свой финансовый отчет в среду.