RISC-V против Nvidia: серверы Tenstorrent Galaxy Blackhole бросают вызов GB300

Стартап Tenstorrent, специализирующийся на разработке ИИ-ускорителей на базе архитектуры RISC-V, представил новые серверы Galaxy Blackhole. Компания утверждает, что их решение способно успешно конкурировать с мощнейшими графическими процессорами Nvidia, включая модель GB300, как по чистоте производительности, так и по экономической эффективности генерации токенов.

В режиме Blitz, который специально оптимизирован для выполнения задач ИИ с низкими задержками, серверы Galaxy демонстрируют впечатляющие показатели при работе с моделью DeepSeek-R1–0528 671B:

• Декодирование: скорость обработки достигает 350+ токенов в секунду, что, по заявлениям Tenstorrent, превосходит по пропускной способности системы вывода от Groq и Cerebras.
• Предварительное заполнение (prefill): время до получения первого токена составляет менее 4 секунд при объеме контекста 100K.

Согласно представленным данным, показатели производительности и себестоимости генерации токенов у системы Tenstorrent выглядят более привлекательно, чем у GPU уровня GB300, хотя стоит учитывать, что это результаты тестов в специфических сценариях использования.

Кроме того, Tenstorrent продемонстрировала десятикратное превосходство в задачах генеративного видео (Video GenAI). Система способна создать 5-секундный видеоролик (81 кадр в разрешении 720p) всего за 2,4 секунды, опережая реальное время.

Технические особенности архитектуры

Основой чипов Blackhole является ядро Tensix, в состав которого входят пять RISC-процессоров. Каждое такое ядро оснащено векторными блоками, блоками умножения матриц и собственной локальной SRAM. Все компоненты полностью программируемы и связаны через высокоскоростной сетевой центр управления, что позволяет объединять несколько ядер в рамках одного кристалла.

Серверная стойка Tenstorrent Galaxy Blackhole с воздушным охлаждением поступит в продажу по цене от 110 000 долларов. Технические характеристики системы включают: