Компания Bosgame продемонстрировала, как с помощью её производительных мини-ПК M5 AI можно запустить в локальном режиме языковую модель DeepSeek-V3.1, насчитывающую 671 млрд параметров. Для реализации этой задачи потребовалось объединить всего семь таких устройств.
Модель M5 AI, анонсированная в прошлом году, базируется на процессоре Ryzen AI Max+ 395 и в максимальной модификации комплектуется 128 ГБ оперативной памяти. Разумеется, даже столь продвинутая аппаратная платформа в одиночку не способна вместить столь масштабные нейросети, однако разработчики наглядно доказали возможность масштабирования системы.
Масштабирование реализовано через интерфейс USB4 Direct Connection, благодаря чему несколько отдельных мини-ПК объединяются в единый вычислительный кластер. Получившееся решение обходится значительно дешевле традиционных серверных систем аналогичной производительности, демонстрируя при этом скромное энергопотребление.
Суммарно из семи узлов формируется кластер с 896 ГБ унифицированной памяти, из которой под нужды графического процессора выделяется до 672 ГБ. Прямое соединение по стандарту USB4 позволяет узлам эффективно взаимодействовать напрямую, минуя необходимость развертывания сложной централизованной серверной инфраструктуры.
Представители Bosgame подчеркивают удобство такого подхода: пользователи могут начать с приобретения одного мини-ПК, а по мере возникновения потребности в дополнительных вычислительных ресурсах докупать новые модули, постепенно наращивая мощность кластера.
На момент релиза в прошлом году топовая конфигурация отдельного устройства оценивалась примерно в 1700 долларов, тогда как в настоящее время производитель просит за мини-ПК 2800 долларов.
