Комитет IO500 принял решение исключить системы хранения данных, базирующиеся на решениях Sugon ParaStor F9000, из списка Production рейтинга IO500. Причиной стало несоответствие требованиям к воспроизводимости результатов, на что обратил внимание Гленн К. Локвуд. В результате перестановок первое место в списке Production вернул суперкомпьютер Aurora, использующий файловую систему DAOS.
Обоснование решения комитета IO500
Рейтинг IO500 является аналогом списка TOP500, но оценивает производительность систем хранения данных в сфере высокопроизводительных вычислений (HPC). Основное внимание уделяется показателям пропускной способности и операциям ввода-вывода (I/O). Согласно заявлению комитета, системы Sugon, представленные организацией SCNet на конференции ISC26, были переведены в список Research. Это решение обосновано недостатком общедоступной архитектурной документации и ограниченной доступностью самой файловой системы ParaStor, что не позволяет независимым исследователям верифицировать результаты.
Критерии для включения в список Production
Для попадания в список Production стандарт IO500 требует высокой степени прозрачности. Архитектура системы должна быть достаточно детализирована, а программное обеспечение — доступно для широкого использования, чтобы другие специалисты могли понять и при необходимости воспроизвести показатели производительности. Например, используемая в системе Aurora файловая система DAOS является проектом с открытым исходным кодом, имеет обширную документацию и публично доступные требования к аппаратному обеспечению.
Технические показатели представленных систем
На ISC26 компания SCNet подала две заявки на базе технологий ParaStor: AICS-A и AICS-B. Система AICS-A, задействовавшая 500 узлов и 64 000 процессорных ядер, продемонстрировала показатель IO500 на уровне 79 110,05 балла при пропускной способности 26 888,39 ГиБ/с. В свою очередь, система AICS-B (10 узлов, 2560 ядер) получила оценку 7 839,30 балла с пропускной способностью 2 551,40 ГиБ/с. Эти результаты значительно превышали показатели системы Aurora, построенной на Intel Optane и DAOS, которая в аналогичных тестах набрала 32 165,90 и 2 885,57 балла соответственно.
Ситуация с другими проприетарными архитектурами
Исключение систем Sugon из основного рейтинга — не единственный прецедент для IO500. В категории Research уже находятся другие проприетарные решения, включая архитектуры Huawei OceanFS и SuperFS. Лидером списка Research сейчас является система CloudBrain из лаборатории Pengcheng с накопителями Huawei OceanStor A800, чья оценка в IO500 составляет 603 334,56 балла. Стоит отметить, что, несмотря на маркировку «проприетарная» для CloudBrain, заявка SCNet изначально получила отметку «полностью воспроизводимая», что и стало предметом для последующего пересмотра статуса после более глубокого анализа архитектурных данных.
Детализация результатов и технологический контекст
Для понимания масштаба производительности, продемонстрированной системой SCNet AICS-A, стоит обратить внимание на показатели метаданных. В ходе тестов система достигла уровня 232 754,76 kIOPS, тогда как более компактная AICS-B показала 24 086,69 kIOPS. Для сравнения, аналогичные показатели системы Aurora в категории Production составили 102 785,41 kIOPS. Таким образом, превосходство SCNet в итоговом зачете было весьма значительным: общий балл AICS-A оказался примерно в 2,46 раза выше, чем у Aurora, а в категории 10-клиентских систем решение SCNet было быстрее в 2,72 раза (7 839,30 против 2 885,57 балла).
Важно подчеркнуть, что сам рейтинг IO500 концептуально близок к списку TOP500. В него часто попадают уникальные, единственные в своем роде суперкомпьютеры. Однако, в отличие от общего рейтинга суперкомпьютеров, IO500 предъявляет строгие требования к методологии для систем, претендующих на включение в категорию Production. Основная сложность заключается в том, что высокопроизводительные системы хранения — это зачастую крайне специфические сборки с использованием экзотического оборудования и кастомных параллельных файловых систем.
Тем не менее, критерии комитета подразумевают возможность независимого анализа. Хотя от любого исследователя было бы странно ожидать попытки воспроизвести 230-петабайтную систему хранения данных Aurora в условиях дата-центра или, тем более, в частном порядке, сама архитектура Intel/DAOS допускает аудит на меньших масштабах. Поскольку DAOS — это открытое программное обеспечение с исчерпывающей документацией, любой эксперт может изучить принципы работы системы, требования к «железу» и реализации программного уровня.
В противовес этому, ParaStor от Sugon классифицируется как проприетарное решение с гораздо меньшим уровнем прозрачности. По мнению комитета IO500, именно нехватка общедоступных технических данных и ограниченная доступность самой файловой системы для сторонних специалистов препятствуют проведению независимой экспертизы, необходимой для подтверждения результатов на уровне стандарта Production. Аналогичные проблемы с закрытостью архитектуры касаются и многих других китайских разработок, что автоматически переводит их в список Research.
Любопытно, что в текущем списке Research лидерство удерживает система CloudBrain лаборатории Pengcheng с накопителями Huawei OceanStor A800 и файловой системой OceanFS. Она демонстрирует впечатляющие 603 334,56 балла при скорости последовательного чтения 8 291,11 ГиБ/с и случайной производительности на уровне 43 903 983,64 KIOPS. Тот факт, что заявки CloudBrain и CloudBrain-II в графе «воспроизводимость» имеют отметку «проприетарная», делает изначальное присвоение статуса «полностью воспроизводимая» для системы SCNet-A в рамках Production-списка еще более противоречивым моментом, который, очевидно, и привел к последующему пересмотру итогов теста ISC26.
_large.jpg "США ужесточают контроль: китайские сетевые инверторы под угрозой запрета")
