Развитие современной робототехники все чаще опирается на интеграцию генеративных моделей искусственного интеллекта. Однако в отличие от традиционных алгоритмов, архитектура таких систем менее предсказуема, что создает новые риски для взаимодействия роботов с людьми. Для решения этой проблемы была основана компания Safeworld, которая выходит из режима скрытности с инвестициями в размере более 12 млн долларов.
Основание и цели компании Safeworld
Стартап возглавили эксперты в области ИИ и робототехники: доктор Динг Чжао, возглавляющий лабораторию Safe AI в Университете Карнеги-Меллона, ветеран стартап-индустрии Кайл Вонг и инженер по машинному обучению Симо Рашиди. Раунд посевного финансирования возглавили компании Shine Capital и a16z Speedrun. Также в проект вложились Box Group, эндаумент Университета Карнеги-Меллона, Innovation Endeavors и SV Angel.
По словам Джонатана Лаи из a16z Speedrun, создание отраслевых стандартов безопасности необходимо именно сейчас, пока идет проектирование и активное развертывание робототехнических систем. Эксперты отмечают, что попытка решить вопросы безопасности уже после того, как роботы начнут сталкиваться с людьми в быту, будет неэффективной мерой.
Методология тестирования в виртуальных симуляциях
Основная специализация Safeworld заключается в оценке роботизированных систем управления в цифровых средах, заполненных реалистичными моделями человеческого поведения. Компания сталкивается с тем же вызовом, что и разработчики беспилотного транспорта: необходимо гарантировать адекватную реакцию системы на широкий спектр неожиданных инцидентов. Однако для роботов задача усложняется работой в неструктурированных пространствах и разнообразием требований к безопасности на различных объектах.
Кайл Вонг привел пример с «слепыми зонами» на производстве. Safeworld создает цифровую копию такого участка, используя платформы типа Genesis или MuJoCo, и интегрирует туда оцениваемого робота под управлением его реального ПО. Затем система прогоняет тысячи сценариев, где виртуальные люди ведут себя непредсказуемо, включая ситуации падения или передвижения с грузом. Это позволяет избежать травматичного тестирования в реальности.
Важность независимой верификации безопасности
Основатели Safeworld убеждены, что создателям роботов необходима третья сторона для валидации их разработок, что позволит обмениваться данными о критических инцидентах между конкурентами. Динг Чжао подчеркивает, что основная сложность заключается в масштабируемом развертывании, где операторами могут выступать люди, не имеющие опыта работы с роботехникой.
Одним из первых партнеров стартапа стала компания Gritt Robotics, разрабатывающая «мозг» для роботов, помогающих при установке солнечных панелей на промышленных объектах. Технический директор Gritt Robotics Вишал Дугар подтверждает, что в их сфере формальное доказательство безопасности через математические уравнения невозможно — необходима эмпирическая проверка. Роботы должны корректно распознавать человека в любых конфигурациях: стоя, сидя, при ходьбе, беге или случайном падении, вне зависимости от одежды, роста или телосложения.
На данный момент Safeworld находится на этапе формирования бизнес-модели, выбирая между форматом платформы для внешних пользователей и моделью сервисного обслуживания. Динг Чжао выразил уверенность, что компания станет прибыльной, так как спрос на услуги по верификации безопасности будет расти параллельно с масштабированием внедрения роботов с ИИ в повседневную жизнь и промышленность.
Технические сложности и работа с «неструктурированной» средой
Динг Чжао выделяет две фундаментальные составляющие безопасности, без которых невозможно масштабное развертывание роботов. Первая — это продвинутые вероятностные оценки (probabilistic evals) для генеративного ИИ, позволяющие количественно определить риски системы. Вторая — это вопрос доверия. По мнению эксперта, именно сочетание математической оценки вероятности с фактором доверия является главным камнем преткновения для индустрии.
Основной вызов для Safeworld — непредсказуемость реальных условий эксплуатации. В отличие от автомобилей, которые движутся по дорогам с относительно регламентированными правилами, роботы работают в неструктурированных средах, где каждое предприятие имеет свои уникальные стандарты безопасности. Ключевая задача симуляций, по словам Кайла Вонга, заключается в поиске точных ответов на конкретные вопросы: какова безопасная дистанция остановки робота, чтобы избежать столкновения с человеком в конкретном «слепом» коридоре на заводе? И что произойдет, если в руках у человека будет груз — сможет ли система распознать рабочего?
Эмпирическая верификация против формальных методов
Вишал Дугар, технический директор Gritt Robotics, работающий над созданием ИИ-мозга для роботов, занятых в строительстве и установке солнечных панелей, отмечает бессилие традиционных подходов. По его словам, для систем на базе ИИ невозможно составить набор математических уравнений, которые формально докажут безопасность робота. «Это обязательно должно быть сделано эмпирически», — подчеркивает Дугар.
В этой области критически важна вариативность данных. Разработчики должны учитывать не только поведение людей, но и их физические характеристики: рост, комплекцию, цвет кожи, особенности одежды и всевозможные позы — от стояния и коленопреклонения до бега и случайных падений. Традиционные методы тестирования требуют «физического» исполнения каждого из этих сценариев с реальным оборудованием, что крайне затратно и опасно. Симуляции Safeworld позволяют прогнать тысячи итераций подобных инцидентов без риска повреждения дорогостоящей техники или травмирования персонала.
Перспективы рынка и независимая экспертиза
Основатели компании уверены: даже при наличии собственных инструментов тестирования, производители роботов будут стремиться к услугам третьей стороны. Независимая экспертиза Safeworld позволит не только подтвердить надежность конкретного робота, но и создать базу знаний о «пограничных случаях» (edge cases), которой смогут пользоваться участники рынка, не раскрывая конфиденциальных данных друг другу. Динг Чжао убежден, что такой подход обеспечит компании финансовый успех: «Мы, вероятно, станем первой прибыльной компанией в этой сфере, потому что каждый, кто хочет развернуть роботов, должен будет заплатить нам за обеспечение безопасности этого процесса».
