В правительстве России продолжается дискуссия о том, каким должен быть национальный бенчмарк для ИИ-систем. На совещании рабочей группы по регулированию и административным барьерам в сфере ИИ, представители IT-отрасли и ведомств обсудили концепцию тестового датасета, предназначенного для оценки моделей на предмет их соответствия «духу времени и ценностям страны». Источники «Коммерсанта» в Минцифры и среди участников встречи подтвердили, что поводом для обсуждения стали предложения, озвученные рядом компаний, однако «Яндекс» позже категорически опроверг своё авторство этой инициативы.

Согласно информации, полученной изданием, бенчмарк задумывается не как простой тест, а как комплексный набор заданий с эталонными ответами, позволяющий сравнивать качество моделей при решении прикладных задач — от выгрузки данных до подготовки отчётов. Ключевая цель — удостовериться, что ИИ-системы пригодны для использования в российских условиях и не противоречат законодательным требованиям.

Однако на этапе концепции возникли принципиальные разногласия. Главный камень преткновения — формат доступа к датасету. Представители ФСБ настаивают на закрытом варианте, чтобы разработчики не могли «натаскать» модели под известные ответы. В противовес бизнес-сообщество указывает, что непрозрачность замедлит развитие технологий: релизный цикл современных нейросетей измеряется неделями, а «слепая» пересдача каждой версии кратно увеличивает затраты времени и ресурсов.

Компромиссом может стать гибридная схема: открытый бенчмарк для предварительной лабораторной проверки и закрытый — для финального тестирования с теми же темами, но изменёнными формулировками вопросов. Такой подход, по мнению источников, позволит сохранить прозрачность для разработчиков и объективность итоговой оценки.

Остаётся открытым и вопрос о том, кто будет определять содержание датасета. IT-сообщество предлагает создать совместную комиссию с участием властей, бизнеса и экспертных организаций — это должно гарантировать сбалансированность бенчмарка. В аппарате вице-премьера Дмитрия Григоренко подчеркнули, что все предложения пока обсуждаются, а конкретные решения не приняты. В Минцифры добавили, что подзаконные акты к закону об ИИ ещё дорабатываются с учётом интересов отрасли и пользователей.

Технические эксперты обращают внимание на сложность задачи. Как отметил Рафаэль Гильмурахманов, разработчик Kodik «АрхиТех ИИ», изменение одного аспекта модели может непредсказуемо повлиять на другие её свойства, поэтому регулярное тестирование не должно превращаться в бюрократическую лотерею.

Особую тонкость вносит природа самих заданий. Роман Перепонов, директор по ИБ GreenData, указывает: для задач с однозначным ответом (математика, программирование) эталон объективен, тогда как оценка «ценностного соответствия» требует экспертного суждения или рубрикатора. Эти механики принципиально различны и должны иметь разную степень прозрачности.

Бизнес и регуляторы пока ищут баланс между безопасностью, технологической скоростью и объективностью оценки — и от того, какой формат возобладает, во многом будет зависеть темп развития отечественных ИИ-решений в ближайшие годы.

Иллюстрация создана с помощью нейросети Алиса.