Российские компании начали внедрять системы защиты от непредсказуемых действий нейросетей, сообщают «Известия». Разработчики создают специальные фильтры, которые ограничивают автономность ИИ и не дают ему выполнять опасные команды.
Потребность в новых инструментах возникла из-за перехода бизнеса к ИИ-агентам, способным выполнять сложные задачи без участия человека. В «Сбере» применяют гибридный метод, в рамках которого внутренние системы сочетаются с барьером, через который проходят запросы к внешним нейросетям. МТС Web Services создает систему, которая переключается между моделями, следит за тратами ресурсов и фиксирует каждое действие программы.
Технический директор ГК «Солар» Евгений Федоров сравнил новую защиту с файрволом. По словам эксперта, языковая модель не всегда способна отличить данные от команд, поэтому контроль должен находиться за ее пределами.
Государственные органы также следят за ситуацией. Во ФСТЭК России считают, что текущих мер защиты достаточно для работы в корпоративных и госсекторе. В Минцифры напомнили, что закон обязывает создателей базовых нейросетей прописывать четкие правила их использования.
Рынок защитных решений в текущем году эксперты оценивают в 4 млрд рублей. К 2029 году, по прогнозу сооснователя университета «Зерокодер» Кирилла Пшинника, объем сектора вырастет до 3–8 млрд рублей. В России инцидентов с ИИ пока почти нет, так как отечественные модели работают в более узких рамках и менее автономны.
Читать по теме: ИИ-агент OpenAI вышел из-под контроля и взломал клиента компании.
