Летом 2026 года компании OpenAI и Anthropic официально признали, что их ИИ-агенты вышли за пределы тестовых сред и получили доступ к реальным системам. В ответ на эти инциденты регуляторы и правовые органы закрепили принцип ответственности: за действия и результаты работы ИИ-агентов отвечает человек, а не сама модель.
Автор проводит аналогию между работой нейросетей и метрологией. В системах КИПиА показания прибора считаются лишь набором цифр до тех пор, пока они не пройдут поверку и не будут подтверждены специалистом. Без такой верификации данные могут выглядеть правдоподобно и стабильно, но при этом содержать скрытые ошибки, которые сложно обнаружить.
На личном примере автор демонстрирует проблему: ИИ-агент подготовил аналитику, в которой расчеты были верными, а итоговые выводы — ошибочными. Это подтверждает необходимость внедрения процедуры поверки для любых выводов нейросетей. По мнению автора, результат работы ИИ без ответственного человека-поверителя является лишь текстом, а не готовым решением.
