Компания Anthropic представила исследовательскую систему FlashProve, предназначенную для проверки подлинности ответов нейросетей. Технология использует криптографические доказательства, чтобы подтвердить, что результат сгенерирован именно заявленной моделью, а не подставным алгоритмом.
Механизм работает по принципу цифровых подписей в электронной почте. Разработчики публикуют криптографические «отпечатки» нейросетей, которые позволяют сопоставить ответ с конкретной моделью. При этом веса нейросети остаются скрытыми, что делает систему применимой для коммерческих решений с закрытой архитектурой.
Система позволяет защититься от подмены моделей, когда поставщик услуг может незаметно переключить запрос на более дешевый или дорогой вариант. FlashProve также полезна для подтверждения того, что критически важные задачи, например проверка кода на уязвимости, выполнялись именно передовой моделью.
Техническая спецификация и исходный код компонентов FlashProve опубликованы на GitHub под открытой лицензией. На текущий момент Anthropic не планирует внедрять систему в свои продукты или другие лаборатории, предлагая сообществу изучить и доработать предложенный механизм.
