17
Anthropic создает систему для проверки подлинности ИИ-моделей
— Технологии&Авто
Anthropic представила FlashProve — систему, позволяющую проверить, действительно ли ответ пользователю предоставила заявленная модель искусственного интеллекта.
Об этом сообщили в компании.
Технология использует криптографию, чтобы предотвратить незаметную подмену моделей, в частности более дешевыми версиями.
Как работает FlashProve
Сегодня пользователи ИИ-сервисов не могут достоверно проверить, какая модель отвечает на их запросы. Например, компания может незаметно заменить более дорогую модель более дешевой, чтобы уменьшить затраты. Определить такую замену только по качеству ответа сложно.
FlashProve должна решить эту проблему с помощью криптографического подтверждения. Для этого разработчик ИИ публикует своеобразный цифровой отпечаток модели, отвечающий конкретному набору ее параметров.
Когда пользователь посылает запрос, система может создать математическое доказательство того, что ответ сгенерировала именно эта модель. Проверить его можно без доступа к внутренним параметрам ИИ.
В целом Anthropic рассматривает несколько возможных сценариев использования FlashProve. В частности, система позволит клиентам проверять, получают ли они ответы от модели, за которую заплатили. Технология также может помочь выявлять случаи, когда злоумышленники подменяют ответы ИИ или когда разработчики используют другие модели вместо заявленных.
Еще одно направление — проверка работы, которую якобы выполнил искусственный интеллект. К примеру, разработчик программного обеспечения сможет подтвердить, что его код действительно проверила на уязвимости конкретная ИИ-модель.
Кроме этого, FlashProve потенциально может помочь независимым исследователям и регуляторам проверять какие модели используют компании.
По материалам: ain
Поделиться новостью
