369
В Microsoft создали инструменты, которые не позволят пользователям обманывать чат-ботов с ИИ
— Технологии&Авто
Microsoft пытается сделать так, чтобы пользователям было сложнее обманывать чат-ботов с искусственным интеллектом, заставляя их делать удивительные или неоднозначные вещи.
Об этом пишет Bloomberg.
Для этого компания разработала специальные инструменты, которые встроены в Azure AI Studio — сервис, позволяющий создавать персонализированных ИИ-помощников.
Эти инструменты содержат специальные prompt shields, цель которых состоит в выявлении и блокировании преднамеренных попыток заставить ИИ-модель вести себя непредсказуемым образом.
Кроме этого, Microsoft борется с indirect prompt injections, когда хакеры вставляют вредные инструкции в обучающие данные, заставляя модель выполнять такие незаконные действия, как хищение информации или захват системы.
В Microsoft объясняют, что новые средства защиты призваны обнаруживать подозрительные входящие данные и блокировать их в режиме реального времени. Компания также внедряет функцию, которая предупреждает пользователей, когда модель придумывает что-либо или генерирует ошибочные ответы.
Microsoft стремится повысить доверие к своим инструментам генеративного ИИ, которыми сейчас пользуются как потребители, так и корпоративные клиенты.
В феврале компания расследовала инциденты, связанные с чат-ботом Copilot, который генерировал ответы, варьировавшиеся от странных до вредных. После анализа инцидентов Microsoft заявила, что пользователи намеренно пытались ввести Copilot в заблуждение, чтобы он генерировал ответы.
По материалам: mezha.media
Поделиться новостью
