476
В Microsoft создали инструменты, которые не позволят пользователям обманывать чат-ботов с ИИ
— Технологии&Авто
Microsoft пытается сделать так, чтобы пользователям было сложнее обманывать чат-ботов с искусственным интеллектом, заставляя их делать удивительные или неоднозначные вещи.
Об этом пишет Bloomberg.
Для этого компания разработала специальные инструменты, которые встроены в Azure AI Studio — сервис, позволяющий создавать персонализированных ИИ-помощников.
Эти инструменты содержат специальные prompt shields, цель которых состоит в выявлении и блокировании преднамеренных попыток заставить ИИ-модель вести себя непредсказуемым образом.
Кроме этого, Microsoft борется с indirect prompt injections, когда хакеры вставляют вредные инструкции в обучающие данные, заставляя модель выполнять такие незаконные действия, как хищение информации или захват системы.
В Microsoft объясняют, что новые средства защиты призваны обнаруживать подозрительные входящие данные и блокировать их в режиме реального времени. Компания также внедряет функцию, которая предупреждает пользователей, когда модель придумывает что-либо или генерирует ошибочные ответы.
Microsoft стремится повысить доверие к своим инструментам генеративного ИИ, которыми сейчас пользуются как потребители, так и корпоративные клиенты.
В феврале компания расследовала инциденты, связанные с чат-ботом Copilot, который генерировал ответы, варьировавшиеся от странных до вредных. После анализа инцидентов Microsoft заявила, что пользователи намеренно пытались ввести Copilot в заблуждение, чтобы он генерировал ответы.
По материалам: mezha.media
Поделиться новостью
Также по теме
ТОП-10 новых легковушек января (инфографика)
Сапфировый безель и зарядка от солнца: Casio анонсировала новую модель часов Oceanus Manta
Mercedes-Benz представил новый бронированный автомобиль S-класса для мировых лидеров
Hyundai выпустила яркого конкурента Audi S6 (фото)
ТОП-10 лучших городских автомобилей с пробегом
Представлены часы с функцией майнинга Bitcoin (фото)
