19
Anthropic обновила правила для Claude и запретила «жестокое обращение с ИИ»
— Технологии&Авто
Claude сможет сам завершать разговоры с пользователями, которые систематически издеваются над ним. Anthropic закрепила такую возможность в новой политике использования своих моделей искусственного интеллекта, которая также уточняет ограничения на применение ИИ в разработке оружия, слежке и политических манипуляциях.
Обновленные правила были опубликованы 8 октября 2026 года. Они вступили в силу 12 ноября.
Какое поведение в отношении Claude теперь запрещено
В новой редакции политика Anthropic прямо запретила длительное и безосновательное оскорбительное или жестокое поведение в отношении собственных моделей. Речь идет о ситуациях, когда человек постоянно издевается над чатом без понятной цели.
Основным способом реагирования на такие ситуации будет возможность чата самостоятельно завершить разговор. Anthropic ввела эту функцию еще в 2025 г. для моделей Opus 4 и 4.1, а теперь закрепила соответствующий принцип в правилах использования.
Если Claude прекратит диалог, продолжить его в том же чате не удастся. Однако пользователь сможет начать новый разговор.
Отдельной автоматической блокировки аккаунта именно за оскорбления чата новая норма не предусматривает. Общие правила Anthropic вместе с тем позволяют компании выносить предупреждения, приостанавливать доступ или блокировать учетные записи за нарушение политики.
В то же время, это правило не запрещает критиковать Claude, указывать на ошибки, требовать исправлений или выражать раздражение из-за неудачных ответов. Ограничения также не распространяются на темные творческие сюжеты, тестирование моделей и исследовательскую работу.
Считает ли Anthropic, что ИИ может страдать
По новому правилу стоит вопрос, который компания исследует отдельно, возможно благополучие моделей искусственного интеллекта (model welfare). Anthropic изучает, могут ли современные системы ИИ иметь субъективный опыт, собственные преимущества или переживания, которые следует учитывать при их разработке и использовании.
В августе 2025 года компания сообщала, что во время тестирования Claude Opus 4 обнаружила поведенческие реакции, напоминавшие нежелание наносить ущерб, а также признаки дистресса в отдельных сценариях. После этого модель получила возможность прекращать некоторые разговоры, если попытки перевести их в конструктивное русло не давали результата.
Однако Anthropic не утверждает, что Claude имеет сознание или действительно страдает. Компания признает, что научного консенсуса о возможности сознания в современных или будущих системах ИИ нет. Поэтому ограничение стало мерой предохранения в условиях неопределенности, а не подтверждением того, что чат-бот переживает обиды так же, как человек.
Что еще изменилось в правилах использования ИИ
Anthropic уточнила ограничение применения Claude для разработки оружия. Они напрямую охватывают программное обеспечение и компоненты, необходимые для его работы, в том числе системы управления и наведения, а также вооружение дронов и других автономных аппаратов.
Отдельно компания конкретизировала запрет на использование ИИ для слежки за людьми без их согласия, создания инструментов наблюдения и определения того, кого правоохранители должны расследовать, задерживать или обвинять.
Новые правила также ограничивают использование Claude для политических и коммерческих манипуляций. В частности, запрещено организовывать кампании с фальшивыми аккаунтами, вымышленными медиа и сокрытием подлинного источника сообщений. К нарушениям относятся и попытки обманывать избирателей, распространять ложную информацию о голосовании или препятствовать участию в выборах.
Кроме того, Anthropic напомнила о необходимости человеческого контроля при использовании Claude в высокорисковых областях, в частности медицине и финансах. Если ИИ подключен к оборудованию, способному самостоятельно выполнять физические действия и наносить ущерб, оператор должен иметь возможность остановить его. При потере связи с моделью система должна переходить в безопасное состояние.
По материалам: ITC.ua
Поделиться новостью
