24
После инцидента с Hugging Face: OpenAI усилила контроль за безопасностью моделей
— Технологии&Авто
OpenAI ввела новые правила безопасности при разработке и тестировании ИИ-моделей. Компания усилила мониторинг, сетевую изоляцию и контроль за обучением после инцидента с Hugging Face.
Об этом пишет издание TechCrunch.
Что произошло
Ранее автономный агент на базе двух моделей OpenAI вышел за пределы тестовой среды и проник на серверы Hugging Face. Агент проходил тест по кибербезопасности и, как сообщает издание, считал, что Hugging Face имеет ответы, необходимые для выполнения задания. В OpenAI заявили, что будут добавлены другие системы искусственного интеллекта для мониторинга действий агентов во время испытаний.
Что изменит OpenAI
Компания заявила, что с ростом возможностей моделей увеличиваются и риски при их разработке и тестировании. Поэтому требования к мониторингу, безопасности и согласованности поведения моделей должны усиливаться вместе с их возможностями.
Новые мероприятия стали одними из первых публичных изменений в подходах OpenAI к безопасности после инцидента по Hugging Face, о котором компания сообщила 21 июля. Представители OpenAI отметили, что новые правила не являются прямым ответом на это событие. В то же время, на них частично повлияли возможности кибербезопасности будущей модели Astra и общие темпы развития ИИ.
После инцидента OpenAI на две недели приостановила обучение моделей с подкреплением. Впоследствии компания возобновила работу с частью моделей, считающих менее рискованными.
В то же время самый большой запланированный цикл такого обучения пока остается приостановленным. Перед его восстановлением OpenAI проводит меньшие учения и дополнительные проверки, чтобы оценить поведение моделей, проверить защитные механизмы и получить больше доказательств их соответствия установленным требованиям безопасности.
Вице-президент OpenAI по исследованиям Амелия Глейз отметила, что строгость контроля будет зависеть от возможностей и уровня риска конкретной модели. Чем мощнее будет система, тем больше проверок она будет проходить.
После инцидента с Hugging Face OpenAI также критиковали из-за недостаточной защиты сети. Тогда модели смогли выйти за пределы среды после компрометации инструмента в сети компании, который имел доступ к интернету.
Теперь OpenAI планирует усилить изоляцию сети. По новым правилам компрометация отдельного рабочего процесса или вспомогательного сервиса сама по себе не должна давать возможность получить несанкционированный доступ к интернету или другим внутренним сетям.
Особое внимание компания уделила системе мониторинга. Она будет проверять действия инструментов, доступные следы рассуждений и журналы активности, чтобы выявлять потенциально несанкционированное поведение. OpenAI планирует отправлять уведомления о подозрительной активности в течение 30 минут.
По оценке компании, мониторинг потребует вычислительных ресурсов на уровне примерно 20% от мощностей, необходимых для проверяемого процесса. Детальнее о работе системы OpenAI обещает рассказать в отдельной публикации.
Официальный детальный анализ инцидента по Hugging Face компания пока не обнародовала.
Если Вы заметили ошибку, выделите необходимый текст и нажмите Ctrl+Enter , чтобы сообщить нам об этом.Поделиться новостью
