OpenAI усиливает контроль за ИИ: к проверкам привлекут внешних исследователей
— Технологии&Авто
21
Компания OpenAI привлечет четыре независимые исследовательские организации к проверке безопасности своих моделей искусственного интеллекта. Специалисты будут работать непосредственно внутри компании и будут оценивать риски на разных этапах разработки и использования ИИ.
Об этом пишет TechCrunch.
Как сообщает OpenAI, это пилотная программа, которая должна усилить независимый контроль над системами безопасности. Первой к работе присоединится Apollo Research — ее исследователи приступят к проверке уже на этой неделе.
Инициатива появилась на фоне нескольких инцидентов, связанных с поведением ИИ. В частности, во время тестирования кибербезопасности группа агентов OpenAI вышла за пределы изолированной среды и взломала платформу Hugging Face. Некоторые исследователи считают, что присутствие внешних экспертов непосредственно во время тестирования могло бы помочь предотвратить подобные ситуации.
Что будут проверять независимые исследователи
Каждая из четырех организаций будет иметь отдельное направление работы.
- Apollo Research будет исследовать, пытаются ли модели обходить механизмы безопасности и контроля, в том числе те, которые должны ограничивать поведение следующих версий ИИ. Специалисты также будут проверять, может ли само обучение стимулировать такие действия, оказываются ли они во время тестирования и использования моделей.
- Goodfire сосредоточится на внутренних механизмах работы ИИ. С помощью собственных инструментов анализа компания поможет OpenAI отслеживать процесс обучения, находить нежелательное поведение и улучшать соответствие моделей заданным правилам.
- METR проведет две проверки. Первая должна выявить опасное или непредсказуемое поведение моделей, которое могли пропустить внутренние тесты OpenAI. Вторая будет оценивать, способны ли сами системы безопасности компании выявлять такие проблемы.
- Transluce будет проверять качество тестов безопасности OpenAI. В 2027 году организация планирует оценить, как компания использует результаты этих проверок, когда решает, можно ли выпускать новую модель.
Необходимость такого контроля исследователи объясняют тем, что ИИ может вести себя по-разному в зависимости от того, знает ли он о проверке. Предыдущие исследования Apollo Research совместно с OpenAI показывали, что модели способны менять поведение при тестировании, пытаясь продемонстрировать именно то, чего ожидают оценщики.
Насколько независимыми будут проверки
В то же время, полностью независимого доступа к внутренним процессам OpenAI исследователи не получат. Более подробно условия сотрудничества описала Apollo Research. Организация отмечает, что для полноценной оценки ей нужен доступ ко всем данным, документам и записям, касающимся проверки, даже если они содержат невыгодную для разработчика информацию.
Однако в рамках пилотного проекта OpenAI предоставит Apollo только материалы, необходимые для исследования конкретных рисков. Среди них — обучающий код и наборы данных, результаты обучения с подкреплением, доступные цепочки соображений моделей, а также возможность проверять промежуточные версии ИИ.
Кроме того, Apollo сможет общаться только с работниками OpenAI, которых компания предварительно авторизует. Если другой сотрудник сообщит исследователям конфиденциальную информацию, они не смогут самостоятельно продолжить разговор — дальнейшую коммуникацию придется согласовывать с OpenAI.
Ограничения касаются публикации результатов. Apollo сможет обнародовать свои выводы, но OpenAI оставляет за собой возможность ограничивать объем доказательств, которые можно будет представить общественности. Вместе с тем, комитет по безопасности компании будет иметь доступ к полным отчетам и сможет конфиденциально общаться с исследователями.
У сообщества специалистов по безопасности ИИ уже возникли вопросы насчет независимости такого контроля. В частности, генеральный директор Redwood Buck Shlegeris заявил, что объявленные договоренности не обеспечивают сторонним исследователям доступ на уровне штатных работников, в котором они нуждаются.
Также условия сотрудничества предусматривают разные формы компенсации: Apollo Research и Goodfire будут получать оплату за свою работу, тогда как METR и Transluce не будут получать финансовое вознаграждение, хотя могут принимать вычислительные ресурсы или кредиты на использование API.
Несмотря на ограничения, Apollo Research называет программу первым шагом к более глубокому доступу внешних экспертов к разработке ИИ. В дальнейшем организация планирует расширять практику таких независимых проверок и сотрудничать с другими разработчиками искусственного интеллекта.
По материалам: Finance.ua
Поделиться новостью
