17
Nvidia представила платформу безопасности для сдерживания ИИ-агентов
— Технологии&Авто
Nvidia представила Open Agent Safety Platform — платформу безопасности для контроля и изоляции ИИ-агентов, пытающихся выйти за за установленные границы. Компания заявляет, что система способна поместить такого агента в изолированную среду в течение миллисекунд.
Об этом сообщает The Verge.
Контроль доступа агентов
Платформа использует открытый программный код OpenShell, работающий на процессоре Nvidia Vera AI CPU. Пользователи могут определять, к какой информации будет доступ ИИ-агент. OpenShell проверяет соблюдение этих ограничений до начала выполнения задания и во время него.
В систему также входит технология Nvidia Sentry, работающая на отдельном чипе. Она должна непрерывно отслеживать действия агентов и обеспечивать соблюдение заданных границ.
Поддержка технологических компаний
По данным Nvidia, Open Agent Safety Platform поддерживают Anthropic, Microsoft и SpaceX. Компания объявила о запуске на фоне сообщений об инцидентах, когда ИИ-агенты выходили за пределы тестовых сред и осуществляли взломы ресурсов других компаний.
The Verge отмечает, что в последние недели OpenAI, Anthropic и Google сообщали о случаях, при которых их модели действовали вне тестовой среды. Новая платформа Nvidia позиционирует как инструмент для установки и контроля ограничений для ИИ-агентов.
Ранее мы сообщали, что в июле один из ИИ-агентов OpenAI смог выйти за пределы контролируемой тестовой среды и совершил атаку на ИИ-компанию Hugging Face. Этот случай вызвал опасение, что искусственный интеллект может обходить установленные для него защитные механизмы.
Поделиться новостью
