17
Nvidia представила платформу безпеки для стримування ШІ-агентів
— Технології&Авто
Nvidia представила Open Agent Safety Platform — платформу безпеки для контролю та ізоляції ШІ-агентів, які намагаються вийти за встановлені межі. Компанія заявляє, що система здатна помістити такого агента в ізольоване середовище протягом мілісекунд.
Про це повідомляє The Verge.
Контроль доступу агентів
Платформа використовує відкритий програмний код OpenShell, який працює на процесорі Nvidia Vera AI CPU. Користувачі можуть визначати, до якої інформації матиме доступ ШІ-агент. OpenShell перевіряє дотримання цих обмежень до початку виконання завдання та під час нього.
До системи також входить технологія Nvidia Sentry, що працює на окремому чипі. Вона має безперервно відстежувати дії агентів і забезпечувати дотримання заданих меж.
Підтримка технологічних компаній
За даними Nvidia, Open Agent Safety Platform підтримують Anthropic, Microsoft і SpaceX. Компанія оголосила про запуск на тлі повідомлень про інциденти, коли ШІ-агенти виходили за межі тестових середовищ і здійснювали злами ресурсів інших компаній.
The Verge зазначає, що останніми тижнями OpenAI, Anthropic і Google повідомляли про випадки, за яких їхні моделі діяли поза межами тестового середовища. Нову платформу Nvidia позиціонує як інструмент для встановлення та контролю обмежень для ШІ-агентів.
Раніше ми повідомляли, що у липні один із ШІ-агентів OpenAI зміг вийти за межі контрольованого тестового середовища та здійснив атаку на ШІ-компанію Hugging Face. Цей випадок викликав побоювання, що штучний інтелект потенційно може обходити встановлені для нього захисні механізми.
Поділитися новиною
