35
OpenAI приостановила разработку новой модели Astra — она стала слишком автономной и опасной
— Технологии&Авто
OpenAI приостановила часть внутренней работы над будущей моделью искусственного интеллекта Astra после того, как во время тестирования она показала высокие результаты в программировании агентов и кибербезопасности.
В компании заявили, что модель могла приблизиться к уровню возможностей, при котором способна самостоятельно проводить сложные кибератаки.
Что об этом известно
По результатам предварительной оценки OpenAI, Astra могла достичь определенного компанией «критического порога кибербезопасности». Речь идет о способности ИИ самостоятельно находить уязвимости и создавать функциональные эксплойты для защищенных систем или разрабатывать и выполнять сложные стратегии без подробных инструкций человека.
В OpenAI отметили, что продолжают тестирование модели, однако пока не могут исключить достижение ею такого уровня возможностей.
В соответствии с внутренней «Рамочной системой готовности» компания уже усилила меры безопасности и приостановила часть внутренней работы с Astra, которая не отвечает новым требованиям.
«В соответствии с нашей Рамочной системой готовности, модель достигает критического порога в сфере кибербезопасности, если она способна самостоятельно выявлять и разрабатывать функциональные эксплойты нулевого дня любого уровня сложности для многих защищенных реальных критически важных систем без вмешательства человека, или разрабатывать и выполнять новые сквозные стратегии, имея общую конечную цель.
Хотя мы продолжаем тестировать и оценивать эту модель, наши предварительные оценки указывают на достаточно высокие результаты производительности, поэтому мы не можем исключить достижения критического уровня возможностей", — говорят в OpenAI.
Astra все еще находится на этапе разработки и не была вовлечена в инцидент с уязвимостью платформы Hugging Face, отметили в компании.
OpenAI также сотрудничает с государственными учреждениями и организациями, специализирующимися на безопасности ИИ, чтобы провести дополнительные оценки возможностей модели.
В компании объяснили, что решили публично сообщить о приостановлении работы, поскольку считают важной прозрачность потенциальных рисков мощных моделей искусственного интеллекта.
По материалам: Finance.ua
Поделиться новостью
