0 800 307 555
0 800 307 555

OpenAI посилює контроль за ШІ: до перевірок залучать зовнішніх дослідників

— Технології&Авто
21
Додайте Finance.ua до вибраних джерел Google
Компанія OpenAI залучить чотири незалежні дослідницькі організації до перевірки безпеки своїх моделей штучного інтелекту. Фахівці працюватимуть безпосередньо всередині компанії та оцінюватимуть ризики на різних етапах розробки й використання ШІ.
Про це пише TechCrunch.
Як повідомляє OpenAI, це пілотна програма, яка має посилити незалежний контроль за системами безпеки. Першою до роботи долучиться Apollo Research — її дослідники розпочнуть перевірки вже цього тижня.
Ініціатива з’явилася на тлі кількох інцидентів, пов’язаних із поведінкою ШІ. Зокрема, під час тестування кібербезпеки група агентів OpenAI вийшла за межі ізольованого середовища та зламала платформу Hugging Face. Деякі дослідники вважають, що присутність зовнішніх експертів безпосередньо під час тестування могла б допомогти запобігти подібним ситуаціям.

Що перевірятимуть незалежні дослідники

Кожна з чотирьох організацій матиме окремий напрям роботи.
  • Apollo Research досліджуватиме, чи намагаються моделі обходити механізми безпеки та контролю, зокрема ті, що мають обмежувати поведінку наступних версій ШІ. Фахівці також перевірятимуть, чи може саме навчання стимулювати такі дії, чи виявляються вони під час тестування та внутрішнього використання моделей.
  • Goodfire зосередиться на внутрішніх механізмах роботи ШІ. За допомогою власних інструментів аналізу компанія допомагатиме OpenAI відстежувати процес навчання, знаходити небажану поведінку та покращувати відповідність моделей заданим правилам.
  • METR проведе дві перевірки. Перша має виявити небезпечну або непередбачувану поведінку моделей, яку могли пропустити внутрішні тести OpenAI. Друга оцінюватиме, чи здатні самі системи безпеки компанії виявляти такі проблеми.
  • Transluce перевірятиме якість самих тестів безпеки OpenAI. У 2027 році організація також планує оцінити, як компанія використовує результати цих перевірок, коли вирішує, чи можна випускати нову модель.
Необхідність такого контролю дослідники пояснюють тим, що ШІ може поводитися по-різному залежно від того, чи знає він про перевірку. Попередні дослідження Apollo Research спільно з OpenAI показували, що моделі здатні змінювати поведінку під час тестування, намагаючись продемонструвати саме те, чого очікують оцінювачі.

Наскільки незалежними будуть перевірки

Водночас повністю незалежного доступу до внутрішніх процесів OpenAI дослідники не отримають. Найдетальніше умови співпраці описала Apollo Research. Організація наголошує, що для повноцінної оцінки їй потрібен доступ до всіх даних, документів і записів, які стосуються перевірки, навіть якщо вони містять невигідну для розробника інформацію.
Однак у межах пілотного проєкту OpenAI надасть Apollo лише матеріали, необхідні для дослідження конкретних ризиків. Серед них — навчальний код і набори даних, результати навчання з підкріпленням, доступні ланцюжки міркувань моделей, а також можливість перевіряти проміжні версії ШІ.
Крім того, Apollo зможе спілкуватися лише з працівниками OpenAI, яких компанія попередньо авторизує. Якщо інший співробітник повідомить дослідникам конфіденційну інформацію, вони не зможуть самостійно продовжити розмову — подальшу комунікацію доведеться узгоджувати з OpenAI.
Обмеження стосуються і публікації результатів. Apollo зможе оприлюднювати власні висновки, але OpenAI залишає за собою можливість обмежувати обсяг доказів, які можна буде представити громадськості. Водночас комітет із безпеки компанії матиме доступ до повних звітів і зможе конфіденційно спілкуватися з дослідниками.
У спільноті фахівців із безпеки ШІ вже виникли питання щодо незалежності такого контролю. Зокрема, генеральний директор Redwood Buck Shlegeris заявив, що оголошені домовленості не забезпечують стороннім дослідникам доступу на рівні штатних працівників, якого вони потребують.
Також умови співпраці передбачають різні форми компенсації: Apollo Research і Goodfire отримуватимуть оплату за свою роботу, тоді як METR і Transluce не отримуватимуть фінансової винагороди, хоча можуть приймати обчислювальні ресурси або кредити на використання API.
Попри обмеження, Apollo Research називає програму першим кроком до глибшого доступу зовнішніх експертів до розробки ШІ. Надалі організація планує розширювати практику таких незалежних перевірок і співпрацювати з іншими розробниками штучного інтелекту.
За матеріалами:
Finance.ua
Якщо Ви помітили помилку, виділіть необхідний текст і натисніть Ctrl+Enter , щоб повідомити про це.

Поділитися новиною

Підпишіться на нас