3282
OpenAI исследовала, почему даже самые лучшие модели ИИ галлюцинируют
— Технологии&Авто
OpenAI представила результаты масштабного исследования о том, почему большие языковые модели искусственного интеллекта, например GPT-5, продолжают галлюцинировать, и можно ли что-то с этим сделать.
Авторы сравнивают нейросети с учениками на экзамене: если ответ «не знаю» приносит ноль баллов, выгоднее рискнуть и выдать хоть какой-нибудь ответ. Такая методика поощряет галлюцинации, потому что при ней остается небольшой шанс, что ИИ угадает правильный ответ.
По мнению авторов, причина кроется в самой системе оценки. Популярные бенчмарки — от MMLU до SWE-bench — используют бинарный принцип «верно/неверно». В результате модели вынуждены угадывать, а не честно признавать неуверенность. Это хорошо видно из таблицы ниже:
Хотя у GPT-5-Thinking-mini заметно более низкая доля ошибок, по метрике точности она немного уступает более старой o4-mini и в тестах, основанных только на точности, оказывается позади.
«После тысяч тестовых вопросов модель угадывания в конечном итоге выглядит лучше в рейтинге, чем аккуратная модель, допускающая неопределенность», — пишет OpenAI.
В OpenAI предлагают доработать систему оценок: за уверенную ложь давать больший штраф, чем за честное «я не знаю», а за правильное выражение неопределенности начислять частичные баллы. Авторы считают, что такое перераспределение баллов снизит стимул к угадыванию.
В компании также отмечают, что удалось значительно сократить количество галлюцинаций в GPT-5, хотя модель все еще не идеальна. Ранее пользователи жаловались, что ответы ИИ стали более короткими и неудовлетворительными, даже при запросах о творческих задачах.
👉🏻 Не пропускайте главного — присоединяйтесь к нам в Telegram, Facebook и Instagram.
По материалам: УНІАН
Поделиться новостью
Также по теме
Украина получила из Германии бронемашины боевой поддержки (фото)
Audi детально рассказала об обновленных A5 и S5 2026 года
Примерзли к стеклу: как быстро разморозить дворники
На рынок выйдет аналог Tesla Model S от Toyota (фото)
Украинцы теряют интерес к дизельным автомобилям
Anthropic представила ИИ для работы с файлами для обычных пользователей
