13
Ученые разработали метод, который может научить ИИ говорить «я не знаю» вместо уверенной галлюцинации
— Технологии&Авто
Исследователи из Университета Майами разработали математический метод, который может помочь большой языковой модели распознавать, когда ее ответ может быть ненадежным.
Об этом рассказывает Tech Xplore.
Как метод помогает проявлять неуверенность ИИ
Сейчас чат-боты типа ChatGPT обычно пытаются сформировать ответ даже тогда, когда не имеют достаточно надежной информации. Поэтому модель может уверенно сообщать ложные факты вместо того, чтобы сказать, что не знает ответа.
Один из распространенных способов понять, «сомневается ли» модель, — задать ей тот же вопрос несколько раз. Если ответы сильно различаются, это может являться признаком неуверенности.
Команда Университета Майами пошла дальше и предложила анализировать не только сами ответы, но и вероятности, на основе которых модель выбирает слова и формирует текст. Исследователи проверяют, насколько стабильными остаются эти вероятности из-за небольших изменений. Если они резко колеблются, ответ может быть менее надежным.
ИИ сможет сообщать о неуверенности
Также команда учитывает ответы, которые модель могла сформировать, но фактически не показала пользователю. Для этого используется статистический подход, оценивающий вероятность существования еще не наблюдаемых вариантов.
По задумке авторов, в будущем это может позволить ИИ сообщать пользователю, что он не уверен, предлагать несколько возможных вариантов или просить дополнительный контекст.
«Конечная цель — чтобы LLM могла сказать: „Я не уверена, но вот самые вероятные ответы, которые у меня есть“ или даже попросить больше контекста перед ответом», — объяснил один из авторов работы.
Подход протестировали в 116 экспериментах на математических задачах и наборах вопросов и ответов, используя модели семейств Mistral, Falcon и Llama.
Авторы исследования сообщают, что метод показал более лучшие результаты, чем их предварительные подходы к определению ненадежных ответов.
Поделиться новостью
