33
ИИ-агенты потребляют в 136 раз больше энергии на запрос, чем чат-боты — исследование
— Технологии&Авто
Новое исследование KAIST впервые количественно оценило вычислительные затраты и энергопотребление ИИ-агентов — систем, способных самостоятельно размышлять и выполнять сложные задачи.
Команда пришла к выводу, что они могут потреблять в 136,5 раза больше энергии на один запрос, чем обычный генеративный искусственный интеллект, вроде чата.
ИИ-агенты требуют гораздо больше ресурсов
Современные приложения на базе больших языковых моделей, вроде ChatGPT, постепенно выходят за пределы систем, которые просто дают ответы на вопросы. Они эволюционируют у ИИ-агентов, которые могут самостоятельно планировать действия, использовать внешние инструменты, в частности, веб-поиск и среды выполнения кода, а также решать сложные многошаговые задачи.
Несмотря на быстрое внедрение ИИ-агентов, до сих пор почти не было данных о том, сколько ресурсов требуется для их работы. Команда под руководством профессора Минса Ру из Школы электротехники KAIST впервые систематически изучила эти расходы в условиях реального использования.
Количество вычислительных запросов существенно растет
Анализ показал, что агенты гораздо чаще обращаются к большим языковым моделям (LLM), чем традиционные системы с методом пошагового рассуждения (Chain-of-Thought). Каждое обращение учитывается как отдельный вычислительный запрос.
Из-за многократных обращений значительно возрастает и время ответа. Исследователи установили, что задержка может увеличиваться в 153,7 раза. В то же время GPU простаивают до 54,5% всего времени исполнения, поскольку система ожидает завершения операций внешних инструментов. Другими словами, это создает новый тип неэффективности, при котором дорогостоящие графические процессоры используются далеко не в полную мощность.
Энергопотребление может достигать половины уровня США
Команда также оценила энергопотребление ИИ-агентов по масштабам дата-центров. Агент с языковой моделью на 70 млрд параметров — масштабом, сравнимым с современными коммерческими ИИ-сервисами — в среднем потреблял 348,41 Вт·ч электроэнергии по одному запросу. Это в 136,5 раза больше, чем нужно обычному генеративному ИИ для ответа на простой вопрос.
Кроме того, исследователи смоделировали сценарий, при котором агенты будут обрабатывать 13,7 млрд запросов в день (объем, эквивалентный текущему поисковому трафику Google). В таком случае суммарная потребность дата-центров в электроэнергии достигла бы 198,9 ГВт, что значительно превышает мощность современных центров обработки данных искусственного интеллекта, проектируемых на уровне нескольких гигаватт, и равна примерно половине среднего энергопотребления США.
По материалам: mezha.media
Поделиться новостью
