266
Nvidia представила чат-бот, який працює без інтернету
— Технології&Авто
Компанія-виробник графічних процесорів Nvidia представила новий інструмент Chat with RTX, який є багатообіцяльним чат-ботом зі штучним інтелектом. The Verge протестував програму і назвав її трішки «сирою», але корисною.
Що вміє чат-бот?
Chat with RTX може аналізувати відео на YouTube. Просто введіть URL-адресу, і він зможе знайти певні згадки у транскриптах або підсумувати все відео у текстовому вигляді.
Це потребує лічених секунд, однак поки не все ідеально, наприклад, були виявлені несправності під час пошуку відомостей у транскрипціях відео, або ж чат-бот використовував для пошуку зміст іншого ролика.
«Замість того, щоб шукати в нотатках або збереженому вмісті, користувачі можуть просто вводити запити», — пише Nvidia в блозі. «Наприклад, можна запитати: „Який ресторан рекомендував мій партнер під час перебування в Лас-Вегасі?“, і Chat with RTX просканує локальні файли, на які вказує користувач, і надасть відповідь із контекстом».
Chat with RTX використовує Mistral, а також Llama 2 від Meta, Nvidia попереджає, що завантаження всіх необхідних файлів зможе зайняти від 50 до 100 ГБ пам’яті, пише TechCrunch.
Зараз Chat with RTX працює з текстовими форматами, PDF, .doc, .docx і .xml. Також можна отримати відповіді на основі інформації з YouTube.
Nvidia визнає, що на релевантність відповідей програми може впливати цілий ряд факторів, зокрема формулювання запитання, продуктивність вибраної моделі та розмір набору даних для точного налаштування.
Технічні вимоги
Chat with RTX заснований на двох мовних моделях — Mistral та Llama 2. Цей інструмент працює безпосередньо на вашому комп’ютері, тому нема потреби підключатися до інтернету. Головна умова — мати операційну систему Windows, графічний процесор RTX серій 30 або 40 з відеопам'яттю не менше 8 ГБ.
Що стосується встановлення програми, це триває близько 30 хвилин і вимагає значних ресурсів вашого ПК. Вона важить майже 40 ГБ, а його екземпляр Python використовує близько 3 ГБ із 64 ГБ оперативної пам’яті. Після запуску ви отримуєте доступ до Chat with RTX через браузер, а у фоновому режимі працює командний рядок.
Важливо зазначити, що Chat with RTX наразі є демоверсією для розробників і має свої обмеження та недоліки.
Завантажити Chat with RTX можна безкоштовно з офіційного сайту Nvidia.
За матеріалами: Ain.Ua
Поділитися новиною
