64
Клавіатуру Gboard навчать розуміти мову жестів через камеру смартфона
— Технології&Авто
Google готує масштабне оновлення для своєї клавіатури Gboard, яке може стати справжнім проривом у сфері інклюзивності. Компанія розробляє функцію Sign-to-Text, що дозволить перетворювати рухи рук безпосередньо у письмовий текст за допомогою камери смартфона.
Про це пише видання Android Authority.
Магія штучного інтелекту в дії
Дослідники Google DeepMind тривалий час розробляли інструменти штучного інтелекту для інтерпретації мови жестів, і тепер ці напрацювання з’явилися в останній бета-версії Gboard.
Нова система базується на просунутій моделі SignGemma, яку фахівці анонсували минулого року. Вона поєднує можливості машинного зору та потужність нейромереж для розпізнавання складних жестів у реальному часі.
Приватність і технічні нюанси
Google обрала гібридну схему роботи для забезпечення конфіденційності користувачів:
- смартфон обробляє відео безпосередньо на пристрої, щоб виділити лише «сирі» дані про рухи та жести;
- потім ці координати надсилаються в хмару Google для фінального аналізу та вилучення слів.
Такий підхід гарантує, що реальне відео з обличчям та оточенням людини не залишається в пам’яті телефона, що значно посилює захист приватних даних.
Під час аналізу коду програми знайшли службові повідомлення, які допоможуть правильно налаштувати процес: «відійдіть трохи далі», «перемістіться у світліше місце» або «тримайте руки в кадрі для кращої видимості».
Поки залишається відкритим питання підтримки різних регіональних варіантів, адже американська мова жестів (ASL) суттєво відрізняється від української, британської чи інших версій, що існують у світі.
Попри те, що функція ще перебуває на стадії розробки, вона обіцяє стати найважливішим інструментом доступності в історії Gboard, відкриваючи нові горизонти для вільного спілкування мільйонів людей.
За матеріалами: Телеканал 24
Поділитися новиною
