78
Клавиатуру Gboard научат понимать язык жестов через камеру смартфона
— Технологии&Авто
Google готовит масштабное обновление своей клавиатуры Gboard, которое может стать настоящим прорывом в сфере инклюзивности. Компания разрабатывает функцию Sign-to-Text, позволяющую превращать движения рук непосредственно в письменный текст с помощью камеры смартфона.
Об этом пишет издание Android Authority.
Магия искусственного интеллекта в действии
Исследователи Google DeepMind долго разрабатывали инструменты искусственного интеллекта для интерпретации языка жестов, и теперь эти наработки появились в последней бета-версии Gboard.
Новая система базируется на продвинутой модели SignGemma, которую специалисты анонсировали в прошлом году. Она сочетает возможности машинного зрения и мощности нейросетей для распознавания сложных жестов в реальном времени.
Конфиденциальность и технические нюансы
Google выбрала гибридную схему работы для обеспечения конфиденциальности пользователей:
- смартфон обрабатывает видео непосредственно на устройстве, чтобы выделить только «сырые» данные о движениях и жестах;
- затем эти координаты отправляются в облако Google для финального анализа и удаления слов.
Такой подход гарантирует, что реальное видео с лицом и окружающими людьми не остается в памяти телефона, что значительно усиливает защиту частных данных.
При анализе кода программы нашли служебные сообщения, которые помогут правильно настроить процесс: «отойдите немного дальше», «переместитесь в более светлое место» или «держите руки в кадре для лучшей видимости».
Пока остается открытым вопрос поддержки разных региональных вариантов, ведь американский язык жестов (ASL) существенно отличается от украинской, британской или других версий, существующих в мире.
Несмотря на то, что функция еще находится в стадии разработки, она обещает стать важнейшим инструментом доступности в истории Gboard, открывая новые горизонты для свободного общения миллионов людей.
По материалам: Телеканал 24
Поделиться новостью
