Досягнення описано в науковій статті, опублікованій в журналі Nature Electronics.
У новому винаході інженерів гнучкі датчики, вбудовані в тонкі і зручні рукавички, відстежують рух кожного з десяти пальців. Також в систему "перекладу" входять дві наклейки на обличчя: одна розташовується між бровами і одна - збоку від рота. Справа в тому, що міміка є частиною американської мови жестів (амслена).
Дані про рухи "мовця" відправляються на чіпи розміром близько 2,5 сантиметра (по одному на кожній рукавичці). Той передає їх по бездротовому зв'язку на звичайний смартфон, на якому встановлено спеціальний додаток зі штучним інтелектом. В результаті Жестова мова перетворюється в звукову в режимі реального часу.
У випробуваннях брали участь чотири глухих добровольця. Вони використовували 660 жестів, що означають всі букви латинського алфавіту, цифри від 0 до 9, а також цілі слова і фрази. Пристрій перекладав цю промову на звичайну американську англійську мову. Як з'ясувалося, програма правильно інтерпретувала жести в 99% випадків, витрачаючи на розшифровку кожного з них менше секунди.
Інженери вважають, що 660 знаків - це тільки початок. Комерційні моделі пристрою будуть мати куди більш солідний "словниковий запас".
Розробники також & nbsp; підкреслюють, що нова система дуже легка і зручна в носінні. Цим вона відрізняється від більш громіздких аналогів.
Крім того, наголошується, що матеріали, з яких виготовлені рукавички і наклейки, довговічні і дешеві у виготовленні.
Новинка може серйозно полегшити життя людям, які з тих чи інших причин не можуть користуватися звуковою мовою. Адже співрозмовнику не потрібно буде знати мову жестів, щоб зрозуміти, що йому хоче сказати носій диво-рукавичок.
Правда, в світі досить багато людей, які не можуть не тільки говорити, а й чути. Їм подібна розробка допоможе лише частково, адже залишається питання, як їм самим зрозуміти співрозмовника, який не володіє жестовою мовою. Втім, значна частина глухих і слабочуючих людей вміє читати по губах. Ця навичка в поєднанні з новими рукавичками може забезпечити повноцінний діалог з людиною, яка не вміє спілкуватися жестами.
З іншого боку, пристрій можна використовувати і для навчання нормально чує людини мови жестів. Система буде в реальному часі повідомляти учня, чи говорить він на цій мові саме те, що хоче сказати. Це дозволить всім бажаючим ефективно тренуватися при мінімальній участі людини-інструктора. А чим більше в світі буде людей, що володіють мовою жестів, тим комфортніше він буде для тих з нас, хто може спілкуватися тільки на цій мові.
Відзначимо, що на даний момент система переводить тільки амслен на американський звуковий Англійська. Адаптація до інших мов зажадає як мінімум навчання штучного інтелекту на новому масиві даних (а підготовка такого масиву - це, як правило, дуже трудомісткий процес). Може трапитися і так, що доведеться переписувати код програми. Але у всякому разі" залізо " напевно залишиться незмінним, а це вже півсправи.