До сих для подолання комунікативного бар'єру між глухими і чують людьми завжди був необхідний третя людина - той, хто пройшов навчання мові жестів. Але новий перекладач, здатний перетворити жести в усну та письмову мову (і навпаки), може допомогти позбавленим слуху людям придбати нове коло спілкування, в тому числі і серед тих, хто не навчений розуміти мову жестів.

Команда дослідників з Китаю розробила перекладач на базі персонального комп'ютера, камери і пристрої Kinect , Здатний розпізнавати жести і потім виробляти усний та письмовий переклад для чує людини - англійською або китайською мовами. Система здатна діяти і навпаки, розпізнаючи вимовлені вголос слова. Аватар, що відображається на екрані, відтворить сказане за допомогою жестів. "Розмова" може відбуватися в режимі реального часу, так як переклад здійснюється оперативно.

Спочатку датчики Kinect, здатні розпізнавати рухи рук і тіла і переводити їх в різні команди, були розроблені для ігрових цілей. У червні 2011 року компанія Microsoft випустила Kinect для Windows Software Development Kit , Що дозволило зробити дану технологію доступною і для наукового використання.

Для того щоб зібрати дані з реального світу і точно відкалібрувати алгоритми перекладача, розробники проекту залучили групу викладачів і студентів з Пекінського об'єднаного університету ( Beijing Union University ). Серед учасників була талановита молода студентка Даньдань Інь (Dandan Yin), яка сказала, що дослідники проекту втілили її дитячу мрію, створивши машину для людей з порушеннями слуху.

Професор Сілін Чень ( Xilin Chen ), Заступник директора Інституту обчислювальних технологій при Китайській академії наук, провів останні десятиліття, вивчаючи мову жестів. "Ми знали, що інформаційні технології, особливо технології комп'ютерні, розвиваються дуже швидко, - сказав він. - Так що з моєї точки зору, настав час, коли можна використовувати деякі технології для допомоги людям, що страждають порушеннями слуху. Технологія машинного навчання і розпізнавання шаблонів здатна аналізувати не тільки сам жест, але і руху і пози, щоб правильно інтерпретувати сенс жесту ".

Представлений пристрій на даний момент знаходиться в фазі прототипу. Розробникам ще належить виконати величезний обсяг роботи для "введення" жестів в програму. Для розпізнавання одного слова необхідна робота п'яти чоловік, а зараз в запасі у перекладача є тільки 300 з 4 тисяч запланованих китайських слів. До всього іншого, англійську і китайську мови жестів сильно відрізняються один від одного, а розробники в ідеалі хотіли б, щоб розуміння відбувалося незалежно від національності.

фахівці з Microsoft Research Connections , Microsoft Research Asia , Китайської академії наук ( Chinese Academy of Sciences ), Пекінського об'єднаного університету працюють над цим проектом. Всі вони сподіваються, що нова технологія допоможе відкрити цілий новий світ можливостей приблизно 360 мільйонам глухих або слабочуючих людей. Планується, що одного разу система охопить не тільки англійську і китайську, а й все що вживаються мови світу.

Передбачається, що новий пристрій буде використано в місцях, де спілкування між чують і глухими неминуче, наприклад, в інформаційному кіоску аеропортів або в кабінетах лікарів. Така новинка забезпечить позбавлених слуху людей новими можливостями для спілкування і, звичайно ж, новими робочими місцями.

Також по темі:
На Україні створені рукавички, які переводять з мови жестів
У МФТІ навчили комп'ютер розуміти жести
"Яндекс" вчить телевізори розуміти мову жестів
Вчений з Благовещенська навчив комп'ютер "дізнаватися" людей
Служби на мові жестів стануть регулярними
Японські окуляри замінять мандрівникам перекладача