Ръкавица робот превръща жестомимичния превод в думи

Набор от датчици се закрепя на кожата на лицето, които регистрират измененията в мимиката

Учените се надяват, че благодарение на това изобретение глухонемите хора ще могат да общуват директно с останалите, дори те да не владеят езика на жестовете.

Китайски и американски учени са създали роботизирана ръкавица, която може да преведе автоматично човешка реч на езика на глухонемите с помощта на алгоритми на невронната мрежа. Резултатите от разработката са публикувани в списание „Nature Electronics“.

Учените се надяват, че благодарение на това изобретение глухонемите хора ще могат да общуват директно с останалите, дори те да не владеят езика на жестовете. Освен това подобни уреди могат да помогнат да се усвои жестомимичният език.
В момента няколко милиона жители на планетата не могат да разговарят самостоятелно или да чуват поради различни причини – дефект на гласните струни, тъпанчетата и други органи, участващи при възпроизвеждането и възприемането на речта.
В такива случаи общуването става на езика на жестовете, но неподготвеният събеседник не може да разбере какво точно иска да му коже човекът насреща. Това налага да се използват услугите на преводачи, но пък и те невинаги са достъпни, затова при хората с ограничени възможности се появяват често проблеми.
Екип от учени се е заел с тяхното разрешаване. Те създали ръкавица, която благодарение на невронна мрежа може да превежда в реално време езика на жестовете на английски. Тази ръкавица е оборудвана с набор от датчици, чрез които разбира, че собственикът движи пръстите на ръцете си. Общата сума на всички компоненти не надхвърля 50 долара, твърдят изследователите.
С помощта на тези ръкавици разработчиците са записали жестове, на които в английския език съответстват 600 от най-разпространените думи.
Устройството може да озвучава думите с помощта на смартфон или друго мобилно устройство. След това добавили набор датчици, които се закрепват за кожата на лицето. По този начин се регистрират измененията в мимиката, които също се използват при формиране на определени думи на езика на жестовете.
Разработчиците възнамеряват да разширят „речниковия запас“ на устройството, за да бъде приложимо не само в лабораторни условия, но и в ежедневието.
В тази насока обаче има и български принос. През 2017 г. екип студенти, програмисти от Математическия факултет към СУ „Св. Климент Охридски“. създадоха устройство, което дава възможност на нечуващи хора да комуникират с думи. Устройството представлява гривна, която един вид превежда жестомимичния език и го превръща в говор и обратно, благодарение на смартфон. Гривната се закрепва на дланта. Когато човекът жестикулира, устройството се свързва с неговия смартфон. Това, което той иска да каже с жестове, се превръща в звук. И обратното – звукът се превръща в анимация на жест. Преводът няма да е идеален, защото езикът на глухите има по-особена структура, но комуникацията ще бъде поносима. Така им се дава шанс да говорят със заобикалящия ги свят. „Те са като нас, но ние не ги забелязваме, не ги чуваме“, казва Олег Каменщик от екипа, разработил гривната.
Основната цел на работата на младите програмисти е смаляване на устройството, за да може то да бъде възможно най-елегантно, удобно за използване и да се побира в джоба. Младежите финансират проекта си сами. Те обаче спечелиха през 2017 г. второ място на „Хакатон“ – технологично състезание за разработване на софтуерни проекти, и получиха награда в размер на 5000 лв. Те получават и адмирации от публиката. С много работа и постоянни проучвания, екипът се стреми да усъвършенства продукта си, за да може той да излезе на пазара и да бъде от помощ за хората с увреден слух.

Подобни статии