Новости Golunoid.ru





Уважаемые друзья!
Проекту нужна Ваша помощь и Вы можете нам помочь!


Мы очень надеемся на Вашу помощь и поддержку! Всем спасибо, кто уже помогает нам на Boosty и готов помогать развивать проект!

Всем, кто поможет нашему проекту, будет предоставлен доступ к эксклюзивному контенту, а также выслано приглашение в закрытый чат рекомендаций.

ТемыВсе

Реакция читателя

Наука и Технологии
2016-03-29 11:20:50

Компьютер научили читать по губам

Компьютер научили читать по губам

Ученые из университета Ист-Англии создали систему машинного обучения, которая умеет читать по губам. Работа была представлена на конференции ICASSP в Шанхае, детали исследования редакция N+1 выяснила у одного из авторов исследования Хелен Бир (Helen Bear).

Система, созданная программистами следит за речью человека при помощи видеокамеры.Для обучения ее классификаторов авторы работы использовали скрытую марковскую модель, а также разработали новый метод, который будет потенциально применим для нейросетей. 

Чтобы научить систему читать по губам, исследователи разделили речь на две составляющие: фонемы и виземы, которые являются визуальным эквивалентом фонем. Основная сложность заключалась в том, что фонем в речи больше, чем визем, поэтому ученые создали двухуровневую иерархическую структуру.

Сначала они обучали классификаторы соотносить виземы с различными звуками, в качестве материала для обучения используя записи речи людей. Затем, ученые увеличивали количество классификаторов. Например, если виземе V1 соответствуют фонемы P1, P2 и P3, то в системе должно существовать три копии виземы V1. После этого классификаторы обучались второй раз, после чего система уже могла распознавать речь.

Работоспособность системы специалисты проверяли на двух моделях. Первая подразумевала «языковую» модель, то есть распознавание непрерывной речи, а вторая — «фонемную» модель. В обоих случаях процент успеха пока достаточно невелик — слова система распознает с точностью до 10-15 процентов, фонемы — до 25 процентов. Тем не менее, ученые замечают, что это значительное продвижение по сравнению с прошлыми результатами.

В будущем исследователи планируют усовершенствовать свою технологию, которая сможет найти применение для таких ситуаций, когда голоса на записи плохо различимы или отсутствует или испорчена аудиодорожка. «Потенциально, система чтения по губам может быть применена для различных целей, от развлечения до расследования преступлений» — замечает один из авторов работы.

Ранее британские исследователи во главе с Эндрю Симпсоном (Andrew Simpson) из Университета Суррея создали искусственную нейронную сеть, вычленяющую голос из посторонних шумов. Эта задача является первым шагом к решению проблемы так называемого «эффекта вечеринки».



Теги:
#компьютер



Социальные сети
Обсудить эту новость можно в VK или Telegram, а также можете поделиться материалом в месседжере или социальной сети



Новости на другие темы


Актуальные новости раздела
Другие новости
В начало



Последние публикации


© 2011-2023 Golunoid
Design & Development: 2004-2023 Comrasoft