Facebook представила систему распознавания речи wav2vec-U

Facebook разработала систему распознавания речи wav2vec Unsupervised (wav2vec-U). В компании заверяют, что технология не требует транскрибированных данных; в нее можно просто загрузить образцы речи и случайный текст на нужном языке. Система сама распознает слова и фразы и соотнесет их со словарем, передает habr.com.

Wav2vec-U начинается с изучения структуры речи в представленном отрывке аудио. Система разбивает запись на речевые единицы, которые приблизительно соответствуют отдельным звукам. Чтобы научиться распознавать слова в аудиозаписи, Facebook обучила генеративную состязательную сеть (GAN). Генератор берет каждый аудиосегмент и предсказывает фонему, соответствующую звуку на языке. Первоначально транскрипции получались очень плохие, признают в компании, но со временем и с учетом обратной связи дискриминатора они стали точнее.

Facebook протестировала wav2vec-U на таких языках, как суахили и татарский, для которых в настоящее время недоступны высококачественные модели распознавания речи, поскольку им не хватает данных для обучения. Система показала на 63% меньше ошибок, чем предыдущая аналогичная технология. В качестве исходных данных в нее загрузили почти 10 часов речи и 3 000 написанных фраз. 

Новая модель Facebook AI - это последняя разработка за несколько лет работы над моделями распознавания речи. Ее предшественниками стали wav2letter, wav2vec, Librilight, wav2vec 2.0, XLSR и wav2vec 2.0.