Исследователи Google повышают планку для искусственного интеллекта

Исследователи Facebook совместно с Google DeepMind, Вашингтонским университетом и Нью-Йоркским университетом представили SuperGLUE — серию тестовых задач для измерения производительности искусственного интеллекта, распознающего речь.

Как сообщает habr, SuperGLUE была создана на основе нейронной сети Google BERT. Производительность BERT, как сообщает VentureBeat, превзошла такие модели, как MT-DNN от Microsoft, XLNet от Google и RoBERTa от Facebook, которые обеспечивают высокую производительность — выше среднего базового уровня человека.

Предшественником SuperGLUE стал бенчмарк General Language Understanding Evaluation (GLUE), который был разработан в апреле 2018 года исследователями из Нью-Йоркского университета, Университета Вашингтона и компанией DeepMind. SuperGLUE на порядок сложнее GLUE и будет, по планам разработчиков, стимулировать создание моделей, способных воспринимать более тонкие речевые нюансы.

SuperGLUE будет включать в себя восемь задач для проверки способности системы следовать за мыслью, распознавать причину и следствие и отвечать на вопросы «да» или «нет».

«Современные системы ответов на вопросы ориентированы на пустячные вопросы, например, есть ли у медузы мозг. Эта система идет дальше, требуя от машин проработать подробные ответы на открытые вопросы, такие как «Как медузы функционируют без мозга?» — говорится в сообщении Facebook.

Чтобы помочь исследователям создать надежный ИИ для понимания языка, Нью-Йоркский университет также выпустил обновленную версию Jiant — универсального инструмента для понимания текста. Jiant настроен для работы с HuggingFace PyTorch BERT и OpenAI GPT, а также тестами GLUE и SuperGLUE.

Результаты работы SuperGLUE будут публиковаться на super.gluebenchmark.com.