ИИ-модель Microsoft превзошла резул..

ИИ-модель Microsoft превзошла результат человека в тесте на понимание естественного языка SuperGLUE

Москва, 15 января 2021 г. Алгоритм понимания естественного языка (Natural Language Understanding, NLU) Microsoft DeBERTa превзошел человеческие возможности в одном из самых сложных тестов для подобных алгоритмов SuperGLUE. На данный момент модель занимает первое место в рейтинге с показателем в 90,3, в то время как среднее значение человеческих возможностей составляет 89,8 баллов.

iimodel_microsoft_prevzoshla_rezultat_cheloveka_v_teste_na_ponimanie_estestvennogo_yazyka_superglue_1.jpgРейтинг алгоритмов по прохождению теста SuperGLUE

Тест SuperGLUE включает в себя ряд задач, которые разработаны для оценки способности ИИ-моделей распознавать и понимать естественный язык, например, дать правильный ответ на вопрос на базе прочитанного абзаца, определить, правильно ли используется многозначное слово в определенном контексте и т.д. Тест был разработан группой исследователей в 2019 году. Когда был представлен SuperGLUE, разрыв между самой эффективной моделью и показателями человека в таблице лидеров составлял почти 20 баллов.

Для того чтобы добиться текущего результата в 90,3 балла, DeBERTa получила масштабное обновление архитектуры: теперь она состоит из 48 слоев и имеет 1,5 млрд параметров. Microsoft сделает публичной модель и ее исходный код. Кроме того, DeBERTa будет интегрирована в следующую версию Тьюринговой модели Microsoft Turing (Turing NLRv4).Тьюринговые модели используются в таких продуктах Microsoft, как Bing, Office, Dynamics и Azure Cognitive Services, чтобы совершенствовать, к примеру, взаимодействие с чат-ботами, предоставление рекомендаций и ответов на вопросы, поиск, автоматизацию поддержки клиентов, создание контента и решение многих других задач на пользу сотен миллионов пользователей.

iimodel_microsoft_prevzoshla_rezultat_cheloveka_v_teste_na_ponimanie_estestvennogo_yazyka_superglue_2.jpgАрхитектура модели DeBERTa

В отличие от других моделей, DeBERTa учитывает не только значения слов, но и их позиции и роли. К примеру, в предложении a new store opened beside the new mall (англ. новый магазин открылся рядом с торговым центром) она может понять, что близкие по контекстному значению store (магазин) и mall (торговый центр) играют разные синтаксические роли (подлежащим здесь является именно store). Более того, она способна определять зависимость слов друг от друга. Например, DeBERTa понимает, что зависимость между словами deep и learning гораздо сильнее, когда они стоят рядом (термин глубокое обучение), чем когда они встречаются в разных предложениях.

Несмотря на то, что модель DeBERTa превзошла человеческие показатели в тесте SuperGLUE, это не означает, что ИИ-модель достигла уровня человека в понимании естественного языка. В отличии от машин, люди хорошо умеют использовать знания, ранее полученные при выполнении различных задач, для решения новых это называется композиционным обобщением (англ. compositional generalization). Поэтому, несмотря на многообещающие результаты DeBERTa в тесте, необходимо продолжить исследования, для того чтобы развить у модели этот навык.

Microsoft активно работает над усовершенствованием технологий искусственного интеллекта. Так, в октябре 2020 года был представлен прогрессивный ИИ-алгоритм для автоматической генерации подписей к изображениям, которые во многих случаях оказываются более точными, чем написанные людьми. Это позволит сделать продукты и сервисы Microsoft еще более инклюзивными и доступными для большего количества пользователей. В первую очередь, автоматическое описание помогает людям с нарушениями зрения при работе с документами или веб-страницами, а также в целом позволяет получить доступ к содержимому любого изображения, к примеру, при поиске или подготовке презентаций.

Видео

Мониторы и проекторы

vognutyi-igrovoi-monitor-msi-optix-mag272cqp-obladaet-podderzhkoi-amd-freesync-premium-i-night-vision_1.jpg

Вогнутый игровой монитор msi optix mag272cqp ...

  • Мар 04, 2021
  • 521

Компания MSI представила монитор Optix MAG272CQP для настольных систем игрового уровня: применена матрица VA вогнутой формы с диагональю 27 дюймов и р...

Windows

ustranenie-oshibki-bsvcprocessorexe-prekratil-rabotu-v-windows-10_1.png

Устранение ошибки bsvcprocessor.exe прекратил...

  • Фев 18, 2021
  • 626

Удаление программ и их остатковРассматриваемый файл является частью программного обеспечения Bing Bar, поставляющийся с некоторыми редакциями десятки....

Наверх