Google: благодаря OpenCL механизм л..

Google: благодаря OpenCL механизм логического вывода в TensorFlow ускорится вдвое

Google выпустила для своей платформы TensorFlow на Android новый механизм логического вывода, работающий на мобильных ускорителях через OpenCL. Он доступен в последней версии библиотеки TensorFlow Lite, и компания утверждает, что движок обеспечивает двукратное превосходство по скорости по сравнению с существующим модулем на основе OpenGL при исполнении моделей ИИ разумного размера .

google_blagodarya_opencl_mehanizm_logicheskogo_vyvoda_v_tensorflow_uskoritsya_vdvoe_1.jpg

Khari Johnson / VentureBeat

OpenGL развивается уже три десятилетия как не привязанный к платформе API для рендеринга 2D и 3D. Вычислительные шейдеры были добавлены в версии OpenGL ES 3.1, но команда TensorFlow заявила, что из-за обратной совместимости этот API не позволяет реализовать в полной мере потенциал графических процессоров. С другой стороны, OpenCL с самого начала разрабатывался как стандарт для вычислений с использованием различных ускорителей и лучше подходит для реализации механизма логического вывода на мобильных ускорителях. Это заставило команду TensorFlow провести исследование и в конечном итоге перейти на движок на основе OpenCL.

google_blagodarya_opencl_mehanizm_logicheskogo_vyvoda_v_tensorflow_uskoritsya_vdvoe_2.jpg

Скорость логического вывода при исполнении модели MNASNet 1.3 на некоторых устройствах Android (ЦП, OpenGL и OpenCL)

Благодаря поддержке FP16 и других особенностей ГП в новом механизме логического вывода TensorFlow некоторые старые ускорители вроде Adreno 305 2012 года теперь смогут работать в полную силу. В некоторых случаях прирост оказывается более чем двукратным. Например, при работе поисковой нейронной системы MNASNet 1.3 через новую библиотеку TensorFlow задержки были уменьшены со 100 мс на Vivo Z3 с движком на основе OpenGL до 25 мс с новой версией на базе OpenCL. В другом тесте с алгоритмом обнаружения объектов SSD MobileNet v3 на Huawei Mate 20 также сократил задержки с почти 100 мс до менее чем 25 мс.

google_blagodarya_opencl_mehanizm_logicheskogo_vyvoda_v_tensorflow_uskoritsya_vdvoe_3.jpg

Скорость логического вывода при исполнении модели SSD MobileNet v3 на некоторых устройствах Android (ЦП, OpenGL и OpenCL)

Google отметила, что OpenCL не является частью стандартного дистрибутива Android, что делает новую библиотеку недоступной для некоторых пользователей. В качестве временной меры TensorFlow Lite теперь проверяет наличие OpenCL и, если API недоступен, переключается на движок на базе OpenGL.

Видео

Программное обеспечение

bolee_1100_vebsaytov_perestanut_otkryvatsya_v_internet_explorer_v_noyabre_default.png

Более 1100 веб-сайтов перестанут открываться ...

  • Окт 29, 2020
  • 266

Некогда популярный веб-браузер Internet Explorer постепенно уходит в прошлое. Последняя его версия, всё ещё присутствующая в Windows 10, была выпущена...

Игры

everwild_lishilas_tvorcheskogo_rukovoditelya_no_v_rare_ne_unyvayut_default.jpg

Everwild лишилась творческого руководителя, н...

  • Окт 30, 2020
  • 180

Портал Video Games Chronicle (VGC) со ссылкой на студию Rare сообщил, что команда разработки приключенческого экшена Everwild потеряла одного из своих...

Наверх