Александр Шалимов — Методы ускорения инференса нейронных сетей на примере видеоаналитики

Ближайшая конференция VideoTech: #VideoTech #Работасвидео #IT #conference #jugrugroup Спикер осветит актуальные вопросы применения и оптимизации нейронных сетей в реальных условиях. На примере задачи обработки видео с камер дорожного наблюдения и обнаружения транспортных средств продемонстрирует, как методы оптимизации могут значительно улучшить производительность нейронных сетей, применяемых в видеоаналитике. Цель – продемонстрировать эффективность применения методов оптимизации, таких как квантизация и использование аппаратно-ориентированных библиотек. Александр покажет, что техники и подходы, которые они используют, можно обобщить и применить в любой области, где используются нейронные сети. Погрузимся в детали проблемы низкой эффективности многих современных нейронных сетей при переносе их в реальные условия и рассмотрим конкретные решения, которые помогли команде преодолеть эти проблемы. Особое внимание уделим сравнению производительности инференса, написанного на Python и на С , роли правильного выбора языка программирования, а также оптимизации работы с памятью при ускорении нейронных сетей. Результатом работы над оптимизацией стало значительное увеличение производительности – с 8 FPS до 30 FPS на конечном устройстве Jetson NX без существенного ухудшения метрик. Это подтверждает, что с правильными методами и подходами даже самые сложные и требовательные к ресурсам модели могут быть оптимизированы для эффективного использования в реальных условиях. Доклад будет полезен специалистам по машинному обучению, разработчикам в области видеоаналитики и всем, кто заинтересован в повышении эффективности нейронных сетей. Скачать презентацию с сайта —