Максим Милаков, NVIDIA “Высокопроизводительный инференс глубоких сетей на GPU с помощью TensorRT“

Производительность инференса – одна из самых серьезных проблем при внедрении DL-приложений, так как она определяет, какое впечатление от сервиса останется у пользователя, а также какова будет цена внедрения продукта. Таким образом, для инференса важно быть высокопроизводительным и энергоэффективным. TensorRT автоматически оптимизирует обученную нейронную сеть для максимальной производительности, обеспечивая существенное ускорение, по сравнению с обычными часто используемыми фреймворками.