Никита Савинов — Как мы делали новую iOS-камеру ВКонтакте и VK Клипов

Ближайшая конференция: Mobius 2023 Autumn — 1–2 ноября (Online), 9-10 ноября (Offline, Санкт-Петербург) Подробности и билеты: — — Никита опишет камеру ВКонтакте с продуктовой точки зрения до прихода команды VK Клипов. Он расскажет, какой API предоставляет Apple для взаимодействия с системной камерой (фреймворк AVFoundation) и какая обертка была написана поверх этого API. Затем он опишет то, чего не хватало клипам — умения распознавать на кадрах жесты и лица и сегментировать людей и небо. Он объяснит построение флоу фильтров для кадров с камеры и поделится техниками использования моделей CoreML для распознавания. Вы услышите про способы решения проблем с перфомансом, про то, как менять fps для камеры, и про кастомные форматы. В докладе также описывается польза EXIF-формата и устройство Camera FOV. Спикер расскажет про замеры работы ML-моделей и Apple ARKit-распознавания и объяснит, зачем имплементировать AR Session. Он покажет их решение проблемы совместной работы AR и AV-сессий и их архитектурную реализацию новой камеры. Доклад будет полезен всем, кто хочет реализовать более умную камеру, чем классическая (на старт/стоп съемки), а также тем, кто ни разу не собирал свою камеру в iOS. Технологии: AVFoundation, ARKit, CoreML, Swift. #video #ar