Евгений Толмачев. Как качать миллионы фотографий в сутки, выдержать кратный рост и не умереть?

Авито Автозагрузка — продукт, через который каждый час проходят десятки миллионов объявлений. За сутки мы скачиваем миллионы фотографий с хостингов самого разного качества и стабильности. На таком объёме данных простая на первый взгляд задача «скачай фото по ссылке» обрастает большим количеством проблем: - Что делать с медленными и нестабильными хостами. - Как не устроить DDoS-атаку на сервера клиентов. - Как обеспечить высокую производительность системы и не вызывать негатив у пользователей. Если прибавить сюда резкий кратный рост продукта, то мы получим интересную историю о том, как за год мы выросли в 4 раза и полностью переосмыслили и переработали архитектуру нашей «фотокачалки». Вместе мы пройдем путь от решения «в лоб» до решения, сумевшего ответить на все эти (и не только) вопросы. Презентация – Сайт –