Виталий Исаев. Объектное хранилище проекта Mailion: архитектура и ключевые оптимизации

Распределённое объектное хранилище — сложная и дорогостоящая разработка. Тем не менее, проектируя архитектуру почтовой системы, мы пришли к необходимости написать собственное хранилище, адаптированное к особенностям нашего потока данных. Благодаря этому нам удалось многократно снизить количество потребляемого дискового пространства и IO и тем самым обеспечить экономическую эффективность всего решения. В ходе доклада мы поговорим об архитектуре современной почтовой системы, форматах хранения электронной почты и особенностях корпоративной переписки. Мы детально рассмотрим принципы работы нашего объектного хранилища и обсудим реализованные в нём алгоритмы, помогающие оптимизировать стоимость хранения данных. Особое внимание уделим теме дедупликации — одной из наиболее востребованных и вместе с тем редких функций современных хранилищ. Презентация: Codefest: