Детальная настройка Screaming Frog SEO Spider для парсинга миллионов страниц

Проходим по всем настройка программы Screaming Frog SEO Spider для парсинга больших (и не очень) проектов. Правила для исключений: http.*\.jpg http.*\.jpeg http.*\.png http.*\.gif http.*\.pdf http.*\.JPG http.*\.JPEG http.*\.PNG http.*\.GIF http.*\.css http.*\.CSS http.*\.js http.*\.JS http.*\.jpe* http.*\.JPE* http.*\?.* http://.* -- 💲 Платные услуги 💲 ► SEO-консультации/аудиты - ► SEO-продвижение под ключ - ► Накрутка поведенческих факторов (ПФ) - ► По всем коммерческим вопросам - -- 00:00 - Вступление 00:38 - Начинаем настраивать 00:51 - Storage Mode 2:00 - Memory Allocation 3:09 - Настройка спайдера 10:29 - Настраиваем исключения 12:18 - Настройка скорости 13:35 - Что включать в парсинг 14:26 - User-Agent 15:00 - Настраиваем вкладки 16:37 - Сохраняем настройки