Парсинг сайтов для SEO, BeautifulSoup. Как обойти все страницы сайта собрать h1, title, description

Друзья это второе видео по парсингу сайтов на Python через библиотеку BeautifulSoup. Сегодня мы будем добавлять новую функцию которая получить все ссылки сайта и далее полученные ссылки мы запишем в словарик и передадим на сбор метатегов и заголовков. Теперь наш парсер уже стал готовым изделием и в нем надо менять только параметры стилей нужной вам страницы. Да, видео по парсингу много, но я считаю, что такой контент должен быть на моём канале. СЕО лучше работает, если часть рутины автоматизирована. Вы можете 2-3 дня убивать на проход сайт и его оптимизацию или проверку. Или же написать простой скриптик и выгрузить всю нужную инфу за 5-10 минут. А после обработать. К слову можно выгружать уже обработанную информацию. Но это позже в видео. Для заинтересованных скоро будет видео по парсингу карт сайтов. Это более удобный подход к сбору данных с сайта.))