Парсинг сайтов. Scrapy, Splash, Selenium, requests, bs4.
What you'll learn
- Сбор данных с различных сайтов, используя различные библиотеки и фреймворки Python
- Получение HTML страницы с помощью requests и beautifulsoup4
- Парсинг многостраничных сайтов с использованием Scrapy
- Авторизация на сайте и сбор данных при помощи Selenium
Requirements
- Базовые знания Python
- Знания HTML разметки
Description
Этот курс предназначен для тех, кто хочет научиться автоматизированному сбору информации с различных сайтов, то есть парсингу. Для прохождения курса требуются базовые знания питона.
На лекциях будут рассмотрены основные подходы к сбору данных с использованием таких библиотек, как requests, beautifulsoup4 и splash, а также фреймворков Scrapy и Selenium.
В этом курсе рассматриваются основные базовые подходы к сбору данных, а также затрагивается вопрос этичного парсинга. По итогам курса студенты будут иметь базовое представление о том, как парсить различные сайты, используя Python.
Этот курс будет не очень интересен тем, кто уже имеет базовое представление о том, что такое парсинг и как создавать скрипты для автоматизированного сбора данных.
После прохождения курса студенты будут знать:
Как найти и установить необходимые библиотеки для парсинга данных.
Что такое этичный парсинг, как не нарушить права и закон при парсинге данных.
Для чего нужен файл robots.txt.
Каким образом получать HTML сайта для извлечения необходимой информации.
Как пользоваться xpath для указания точного расположения элементов на странице.
Как переходить по страницам на многостраничном сайте.
Как создавать проект и запускать «пауков» Scrapy.
Как парсить всю информацию о каждом товаре на сайте.
Как осуществлять переход на страницу каждого товара.
Каким образом парсить сайты, использующие JavaScript при загрузке.
Как авторизовываться на сайте, используя фреймворк Selenium.
Как парсить сайты с бесконечной прокруткой, имитируя действия пользователя на странице.
Who this course is for:
- Начинающие разработчики Python с интересом к сбору и обработке данных
Instructor
I've been writing scrapers for automated data collection for over 5 years. During all this time, I came across many complex and very complex sites that required careful study before I could write working scrapers. I began to master the field of web scraping on my own, using all the available materials and courses on the Internet, asking questions on StackOverflow and reading the documentation of the most popular libraries. I am constantly learning and improving my skills in building web crawlers. I hope that my courses will be useful and understandable for beginners, as well as help them take their first steps in the world of automated web scraping.