Парсеры, роботы, автоматизация, Selenium, PhantomJS на PHP
3.8 (23 ratings)
Course Ratings are calculated from individual students’ ratings and a variety of other signals, like age of rating and reliability, to ensure that they reflect course quality fairly and accurately.
102 students enrolled

Парсеры, роботы, автоматизация, Selenium, PhantomJS на PHP

Станьте профессиональным разработчиком парсеров, роботов. Научитесь работать с Selenium, PhantomJS и cURL с PHP
3.8 (23 ratings)
Course Ratings are calculated from individual students’ ratings and a variety of other signals, like age of rating and reliability, to ensure that they reflect course quality fairly and accurately.
102 students enrolled
Created by PHP - Academy
Last updated 9/2018
Russian
Current price: $9.99 Original price: $19.99 Discount: 50% off
5 days left at this price!
30-Day Money-Back Guarantee
This course includes
  • 3 hours on-demand video
  • 7 downloadable resources
  • Full lifetime access
  • Access on mobile and TV
  • Assignments
  • Certificate of Completion
Training 5 or more people?

Get your team access to 3,500+ top Udemy courses anytime, anywhere.

Try Udemy for Business
What you'll learn
  • Вы сможете создавать парсеры и роботы
  • Вы сможете парсить любые сайты
  • Вы сможете писать автоматизированные тесты веб-приложений
  • Вы сможете создавать копии сайтов
Course content
Expand all 22 lectures 03:12:52
+ Простой парсинг
12 lectures 53:14
Подключаем библиотеку для парсинга
05:00
Тест. Получаем исходный код страницы
02:30
Получаем ссылки на каждую из статей со страницы каталога
04:28
Парсинг каждой отдельной статьи
04:41
Создаем таблицу articles для хранения данных парсинга
04:19
Добавляем ссылки на каждую статью в таблицу БД
04:48
Переносим парсер вчистовик. CLI
04:51
Сохранение статей в БД. Парсер готов
04:54
Как параллельно запустить много потоков парсера? Часть 1
04:57
+ PhantomJS и PHP. Парсим сайты. Создаем живую копию сайта Zappos.com
8 lectures 01:58:07

В этой лекции вы узнаете, что такое PhantomJS и как его запускать из командной строки.

Вы также узнаете, как получить скриншот, исходный код страницы.

Вы увидите, как можно задать параметры браузера, например, разрешение экрана (размер окна).

Знакомимся с PhantomJS. Командная строка. Скриншоты сайтов. Исходный код сайта
16:20

В этой лекции мы создадим приложение-генератор скриншотов сайтов на PHP. Узнаем как подменять User Agent.

Работа PhantomJS и PHP. Приложение-генератор скриншотов сайтов. Меняем UserAgent
34:29

В этой лекции мы напишем JS код, который будет получать все ссылки на страницы категорий Zappos.com. Далее этот код будет использоваться для получения JSON и передачи массива ссылок на сторону PHP. В следующей лекции мы запустим этот код в PhantomJS и научимся работать с файловой системой.

Парсим Zappos.com. Часть 1: пишем JS код для получения ссылок категорий товаров
11:43

В этой лекции мы узнаем, как выполнить сторонний (пользовательский) код на странице, которая загружена через PhantomJS.

Preview 07:04

В этой лекции показано, как записать данные на диск из PhantomJS. Также мы прочитаем эти данные из PHP и превратим их в ассоциативный массив.

Парсим Zappos.com. Часть 3: пишем JSON в файл из PhantomJS. Читаем его из PHP
08:32

В этой лекции вы узнаете, как использовать рекурсию в PhantomJS для того, чтобы пройтись по пеждинации (1,2,...200...) страниц каталога. Мы будем находить ссылку на след. страницу каталога и парсить ее.

Preview 23:27

В этой лекции вы узнаете, как спарсить все ссылки на товары со страницы категории интернет магазина.

Парсим Zappos.com. Часть 5: Получаем ссылки на все товары со страницы каталога
08:43

В этой лекции вы увидите, как можно записать все ссылки на товары в один файл JSON для того, чтобы дальше работать с ними в PHP.

Парсим Zappos.com. Часть 6: пишем ссылки на все товары категории в JSON файл
07:49
+ Бонус. Безлимитный Google Translate без ключа API. Парсинг Google Translate
1 lecture 16:32

В этой лекции вы узнаете, как написать свой парсер гугл транслейт и как передавать параметры из командной строки прямо в PhantomJS.

Парсим Google Translate с PhantomJS. Передача аргументов из командной строки
16:32
В этом коде не используются дополнительные возможности: page.viewportSize и page.settings.userAgent. Дело в том, что Google видит юзер агент нашего браузера, где указан "PhantomJS". Это повод заблокировать наши запросы. Сделайте так, чтобы page.settings.userAgent содержал строку Chrome.
Добавить размер окна через viewportSize и установить userAgent, как будто Chrome
1 question
Этот скрипт не учитывает того, что в тексте могут быть переносы. Сделайте так, чтобы до вызова PhantomJS, в тексте заменялись все переносы строк на определенную последовательность, например "$$_$$", а затем возвращались обратно.
Перевод больших текстов с переносами строк
1 question
Requirements
  • Знакомство с PHP и JavaScript
Description

Этот курс сделает вас профессиональным разработчиком парсеров, роботов, скриптов автоматизации. Вы сможете парсить сайты любой сложности, работать с Selenium Webdriver, писать роботы, и создать платформу уровня UNI Delivery. Курс будет активно наполняться новыми лекциями и разделами!


Курс включает в себя такие разделы:


1. Простой парсинг

Вы изучите, как парсить простые сайты с минимальными затратами времени. Как сохранять контент в БД и запускать параллельно несколько потоков парсера.

2. Автоматизация, роботы, парсеры, тестирование с помощью Selenium и PHP

Вы научитесь работать в Selenium WebDriver с помощью PHP - мы сделаем заказы в интернет магазинах с помощью робота.

3. Работа с cURL, прокси, Cookie

Изучим работу с cURL, прокси, Cookie в PHP.

4. Копии сайтов с помощью cURL, создание прокси скрипта

Автор курса - разработчик платформы UNI Delivery, где десятки американских магазинов открываются внутри платформы. Мы создадим LIVE (онлайн) копии таких сайтов как Amazon и 6PM.

5. Работа с PhantomJS

Вы изучите PhantomJS - виртуальный браузер, мощный инструмент для автоматизации и парсинга.

6. Работа с DigitalOcean, Vultr

Вы узнаете, как работать с виртуальными серверами на платформах DigitalOcean, Vultr и разворачивать там парсеры.

Who this course is for:
  • Для тех, кто хочет научиться создавать парсеры, роботы
  • Для тех, кто хочет научиться освоить автоматизацию Selenium WebDriver