Udemy
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
Development
Web Development Data Science Mobile Development Programming Languages Game Development Database Design & Development Software Testing Software Engineering Development Tools No-Code Development
Business
Entrepreneurship Communications Management Sales Business Strategy Operations Project Management Business Law Business Analytics & Intelligence Human Resources Industry E-Commerce Media Real Estate Other Business
Finance & Accounting
Accounting & Bookkeeping Compliance Cryptocurrency & Blockchain Economics Finance Finance Cert & Exam Prep Financial Modeling & Analysis Investing & Trading Money Management Tools Taxes Other Finance & Accounting
IT & Software
IT Certification Network & Security Hardware Operating Systems Other IT & Software
Office Productivity
Microsoft Apple Google SAP Oracle Other Office Productivity
Personal Development
Personal Transformation Personal Productivity Leadership Career Development Parenting & Relationships Happiness Esoteric Practices Religion & Spirituality Personal Brand Building Creativity Influence Self Esteem & Confidence Stress Management Memory & Study Skills Motivation Other Personal Development
Design
Web Design Graphic Design & Illustration Design Tools User Experience Design Game Design Design Thinking 3D & Animation Fashion Design Architectural Design Interior Design Other Design
Marketing
Digital Marketing Search Engine Optimization Social Media Marketing Branding Marketing Fundamentals Marketing Analytics & Automation Public Relations Advertising Video & Mobile Marketing Content Marketing Growth Hacking Affiliate Marketing Product Marketing Other Marketing
Lifestyle
Arts & Crafts Beauty & Makeup Esoteric Practices Food & Beverage Gaming Home Improvement Pet Care & Training Travel Other Lifestyle
Photography & Video
Digital Photography Photography Portrait Photography Photography Tools Commercial Photography Video Design Other Photography & Video
Health & Fitness
Fitness General Health Sports Nutrition Yoga Mental Health Dieting Self Defense Safety & First Aid Dance Meditation Other Health & Fitness
Music
Instruments Music Production Music Fundamentals Vocal Music Techniques Music Software Other Music
Teaching & Academics
Engineering Humanities Math Science Online Education Social Science Language Teacher Training Test Prep Other Teaching & Academics
AWS Certification Microsoft Certification AWS Certified Solutions Architect - Associate AWS Certified Cloud Practitioner CompTIA A+ Cisco CCNA Amazon AWS CompTIA Security+ Microsoft AZ-900
Graphic Design Photoshop Adobe Illustrator Drawing Digital Painting InDesign Character Design Canva Figure Drawing
Life Coach Training Neuro-Linguistic Programming Personal Development Mindfulness Personal Transformation Life Purpose Meditation CBT Emotional Intelligence
Web Development JavaScript React CSS Angular PHP Node.Js WordPress Vue JS
Google Flutter Android Development iOS Development React Native Swift Dart Programming Language Mobile Development Kotlin SwiftUI
Digital Marketing Google Ads (Adwords) Social Media Marketing Google Ads (AdWords) Certification Marketing Strategy Internet Marketing YouTube Marketing Email Marketing Retargeting
Microsoft Power BI SQL Tableau Business Analysis Data Modeling Business Intelligence MySQL Data Analysis Blockchain
Business Fundamentals Entrepreneurship Fundamentals Business Strategy Business Plan Startup Online Business Freelancing Blogging Home Business
Unity Game Development Fundamentals Unreal Engine C# 3D Game Development C++ 2D Game Development Unreal Engine Blueprints Blender
30-Day Money-Back Guarantee
IT & Software Other IT & Software Python

Парсинг и анализ данных на Python: от азов до автоматизации

Научимся работать с pandas, импортировать и майнить данные из Сети, строить графики и картограммы, создавать отчеты
Rating: 4.0 out of 54.0 (52 ratings)
458 students
Created by Центр digital-профессий ITtensive
Last updated 2/2020
Russian
30-Day Money-Back Guarantee

What you'll learn

  • Работа с данными с помощью pandas и numpy
  • Получение наборов данных из множества источников
  • Преобразование данных и предсказание последовательностей
  • Работа с HTTP, JSON, API, SOAP
  • Парсинг и скрепинг HTML сайтов
  • Визуализация данных: тренды и зависимости
  • Гео-данные м фоновые картограммы
  • Генерация PDF отчетов
  • HTML документы и шаблонизация
  • Отправка email и автоматизация работы

Requirements

  • Базовые знания Python
  • Базовые знания HTML

Description

Центр digital-профессий ITtensive предлагает персонализированные программы с индивидуальными наставниками для освоения актуальных профессий будущего: аналитик данных на Python и программист больших данных.

Курс состоит из 4 больших частей.

1. Анализ данных

Вы изучите работу с импортом, объединением, преобразованием, фильтрацией данных на pandas, а также научитесь предсказывать тренды.

Вы сможете самостоятельно загружать данные в формате CSV, TSV, Excel, извлекать из них значения, находить взаимосвязи между разными наборами данных, преобразовывать и усекать наборы данных. В заключении вы освоите математический аппарат линейной регрессии для поиска линейной связи между данными и эффективно примените его для предсказания значений в будущем.

2. Парсинг данных

Вы изучите получение данных в Python, используя библиотеку requests API и форматы JSON и XML (включая SOAP).

Научитесь работать с неструктурированными данными в HTML, собирать их и преобразовывать в фреймы данных.

Научитесь собирать данные целиком с сайта в несколько потоков: создадите мультипроцессного робота-паука.

В завершении установите SQLite и загрузите все собранные данные в базу, а также научитесь выбирать из базы данных непосредственно в фреймы данных.

3. Визуализация данных

Вы изучите анатомию matplotlib и типы визуализации различных данных: линии, области, столбцы, круговые диаграммы.

Научитесь визуализировать зависимости между данными и линейную регрессию с помощью seaborn: построите ящичковые и парные диаграммы, диаграммы распределения.

Изучите визуализацию временных (хронологических) данных: ряды, скользящие средние, отклонения и "японские свечи".

В завершении разберете работу с гео-данными и построение фоновых картограмм по нескольким наборам данных, используя geopandas.

4. Генерация отчетов и автоматизация

В этом курсе вы научитесь создавать и преобразовывать PDF документы, генерировать их из HTML кода, используя шаблонизатор, отправлять отчеты по e-mail и автоматизировать работу.

В курсе используются библиотеки reportlab, pypdf2, pdfkit, jinja2, smtplib, email, binascii, io, а также бинарный файл wkhtmltopdf. Решаем задачи по созданию PDF документа через холст, разбору PDF документа, объединению PDF документов, созданию HTML и PDF документов из HTML, шаблонизации HTML через jinja2, преобразованию бинарных данных в base64-кодировку. В заключении разберем отправку e-mail, включая HTML-письма и вложенные PDF отчеты.

Who this course is for:

  • Начинающие разработчики Python с интересом к анализу данных
  • Веб-программисты, изучающие Python для получения и разбора данных
  • Менеджеры, планирующие использовать Python для автоматизации работы
  • Научные работники, использующие Python для обработки данных

Course content

16 sections • 48 lectures • 8h 5m total length

  • Preview05:54
  • Preview07:52
  • Получение данных из Excel
    07:03
  • Импорт данных
    1 question

  • Индексы данных
    07:57
  • Мультиндексы
    12:14
  • Объединение фреймов
    04:59
  • Данные из нескольких источников
    1 question

  • Фильтрация данных
    09:51
  • Изменение фреймов
    09:42
  • Лямбда-функции
    13:12
  • Выделение данных
    1 question

  • Группировка данных
    07:28
  • Очистка и фильтрация групп
    09:37
  • Линейная регрессия
    11:18
  • Предсказание на 2020 год
    1 question

  • HTTP запросы: JSON и API
    05:38
  • HTTP запросы с параметрами
    08:19
  • Работа с SOAP
    09:39
  • Получение данных по API
    1 question

  • Получение данных из HTML
    10:44
  • Получение табличных данных
    07:30
  • Парсинг данных
    06:35
  • Получение котировок акций
    1 question

  • Обход сайта по страницам
    10:21
  • Мультипроцессность
    09:07
  • Этика парсинга
    10:24
  • Парсинг интернет-магазина
    1 question

  • Установка SQLite и создание базы
    03:00
  • Создание таблиц и загрузка данных
    08:43
  • Сохранение результатов
    10:28
  • Загрузка результатов в БД
    1 question

  • Анатомия Matplotlib
    10:33
  • Базовые типы визуализации
    16:23
  • Продвинутая визуализация
    07:34
  • Тип визуализации данных
    1 question

  • Ящичковые диаграммы
    06:24
  • Графики регрессии
    07:29
  • Корреляционные диаграммы
    05:41
  • Результаты марафона
    1 question

Instructor

Центр digital-профессий ITtensive
Технические специальности
Центр digital-профессий ITtensive
  • 4.0 Instructor Rating
  • 188 Reviews
  • 1,189 Students
  • 19 Courses

ITtensive - первый центр digital-профессий в России, обучающий техническим и маркетинговым специальностям: программированию, проектированию, тестированию, созданию и продвижению продуктов.

Возможно обучение как с нуля (включая изучения Основ программирования), так и уже на базе имеющихся навыков.

Программы курсов включают работу с PHP, Python, SQL, Git, сетевые технологии, машинное обучение и нейронные сети для решения прикладных задач.

Преподаватели центра:

Ведущий методист: Мациевский Николай, МФТИ (прикладная математика и физика). Специализируется на автоматизации и оптимизации процессов. Увлекается путешествиями и авангардизмом.

Методист по автоматизации: Мария Шугурова, МГУ и НИУ ВШЭ (бизнес-планирование). Помогает внедрять анализ данных в бизнес-процессы и извлекать дополнительную пользу из данных. Хобби: телерадио ведущая.

Методист по Python: Евгений Бойченко, НГУ (математика и компьютерные науки). Разрабатывает решения на Python для автоматизации прикладных задач. Нравится писать чат-ботов.

Методист по машинному обучению: Алена Селезнева, МГУ (прикладная математика и информатика). Использует модели машинного обучения для решения задач реального бизнеса. В свободное время поет и рисует миниатюры.

Победы в конкурсах и хакатонах:

Август 2020, финалист Digital Superhero Security, лучшее техническое решение детектирования DNS туннелей в трафике

Июнь 2020, 31 место (топ 5%) в международном хакатоне Prohack от McKinsey

Июнь 2020, 4 место в Цифровом Прорыве по задаче распознавания и предобработки неполного почтового адреса, самая высокая точность работы алгоритма

Май 2020, лучшее техническое решение по предсказанию ожидаемой продолжительности жизни, Digital Superhero

  • Udemy for Business
  • Teach on Udemy
  • Get the app
  • About us
  • Contact us
  • Careers
  • Blog
  • Help and Support
  • Affiliate
  • Impressum Kontakt
  • Terms
  • Privacy policy
  • Cookie settings
  • Sitemap
  • Featured courses
Udemy
© 2021 Udemy, Inc.