Domine Análise de Dados em Python com Pyspark e Scikit-Learn
What you'll learn
- PYSPARK:O que é PYSPARK
- PYSPARK:O que é SPARK
- PYSPARK:Instalando o SPARK em um ambiente Windows, configurando
- PYSPARK:Instalando o ANACONDA
- PYSPARK:Instalando a JDK
- PYSPARK:Entendendo o ecossistema : Apache Spark + Anaconda + JAVA
- PYSPARK:Entendendo o conceito de NÓ, CLUSTER
- PYSPARK:Conhecendo os módulos e pacotes do PYSPARK
- PYSPARK:O que é SparkContext
- PYSPARK:Entendo o que é RDD (Resilient Distributed Dataset)
- PYSPARK:Trabalhando com Spark Dataframe
- PYSPARK:Compreendendo as diferenças entre transformações e ações, operações com PYSPARK
- PYSPARK:Operações: collect, count, parallelize, getNumPartitions, textFile, first, filter, cache, Show, take
- PYSPARK:Aprendendo o que é uma função Lambda
- PYSPARK:Operações: flatMap, map, reduceByKey, sortBY, join, leftOuterjoin, rightOuterjoin, select, groupBy, orderBy
- PYSPARK:Monitoramento de jobs com SPARK UI
- PYSPARK:O que é SparkSession
- PYSPARK:Leitura de arquivos externos
- PYSPARK:SPARK SQL
- PYSPARK:Leitura de dados em JSON
- SCIKIT LEARN: Conhecer as diferentes áreas de Machine Learning e suas aplicações práticas
- SCIKIT LEARN: Aprender a fazer Machine Learning Supervisionado usando a linguagem Python e a biblioteca Scikit-Learn
- SCIKIT LEARN: Criar os seus próprios algoritmos de Machine Learning para treinar seu computador a fazer previsões e classificações
- SCIKIT LEARN: Conhecer modelos estatísticos e aprender como eles podem ser usados para fazer algoritmos de Machine Learning
Requirements
- Preferível conhecimento em Python
- Conhecimento básico de SQL
Description
Seja bem-vindo ao curso "Domine Análise de Dados em Python com Pyspark e Scikit-Learn". Prepare-se para uma jornada empolgante e transformadora, onde você mergulhará de cabeça no fascinante mundo da análise de dados utilizando duas das ferramentas mais poderosas do universo Python.
Machine Learning é uma da áreas da Inteligência Artificial e se baseia no uso de modelos estatísticos para treinar computadores a fazer previsões e reconhecer padrões. Esta tecnologia é usada pelas maiores empresas do mundo nas mais diversas áreas, como na Saúde (Diagnóstico de pacientes), Finanças (Detecção de fraudes), E-Commerce (Sistemas de recomendações), Transportes (Previsão de demanda), Serviços inteligentes governamentais e muito mais.
O que você vai aprender:
1. Fundamentos da Análise de Dados: Desenvolva uma base sólida para análise de dados, compreendendo conceitos essenciais e aplicando-os em cenários do mundo real.
2. Pyspark para Big Data: Aprenda a manipular grandes conjuntos de dados de forma eficiente, utilizando o Pyspark para lidar com desafios de escalabilidade.
3. Scikit-Learn para Machine Learning: Entre de cabeça no universo do Machine Learning com o Scikit-Learn, implementando algoritmos poderosos para tomada de decisões inteligentes.
4. Projetos Práticos: Coloque seus conhecimentos à prova com projetos práticos que simulam situações reais, proporcionando experiência valiosa.
5. Integração com Aplicações Profissionais: Descubra como integrar suas habilidades em análise de dados em contextos profissionais, criando soluções impactantes para empresas.
Por que este curso é crucial para sua vida profissional:
1. Demanda Crescente por Especialistas em Dados: Empresas estão cada vez mais dependentes de dados para impulsionar suas operações. Torne-se um profissional essencial nesse cenário em constante evolução.
2. Expanda seu Leque de Habilidades: Adquira competências em Pyspark e Scikit-Learn, ampliando suas capacidades e se destacando em um mercado competitivo.
3. Soluções Práticas para Desafios Complexos: Desenvolva a habilidade de enfrentar desafios complexos, fornecendo soluções pragmáticas que fazem a diferença no ambiente profissional.
Prepare-se para ser o protagonista da transformação digital e se destacar no universo da Análise de Dados em Python. Junte-se a nós e comece a moldar seu futuro profissional agora!
Who this course is for:
- Estudantes e profissionais de computação, Informática, estatística, data science, analista de dados, engenheiro de dados
- Profissionais que já trabalham com Python para aprimorar seu conhecimento em SPARK
- Alunos que queiram aprender a aplicar modelos de Machine Learning na prática usando a linguagem Python
Instructors
- 4.5 Instructor Rating
- 12,871 Reviews
- 58,982 Students
- 202 Courses
Quem sou
Fui escolhido como um dos 50 profissionais mais influentes em dados no ano de 2023 pela Gama Academy, uma organização que estabelece um Rank dos profissionais com mais destaque na área de Dados/BI.
Por que estudar na área de dados comigo?
Sou profissional da área com diversos projetos desenvolvidos, tanto na área privada como na área pública, tenho um skill muito forte em atender meus alunos com alguma dúvida no máximo em 24 horas. Procuro alinhar conhecimento teórico e prático.
O que trago em meus cursos?
Acho que a área de dados é bem rica e vasta, mas ter um direcionamento do que deve ser estudado com cursos passo a passo é o que busco nas minhas aulas, fiz um mestrado na área de educação para criar aulas sob medida aos meus alunos. Estou diariamente aprimorando e trazendo novidades na área, afinal criar + de 150 cursos envolve dedicação e foco.
O que faço hoje
Sou professor das pós-graduações das universidades UNIFACS, CATÓLICA DO SALVADOR e ISL Wyden. Mestre pela Universidade do Estado da Bahia (UNEB) no Curso de Mestrado Profissional Gestão e Tecnologias Aplicadas à Educação (GESTEC). Possui Especialização em Análise de Sistemas pela Faculdade Visconde de Cairu e Bacharelado em Estatística pela Universidade Federal da Bahia. Atua profissionalmente como consultor há mais de 20 anos nas áreas de Data Warehouse, Mineração de Dados, Ferramentas de Tomada de Decisão e Estatística. Atualmente sou editor do blog BI com Vatapá. Autor do Livro: BI COMO DEVE SER - professor EAD de diversos cursos de BI na Aprenda Virtual. Idealizador do BI PRO - O maior e mais completo conteúdo sobre BI da internet.
- 4.5 Instructor Rating
- 41,216 Reviews
- 501,125 Students
- 29 Courses
Ivan is a leading tech educator on Udemy.
With 28 courses under his belt and a community of over 495,000 students worldwide, Ivan's here to guide you through the tech and business skills you need today.
With a solid experience of 18 years in various business and technology sectors, Ivan has dedicated himself since 2016 to transforming his expertise into accessible learning paths for a global audience.
Renowned for a dynamic teaching style that mixes project-based learning with incremental challenges, his courses are the right fit for you, whether you're just starting your learning journey or looking to deepen existing skills.
His courses cover essential foundations and cutting-edge trends in technology and business communication:
• Web Development Essentials: Dive into the world of web development with courses on HTML/CSS and Javascript, and master the art of creating engaging, responsive websites.
• Advanced Frontend Frameworks: Elevate your web projects with Vue JS, React JS & TypeScript, focusing on building dynamic, user-centric applications.
• Software Best Practices: Gain proficiency in Git for version control, ensuring your projects are managed with industry-standard efficiency.
• Data Analysis & Visualization: Unlock the power of data with Microsoft Excel, & Python from basics to advanced data analysis techniques.
• Web Performance: Take your Website to the top of your industry by mastering the Core Web Vitals & Web Performance best practices.
• Professional Communication: Enhance your career with Business English, Email Writing, and Etiquette, essential skills for the modern professional.
Each course is designed to not just teach, but to engage, challenge, and inspire students.
Embark on a learning journey with Ivan and accelerate your professional growth.