Sumarização de Textos com Processamento de Linguagem Natural
What you'll learn
- Entender a teoria e os cálculos matemáticos dos algoritmos de sumarização de textos
- Implementar passo a passo com o Python os seguintes algoritmos de sumarização: baseado em frequência, baseado em distância e o clássico algoritmo de Luhn
- Utilizar as seguintes bibliotecas para sumarização de textos: sumy, pysummarization e BERT summarizer
- Sumarizar artigos extraídos de páginas web e feed de notícias
- Gerar resumos de textos no idioma português
- Utilizar as bibliotecas NLTK e spaCy e o Google Colab para suas implementações de processamento de linguagem natural
- Criar visualizações em HTML para apresentação dos resumos dos textos
Requirements
- Lógica de programação, principalmente estruturas condicionais e de repetição
- Básico da linguagem Python
Description
A área de Processamento de Linguagem Natural - PLN (Natural Language Processing - NLP) é uma subárea da Inteligência Artificial que tem como objetivo tornar os computadores capazes de entender a linguagem humana, tanto escrita quanto falada. Alguns exemplo de aplicações práticas são: tradutores entre idiomas, tradução de texto para fala ou fala para texto, chatbots, sistemas automáticos de perguntas e respostas, geração automática de descrições para imagens, adição de legendas em vídeos, classificação de sentimentos em frases, dentre várias outras! Outro exemplo importante de aplicação é a sumarização automática de documentos, que consiste em gerar resumos de textos. Vamos supor que você precise ler um artigo com 50 páginas, porém, não possui tempo suficiente para ler o texto integral. Nesse caso, você pode utilizar um algoritmo de sumarização para gerar um resumo deste artigo. O tamanho deste resumo pode ser configurável, ou seja, você pode transformar 50 páginas em um texto com somente 20 páginas que contenha somente os pontos mais importantes do texto!
Baseado nisso, este curso apresenta a teoria e principalmente a prática de três algoritmos de sumarização de textos: (i) baseado em frequência, (ii) baseado em distância e o (iii) famoso e clássico algoritmo de Luhn, que foi um dos primeiros esforços nessa área. Durante as aulas, implementaremos passo a passo cada um desses algoritmos utilizando tecnologias modernas, como a linguagem de programação Python, as bibliotecas NLTK (Natural Language Toolkit) e spaCy e o Google Colab, o que garantirá que você não terá problemas com instalações ou configurações de softwares na sua máquina local.
Além de implementar os algoritmos, você também aprenderá como extrair notícias de blogs e de feed de notícias, bem como gerar visualizações interessantes dos resumos utilizando HTML! Após a implementação manual dos algoritmos, temos um módulo adicional no qual você utilizar bibliotecas específicas para sumarizar documentos, como por exemplo: sumy, pysummarization e BERT summarizer. Ao final do curso, você saberá tudo o que precisa para criar seus próprios algoritmos de sumarização!
Who this course is for:
- Pessoas interessadas em processamento de linguagem natural e sumarização de textos
- Pessoas interessadas nas bibliotecas spaCy e NLTK
- Alunos de graduação e pós-graduação que estão estudando disciplinas ligadas a área de Inteligência Artificial
- Cientistas de Dados que queiram aumentar seus conhecimentos em processamento de linguagem natural
- Profissionais interessados em desenvolver soluções profissionais de sumarização de textos
Instructors
Olá! Meu nome é Jones Granatyr e já trabalho em torno de 10 anos com Inteligência Artificial (IA), inclusive fiz o meu mestrado e doutorado nessa área. Atualmente sou professor, pesquisador e fundador do portal IA Expert, um site com conteúdo específico sobre Inteligência Artificial. Desde que iniciei na Udemy criei vários cursos sobre diversos assuntos de IA, como por exemplo: Deep Learning, Machine Learning, Data Science, Redes Neurais Artificiais, Algoritmos Genéticos, Detecção e Reconhecimento Facial, Algoritmos de Busca, Mineração de Textos, Buscas em Textos, Mineração de Regras de Associação, Sistemas Especialistas e Sistemas de Recomendação. Os cursos são abordados em diversas linguagens de programação (Python, R e Java) e com várias ferramentas/tecnologias (tensorflow, keras, pandas, sklearn, opencv, dlib, weka, nltk, por exemplo). Meu principal objetivo é desmistificar a área de IA e ajudar profissionais de TI a entenderem como essa tecnologia pode ser utilizada na prática e que possam visualizar novas oportunidades de negócios.
A plataforma IA Expert tem o objetivo de trazer cursos teóricos e práticos de fácil entendimento sobre sobre Inteligência Artificial e Ciência de Dados, para que profissionais de todas as áreas consigam entender e aplicar os benefícios que a IA pode trazer para seus negócios, bem como apresentar todas as oportunidades que essa área pode trazer para profissionais de tecnologia da informação. Também trazemos notícias atualizadas semanais sobre a área em nosso portal.