Sumarização de Textos com Processamento de Linguagem Natural

A área de Processamento de Linguagem Natural - PLN (Natural Language Processing - NLP) é uma subárea da Inteligência Artificial que tem como objetivo tornar os computadores capazes de entender a linguagem humana, tanto escrita quanto falada. Alguns exemplo de aplicações práticas são: tradutores entre idiomas, tradução de texto para fala ou fala para texto, chatbots, sistemas automáticos de perguntas e respostas, geração automática de descrições para imagens, adição de legendas em vídeos, classificação de sentimentos em frases, dentre várias outras! Outro exemplo importante de aplicação é a sumarização automática de documentos, que consiste em gerar resumos de textos. Vamos supor que você precise ler um artigo com 50 páginas, porém, não possui tempo suficiente para ler o texto integral. Nesse caso, você pode utilizar um algoritmo de sumarização para gerar um resumo deste artigo. O tamanho deste resumo pode ser configurável, ou seja, você pode transformar 50 páginas em um texto com somente 20 páginas que contenha somente os pontos mais importantes do texto!

Baseado nisso, este curso apresenta a teoria e principalmente a prática de três algoritmos de sumarização de textos: (i) baseado em frequência, (ii) baseado em distância e o (iii) famoso e clássico algoritmo de Luhn, que foi um dos primeiros esforços nessa área. Durante as aulas, implementaremos passo a passo cada um desses algoritmos utilizando tecnologias modernas, como a linguagem de programação Python, as bibliotecas NLTK (Natural Language Toolkit) e spaCy e o Google Colab, o que garantirá que você não terá problemas com instalações ou configurações de softwares na sua máquina local.

Além de implementar os algoritmos, você também aprenderá como extrair notícias de blogs e de feed de notícias, bem como gerar visualizações interessantes dos resumos utilizando HTML! Após a implementação manual dos algoritmos, temos um módulo adicional no qual você utilizar bibliotecas específicas para sumarizar documentos, como por exemplo: sumy, pysummarization e BERT summarizer. Ao final do curso, você saberá tudo o que precisa para criar seus próprios algoritmos de sumarização!