IA - Busca Semântica de Textos com S-BERT, TF-IDF e LSA/LSI

Name: IA - Busca Semântica de Textos com S-BERT, TF-IDF e LSA/LSI
Rating: 4.9 (20 reviews)

Uso de Inteligência Artificial para consulta semântica de textos através de Processamento de Linguagem Natural (PLN/NPL)

Created byAndré Vieira de Lima

Last updated 5/2024

Portuguese

Portuguese [Auto],

What you'll learn

Implementar mecanismo de pesquisa semântica de textos utilizando S-BERT, TF-IDF, LSA/LSI.
Aquisição de conhecimento em Processamento de Linguagem Natural (PLN) / Natural Processing Language (NPL) para tratamento de textos com Machine Learning.
Uso de ferramentas de PLN/NPL como NLTK, Spacy, Plotly, Wordcloud, Sentence Transformers, TfidfVectorizer e Gensim, para a construção do mecanismo de pesquisa.
Hands on (projeto prático) na construção de um projeto completo de Inteligência Artificial / Machine Learning em Python.
Bootcamp para a construção de um mecanismo de busca de textos com recursos utilizados em empresas como a Google

Course content

7 sections • 55 lectures • 15h 21m total length

Apresentação do Curso2:11
Apresentação do curso.
Inteligência Artificial, Machine Learning e Processamento de Linguagem Natural12:15
Fundamentos de IA, Machine Learning e PLN.
Pré-Condições e Stack de Tecnologias Utilizadas1:01
Pré-condições para a realização do curso, e tecnologias utilizadas.

Organização do Curso0:34
Organização dos módulos do curso.
Material Disponibilizado0:12
Disponibilização de notebooks que auxiliarão na construção do projeto.
Nota Importante0:52
Metologia de Desenvolvimento: CRISP-DM6:44
Metodologia de desenvolvimento do projeto.
Fase 1) Entendimento do Negócio5:32
Fase 1.1) Propósito do Projeto: Como Resolver o Problema do Cliente?12:16
Elevator pitch / propósito do projeto.
Fase 1.2) Pesquisa Semântica x Palavras Chaves15:04
Fundamentos sobre tipos de pesquisas.

Fase 2) Compreensão dos Dados1:36
Compreendendo o dataset.
Fase 2.1) Leitura do Dataset6:28
Tratabalhando com o dataset.
Fase 2.2) Entendendo o Dataset17:06
Tratabalhando com o dataset.
Fase 3) Pré-processamento de Dados15:29
Nessa aula atuaremos na etapa de pré-processamento de dados, onde entenderemos os conceitos, corrigiremos inconsistências, ajustaremos valores e enriqueceremos o Dataset da base de dados. Tudo isso com o ojetivo de agregar valor e melhorar a qualidade dos dados antes das etapas de resultados.
Fase 3.1) Limpeza de Dados15:43
Nessa aula atuaremos na etapa de pré-processamento de dados, onde entenderemos os conceitos, corrigiremos inconsistências, ajustaremos valores e enriqueceremos o Dataset da base de dados. Tudo isso com o ojetivo de agregar valor e melhorar a qualidade dos dados antes das etapas de resultados.
Nota: Antes da Próxima Aula0:24
Fase 3.2) Trasformação de Dados: Conversão de Tipos de Dados e Criação de Campos20:46
Nessa aula atuaremos na etapa de pré-processamento de dados, dando continuidade à transformação de campos com dados no formato texto, e atuando na conversão de tipos de dados e inclusão de novos campos no Dataset.
Fase 3.2) Trasformação de Dados: Enriquecimento de Dados e Criação de Campos20:53
Nessa aula atuaremos na etapa de pré-processamento de dados, dando continuidade à transformação de campos com dados no formato texto, e atuando na inclusão de novos campos ou sepação de campos existentes no Dataset.
Fase 3.2) Trasformação de Dados de Texto: Normalização de Dados8:34
Nessa aula atuaremos na etapa de pré-processamento de dados, onde entenderemos os conceitos, corrigiremos inconsistências, ajustaremos valores e enriqueceremos o Dataset da base de dados. Tudo isso com o ojetivo de agregar valor e melhorar a qualidade dos dados antes das etapas de resultados.
Fase 3.2) Trasformação de Dados de Texto: Remoção de Stopwords8:33
Fase 3.2) Trasformação de Dados de Texto: Anonimização de Dados9:40
Nessa aula atuaremos na etapa de pré-processamento de dados, onde entenderemos os conceitos, corrigiremos inconsistências, ajustaremos valores e enriqueceremos o Dataset da base de dados. Tudo isso com o ojetivo de agregar valor e melhorar a qualidade dos dados antes das etapas de resultados.
Fase 3.3) Integração de Dados: Coleta de Cotações de Moedas25:51
Nessa aula atuaremos na etapa de pré-processamento de dados, onde entenderemos os conceitos, corrigiremos inconsistências, ajustaremos valores e enriqueceremos o Dataset da base de dados. Tudo isso com o ojetivo de agregar valor e melhorar a qualidade dos dados antes das etapas de resultados.
Fase 3.3) Integração de Dados: Atualização de Cotações de Moedas12:12
Nessa aula atuaremos na etapa de pré-processamento de dados, onde entenderemos os conceitos, corrigiremos inconsistências, ajustaremos valores e enriqueceremos o Dataset da base de dados. Tudo isso com o ojetivo de agregar valor e melhorar a qualidade dos dados antes das etapas de resultados.
Fase 3.4) Redução de Dados8:28
Nessa aula aprenderemos técnicas de remoção de campos ou registros não necessários para a análise de dados, reduzindo espaço em memória para o processamenoto.
Fase 4) Análise Exploratória de Dados1:37
Nessa aula, aprenderemos a Análise Exploratória de Dados (EDA) que é utilizada para analisar e investigar conjuntos de dados e resumir suas principais características, muitas vezes usando métodos de visualização de dados.
Fase 4.1) Um Pouco de Estatística Descritiva com a Biblioteca Plotly23:39
Nesta aula aplicaremos estatística descritiva para o entendimento dos dados através de gráficos.
Fase 4.2) Análise Exploratória com Plotly - Parte 1 - Gráficos em Barras23:38
Nesta aula aplicaremos estatística descritiva para o entendimento dos dados através de gráficos.
Fase 4.2) Análise Exploratória com Plotly - Parte 2 - Gráficos de Barras15:11
Fase 4.2) Análise Exploratória com Plotly - Parte 3 - Gráficos em Barras21:57
Nesta aula aplicaremos estatística descritiva para o entendimento dos dados através de gráficos.
Fase 4.2) Análise Exploratória com Plotly - Parte 4 - Gráfico em Rosca26:37
Fase 4.2) Análise Exploratória com Plotly - Parte 5 - Ajustes em Gráficos23:39
Fase 4.2) Análise Exploratória com Plotly - Parte 6 - Gráficos em Linhas36:39
Nesta aula aplicaremos estatística descritiva para o entendimento dos dados através de gráficos.
Fase 4.2) Análise Exploratória com Plotly - Parte 7 - Boxplot27:56
Fase 4.4) Análise Exploratória de Dados - Seleção de Amostras de Testes10:18
Nesta aula aplicaremos estatística descritiva para o entendimento dos dados através de gráficos.
Fase 4.5) Análise Exploratória de Dados - WordCloud para Sel. Amostras de Testes29:48
Nesta aula aplicaremos estatística descritiva para o entendimento dos dados através de gráficos.
Fase 4.5) Análise Exploratória de Dados - Seleção de Amostras de Teste com SpaCy33:29
Nesta aula aplicaremos estatística descritiva para o entendimento dos dados através de gráficos.

Fase 5) Modelagem0:27
Fase 5.1) Transformers13:55
Nesta aula aprenderemos técnicas de machine learning para a construção do projeto.
Fase 5.2) BERT e S-BERT12:50
Nesta aula aprenderemos técnicas de machine learning para a construção do projeto.
Fase 5.3) Mecanismo de Busca Semântica com S-BERT44:34
Nesta aula aprenderemos técnicas de machine learning para a construção do projeto.
Fase 6) Avaliação de Resultados26:37
Nesta aula aprenderemos técnicas de machine learning para a construção do projeto.

TF-IDF - Fase 5) O Quê é TF-IDF14:40
Nesta aula aprenderemos técnicas de machine learning para a construção do projeto.
TF-IDF - Fase 5.1) Pré-processamento: Limpeza e Lematização de Palavras24:31
Nesta aula aprenderemos técnicas de machine learning para a construção do projeto.
TF-IDF - Fase 5.2) Treinando o Modelo16:51
Nesta aula aprenderemos técnicas de machine learning para a construção do projeto.
TF-IDF - Fase 5.3) Calculo do Peso de Relevância de Palavras Chave com TF-IDF24:14
Nesta aula aprenderemos técnicas de machine learning para a construção do projeto.
TF-IDF - Fase 5.4) Mecanismo de Busca Semântica com TF-IDF38:28
Nesta aula aprenderemos técnicas de machine learning para a construção do projeto.
TF-IDF - Fase 6) TF-IDF: Avaliação de Resultados25:07
Nesta aula aprenderemos técnicas de machine learning para a construção do projeto.

LSA/LSI - Fase 5) O Quê é LSA/LSI?16:47
Nesta aula aprenderemos técnicas de machine learning para a construção do projeto.
LSA/LSI - Fase 5.1) Pré-processamento: Limpeza e Lematização de Palavras33:03
Nesta aula aprenderemos técnicas de machine learning para a construção do projeto.
LSA/LSI - Fase 5.2) Mecanismo de Busca Semântica com LSA/LSI47:48
Nesta aula aprenderemos técnicas de machine learning para a construção do projeto.
LSA/LSI - Fase 5.3) Melhorando o Mecanismo de Busca Semântica com LSA/LSI23:39
Nesta aula aprenderemos técnicas de machine learning para a construção do projeto.
LSA/LSI - Fase 6) LSA/LSI: Avaliação de Resultados29:11

Requirements

Conhecimento em Python
Conhecimento em Pandas

Description

Em um rico Bootcamp de Inteligência Artificial, aprenda S-BERT, TF-IDF e LSA/LSI através de Natural Processing Language (Liguaguem de Processamento Natural - PLN/NPL) com a linguagem Python, e desenvolva um mecanismo de pesquisa semântica de textos resolvendo um problema real de um sistema de análise de contratos.

Como conteúdo:

Fundamentos:
- Aprenda fundamentos de Ciência de Dados;
- Aprenda fundamentos de Machine Learning;
- Aprenda fundamentos de Processamento de Linguagem Natural;
- Aprenda fundamentos de Word Embendings, Stopwords, Lematização, Steaming e Anonimização de Dados;
- Aprenda fundamentos de busca de texto por palavras-chave e busca semântica de textos;
Pratique Ciência de Dados para entendimento do problema, preparação da base, análise estatística e exploração de dados;
Desenvolva o projeto com CRISP-DM:
- Fase 1: Entendimento do Negócio, Elevator Pitch, Compreensão do Problema, Contexto da Aplicação, Dores do Usuário e Entrega de Valor;
- Fase 2: Coleta de Dados, Datasets Públicos para Ciência de Dados, Portal Brasileiro de Dados Abertos, Princípios de Open Knowledge;
- Fase 3: Pré Processamento de Dados, Transformação de Dados com Pandas e Numpy e Anonimização dos Dados
- Fase 4: Análise Exploratória dos Dados e Criação de Gráficos com Plotly;
- Fase 5: Modelagem, Implemente Mecanismos de Busca Semântica de Textos através de S-BERT, TF-IDF, LSA/LSI com Python;
- Fase 6: Avaliação de Resultados (acurácia, performance e atendimento ).
Projeto prático:
- Desenvolva mecanismos de busca de textos no Google Colab através de várias técnicas de Machine Learning.

Who this course is for:

Interessados em inovação nas mais recentes e valiosas tecnologias de Ciência de Dados e Inteligência Artificial.
Interessados no aprofundamento de técnicas de Processamento de Linguagem Natural (PLN/NPL)
Interessados na construção de um mecanismo de busca semântica de textos que avalia sinôminos em termos de busca.

IA - Busca Semântica de Textos com S-BERT, TF-IDF e LSA/LSI

What you'll learn

Explore related topics

Course content

Introdução3 lectures • 15min

Entendimento do Negócio e Início do Desenvolvimento do Projeto7 lectures • 41min

Preparação, Limpeza, Transformação e Análise Exploratória dos Dados26 lectures • 7hr 26min

Pesquisa Semântica de Textos com S-BERT (Notebook Completo)5 lectures • 1hr 38min

Pesquisa Semântica de Textos com TF-IDF (Notebook Completo)6 lectures • 2hr 24min

Pesquisa Semântica de Textos utilizando Modelagem por Tópicos com LSA/LSI5 lectures • 2hr 30min

Encerramento do Curso3 lectures • 26min

Requirements

Description

Who this course is for: