Your cart is empty.
Keep shopping
실전 프로젝트: 네이버 카페 데이터 수집 및 활용
Highest Rated
93 students
실전 프로젝트: 네이버 카페 데이터 수집 및 활용
Google Apps Script로 데이터 수집부터, 웹 크롤링, 그리고 Dify로 QnA 봇 생성까지
Created byKyla Kim
Last updated 9/2024
Korean
Korean [Auto],
What you'll learn
- Google Apps Script를 활용해 네이버 카페 게시글을 자동 수집하는 방법
- OpenAI API를 활용하여 데이터를 분석하고 의미 있는 정보를 필터링하는 방법
- Selenium을 이용해 웹 페이지의 데이터를 크롤링하는 방법
- Dify를 사용하여 AI Q&A 봇을 개발하고 이를 통해 지식 기반 서비스를 구축하는 방법
Explore related topics
Course content
5 sections • 34 lectures • 1h 56m total length
Requirements
- 프로그래밍 경험: 이 강의에서는 JavaScript와 Python을 사용한 크롤링 및 데이터 처리를 다루므로, 어떠한 프로그래밍 언어에서든 기본적인 프로그래밍 경험이 필요합니다. 변수 선언, 조건문, 함수 작성과 같은 프로그래밍의 기본 개념을 알고 있어야 원활한 수강이 가능합니다.
- Jupyter Notebook 사용 경험: 실습에서는 Jupyter Notebook을 활용하여 Python 코드를 실행하므로, Jupyter Notebook에서 코드를 작성하고 실행하는 방법을 알고 있어야 합니다.
Description
이 강의는 Google Apps Script를 이용한 데이터 수집 자동화부터 Dify를 활용한 AI Q&A 봇 개발까지 실습하는 실전 프로젝트입니다. 네이버 카페에서 수백 개의 게시글을 수동으로 확인하는 대신, 데이터를 효율적으로 수집하고 AI를 통해 유의미한 정보를 선별하는 과정을 다룹니다.
강의는 다음과 같은 핵심 단계로 진행됩니다:
Google Apps Script를 사용하여 네이버 카페 게시글 링크와 요약 내용을 자동으로 수집합니다.
OpenAI API를 활용해 수집된 게시글의 유의미성을 판단하고, 필요한 정보를 필터링합니다.
Selenium으로 크롤링하여 게시글의 전체 내용을 자동으로 추출합니다.
Dify 플랫폼을 통해 수집된 데이터를 바탕으로 Q&A 봇을 만들어 실제로 질문에 답할 수 있는 시스템을 구축합니다.
이 강의는 커뮤니티에서 필요한 정보를 효율적으로 수집하고, AI를 통해 인사이트를 빠르게 도출해내는 것을 목표로 합니다. 사업 준비, 취업, 여행 계획 등 여러 상황에서 유용한 정보를 자동으로 모으고 활용하는 방법을 배우게 될 것입니다.
Who this course is for:
- 데이터 수집 및 처리 자동화에 관심이 있는 개발자/비개발자: 웹 데이터를 수집하고 이를 기반으로 자동화 도구를 개발하고자 하는 분들
- LLM 및 AI 앱 개발에 관심이 있는 AI/ML 연구자: LLM 학습에 필요한 데이터 수집뿐 아니라, Dify를 사용해 AI 앱을 빠르게 프로토타이핑하고 싶어하는 분들