따라하며 익히는 파이썬 데이터수집 마스터

updated 2023.01.31

조금 더 편하게 이용할 수 있도록 chromedriver autoinstaller 이용방법을 추가하였습니다.

참고 블로그 : https://blog.naver.com/kiddwannabe/222355619596

### 라이브러리 설치하기(최초1회)

! pip install selenium

! pip install chromedriver-autoinstaller

from selenium import webdriver

import chromedriver_autoinstaller

# chromedriver 최신버전 설치하기!

chromedriver_autoinstaller.install()

# chrome 브라우저 열기

browser = webdriver.Chrome()

최종확인 : 2021.12.30

넷플릭스 사이트 개편으로 섹션 윗 부분에 넷플릭스 설명 부분이 추가되었습니다.

영상 섹션만 선택하기 위해 아래와 같이 class 속성 값을 추가하여 선택하도록 수정하였습니다.

section_list = soup.select('section')  # 변경전)

section_list = soup.select('section.nm-collections-row') # 수정) class 정보 추가

(최종확인 : 2021.12.30)

넷플릭스 사이트 개편으로,  제목 부분 태그가 변경되었습니다.

section_title = section.select('h3')[0].text    #변경전)

section_title = section.select('h2')[0].text   # 수정) 섹션 제목 부분 태그 변경

2022.01.01 추가 수정

넷플릭스에서 이미지 파일, 프로그램 URL 부분을 가져올 때

정보가 없거나, 상이한 정보가 들어있는 경우가 있어 이 때, 정리하는 코드를 추가하였습니다.

이미지 파일 정보인 경우

1. 이미지 파일 정보를 포함하는 경우,

2. 파일이 아닌 다른 형태(data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==) 로 들어있는 경우(화면상에는 이미지 표시되지 않음)

3. 이미지 파일 정보 자체가 없는 경우가 있네요.

위 단계별로 하나씩 점검하면서, 찾는 정보가 아닌 경우 그 다음 정보로 정리하도록

try, except 구문, if 조건문 등을 활용하여 아래와 같이 수정했습니다.

------------------------------------------------------------------------

try:

program_img = program.select('img')[0]['src']

if 'https' not in program_img:

program_img = '' # 만약, 이미지 파일 위치가 표시되지 않는 경우(화면에 보이지 않는 경우)는 빈 칸으로 입력하기

except:

program_img = '' # 이미지 정보 자체가 없는 경우 빈 칸으로 입력

------------------------------------------------------------------------

프로그램 링크 부분도 태그에 아예 정보가 없는 경우가 있어, 없을 경우 빈칸이 입력되도록 정리하였습니다.

------------------------------------------------------------------------

try:

program_link = program.select('a')[0]['href']

except:

program_link = '' # 링크 주소가 없는 경우는 빈 칸으로 입력

------------------------------------------------------------------------

# 최종확인 : 2022.01.01

----------------------------------------------
# 앞 부분에 브라우저 열기 코드는 추가해주세요

url = 'https://www.netflix.com/kr/browse/genre/839338'

browser.get(url)

html = browser.page_source

from bs4 import BeautifulSoup

soup = BeautifulSoup(html,'html.parser')

# section_list = soup.select('section')

section_list = soup.select('section.nm-collections-row') # 수정) class 정보 추가

results = []

for section in section_list:

#     section_title = section.select('h3')[0].text   

    section_title = section.select('h2')[0].text   # 수정) 섹션 제목 부분 태그 변경

    program_list = section.select('li')

    for program in program_list:

        program_title = program.select('span.nm-collections-title-name')[0].text

        try:

            program_img = program.select('img')[0]['src']

        except:

            program_img = ''  # 이미지 정보가 없는 경우 빈 칸으로 입력

        try:

            program_link = program.select('a')[0]['href']

        except:

            program_link = ''  # 링크 주소가 없는 경우는 빈 칸으로 입력       

        data = [section_title,program_title, program_img, program_link]

        print(data)

        results.append(data)