Python + Selenium으로 크롤링 시작하기(예제 있음)

1. 셀레니움 설치

먼저, Python에 셀레니움을 설치해야 합니다. 아래 명령을 사용하여 셀레니움을 설치할 수 있습니다.

pip install selenium

2. 웹 드라이버 다운로드

셀레니움은 웹 브라우저를 제어하기 위해 웹 드라이버를 사용합니다. 웹 드라이버는 사용할 웹 브라우저에 따라 다릅니다. 가장 흔한 크롬 드라이버를 설정해보도록 하겠습니다.
https://sites.google.com/chromium.org/driver/downloads

ChromeDriver - WebDriver for Chrome - Downloads

해당 사이트에서 본인 크롬의 버전과 맞게 다운로드 합니다. 본인 크롬의 버전은 아래 주소를 크롬 브라우저의 인터넷 주소 창에 붙여 넣어보세요.
chrome://version/

3.  웹 드라이버 설정

다운로드한 드라이버 파일을 압축 해제하고, 실행 파일(chromedriver.exe 또는 chromedriver)를 적절한 위치에 저장하세요. 일반적으로 시스템 PATH에 추가하거나 프로젝트 디렉토리 내에 저장하는 것이 일반적입니다.
저 같은 경우는 아래와 같은 구조를 가집니다. 이 때 웹드라이버는 아래 코드와 같이 driver = webdriver.Chrome() 이런식으로 가지고 올 수 있습니다.

프로젝트 루트/spy.py 
프로젝트 루트/chromedriver.exe

4. spy.py 코드 작성

from selenium import webdriver

# 웹 드라이버 설정
driver = webdriver.Chrome()

# 웹 페이지 열기
driver.get('https://www.google.com')

# 검색어 입력
search_box = driver.find_element_by_name('q')
search_box.send_keys('Python')

# 검색 실행
search_box.submit()

# 결과 출력
search_results = driver.find_elements_by_css_selector('h3')
for result in search_results:
    print(result.text)

# 웹 드라이버 종료
driver.quit()

5. 실행

프로젝트가 위치한 곳에서 터미널을 열고 아래 명령어를 입력합니다.

python .\spy.py