웹 크롤링을 하다 보면 여러 가지 에러를 만나는 일은 비일비재하죠. 특히, 크롬 드라이버와 셀레니움을 사용할 때 발생하는 버전 불일치는 많은 사람들이 괴롭히는 문제 중 하나입니다. 아래를 읽어보시면 제가 경험한 내용을 바탕으로 이 문제를 해결하기 위한 몇 가지 팁을 알려드릴게요.
크롬 드라이버와 셀레니움 간의 버전 불일치
크롬 드라이버 버전 확인하기
구체적인 에러 메시지를 살펴보면, “The chromedriver version (119.0.6045.105) detected in PATH might not be compatible with the detected chrome version (120.0.6099.71)”라는 메시지가 있습니다. 이처럼 셀레니움과 크롬 브라우저 버전이 맞지 않으면 정상적으로 스크립트가 실행되지 않아요. 이럴 때는 크롬 드라이버를 업데이트하거나 크롬 브라우저를 다운그레이드해야 합니다.
크롬 드라이버 업데이트 방법
- 크롬 드라이버 다운로드 페이지로 이동합니다: ChromeDriver 다운로드
- 현재 설치된 크롬 버전과 일치하는 크롬 드라이버를 다운로드합니다.
- 다운로드한 파일로 기존 드라이버를 교체합니다.
위의 방법이 가장 직관적이지만, 매번 수동으로 업데이트하는 것은 귀찮은 일이죠. 그래서 더 효율적인 방법을 제안합니다.
WebDriverManager 활용하기
WebDriverManager란?
WebDriverManager는 다양한 프로그래밍 언어에서 사용할 수 있는 라이브러리로, 브라우저 드라이버의 자동 관리를 제공합니다. 이를 통해서 크롬 드라이버의 버전을 자동으로 업데이트할 수 있어요. 주로 Java에서 사용되지만, 파이썬으로도 적용할 수 있는 방법을 찾아봤어요.
WebDriverManager 설치하기
파이썬에서는 WebDriverManager를 사용할 수는 없지만 Selenium을 이용해 수정하는 방법으로 해결할 수 있습니다. os.system()을 통해 pip 명령어로 자동 업데이트를 할 수 있도록 코드를 작성해보세요.
“`python
import os
import time
from selenium import webdriver
selenium 버전 업그레이드
os.system(‘pip install –upgrade selenium’)
크롬 드라이버 가져오기
driver = webdriver.Chrome()
selenium 버전 확인
print(webdriver.version)
웹 페이지 열기 예제
driver.get(“https://www.naver.com”)
time.sleep(5)
드라이버 사용 후 종료
driver.quit()
“`
이렇게 하면 셀레니움의 최신 버전을 유지하면서, 크롬 드라이버도 자동으로 업데이트하는 효과를 누릴 수 있어요.
Cache 디렉터리에서 크롬 드라이버 찾기
크롬 드라이버 위치 확인하기
크롬 드라이버는 사용자의 캐시 디렉터리에 생성되는 경우가 많습니다. 그 위치를 통해서 문제를 해결할 수 있어요. 만약 처음 실행이라면 캐시에 크롬 드라이버가 없을 것이고, 따라서 스크립트 실행 디렉터리에서 참조하게 됩니다.
C:\Users\<username>\.wdm또는C:\temp에 있는지 확인합니다.- 크롬 드라이버가 없다면 웹에서 자동 다운로드하고 캐시에 저장됩니다.
이렇게 설정해 두면, 복잡한 수동 업데이트 과정을 피할 수 있어요.
자주 묻는 질문 (FAQ)
### 크롬 드라이버 및 셀레니움의 최신 버전을 어떻게 유지하나요?
크롬 드라이버와 셀레니움 모두 최신 버전을 유지하려면 pip install --upgrade selenium 명령어를 사용하여 주기적으로 업데이트해 주는 것이 좋습니다.
### 셀레니움과 크롬 드라이버의 버전이 맞지 않을 때 어떻게 해야 하나요?
이 경우는 크롬 드라이버를 현재 설치된 크롬 버전과 맞춰 업데이트해야 합니다. ChromeDriver 다운로드에서 올바른 버전을 받아오세요.
### WebDriverManager는 어떤 역할을 하나요?
WebDriverManager는 브라우저 드라이버를 자동으로 관리해주는 라이브러리로, 설치된 브라우저에 맞는 드라이버를 자동으로 다운로드하도록 돕습니다.
### 캐시 디렉터리는 어디에 위치하나요?
일반적으로 캐시 디렉터리는 C:\Users\<username>\.wdm 또는 C:\temp 위치에 생깁니다. 브라우저가 드라이버를 자동으로 다운로드하는 경로이므로 참고하시면 좋습니다.
마무리
스크립트를 사용하는 동안 크롬 드라이버와 셀레니움의 버전 문제는 자주 발생하는 이슈입니다. 이 문제를 이해하고 해결하는 방법을 아는 것이 정말 중요해요. 위에서 말씀드린 방법들을 참고하여 쉽게 해결해 보시길 바랍니다. 언제든지 문제가 생기면 블로그에 방문해주시면 되니까, 즐겁고 유익한 코딩 생활 되시길 바랍니다!