반응형 robots.txt 에러1 Scrapy 프록시 설정 및 오류 해결 방법 Crawled (404) <GET https://domain/robots.txt> (referer: None) 1. 프록시 미들웨어 설치 프록시 서버를 사용하기 위해 scrapy-proxies 패키지를 설치합니다. 명령 프롬프트(Windows) 또는 터미널(macOS/Linux)에서 다음 명령어를 실행합니다. pip install scrapy-proxies 2. settings.py 파일 수정 Scrapy 프로젝트의 settings.py 파일을 열고 다음과 같이 설정을 추가합니다. DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 100, # 기본 프록시 미들웨어 비활성화 'scrapy_proxies.RandomProxy': 200, # 프록시 미들웨어 활성화 } PROXY_LIST = 'path/to/p.. 2023. 6. 28. 이전 1 다음 728x90 반응형
