반응형 분류 전체보기87 Scrapy 프록시 설정 및 오류 해결 방법 Crawled (404) <GET https://domain/robots.txt> (referer: None) 1. 프록시 미들웨어 설치 프록시 서버를 사용하기 위해 scrapy-proxies 패키지를 설치합니다. 명령 프롬프트(Windows) 또는 터미널(macOS/Linux)에서 다음 명령어를 실행합니다. pip install scrapy-proxies 2. settings.py 파일 수정 Scrapy 프로젝트의 settings.py 파일을 열고 다음과 같이 설정을 추가합니다. DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 100, # 기본 프록시 미들웨어 비활성화 'scrapy_proxies.RandomProxy': 200, # 프록시 미들웨어 활성화 } PROXY_LIST = 'path/to/p.. 2023. 6. 28. Scrapy & MongoDB(크롤링한 데이터 MongoDB에 저장하는 방법 & MongoDB 선택한 이유) 1. MongoDB 파이썬 드라이버 설치크롤링 프로젝트의 가상환경에 pymongo 패키지를 설치합니다 pip install pymongo2. MongoDB 설정MongoDB 서버가 실행 중이어야 합니다. 로컬 머신에 MongoDB가 설치되어 있지 않은 경우, 공식 MongoDB 웹사이트에서 MongoDB Community Edition을 다운로드하고 설치합니다.MongoDB 서버가 실행 중인 호스트 및 포트 정보를 기억해두어야 합니다.3. Scrapy 설정 파일 수정Scrapy 프로젝트의 settings.py 파일을 열고 다음과 같이 설정을 추가합니다MONGODB_URI = 'mongodb://localhost:27017/' # MongoDB 서버 호스트 및 포트 정보 입력 MONGODB_DATABASE.. 2023. 6. 28. MongoDB 시작하기(Enterprise vs Community Edition 차이) MongoDB 시작하기 1. MongoDB 다운로드 https://www.mongodb.com/try/download/community Try MongoDB Community Edition Try MongoDB Community Edition on premise non-relational database including the Community Server and Community Kubernetes Operator for your next big project! www.mongodb.com MongoDB는 Enterprise Edition과 Community Edition으로 두 가지 주요 버전을 제공합니다. 아래는 MongoDB Enterprise Edition과 Community Edition의 .. 2023. 6. 27. scrapy로 크롤링 시작하기(크롤링할 도메인이 여러 개일 경우) 이미 phython 가상 환경을 생성하신 분들은 2번부터 참고해주세요. 1. 가상 환경(Virtual Environment) 설정 명령 프롬프트(cmd)를 열고 프로젝트를 생성할 디렉토리로 이동한다. 가상 환경을 생성하고 활성화한다. 아래의 명령을 실행한다. python -m venv myenv cd ./myenv\Scripts ./activate.bat 2. Scrapy 설치 가상환경을 활성화한 상태에서 다음 명령을 실행하여 Scrapy를 설치한다: pip install scrapy 3. Scrapy 프로젝트 생성 원하는 디렉토리로 이동하여 Scrapy 프로젝트를 생성한다. 터미널 또는 명령 프롬프트(cmd)에서 다음 명령을 실행한다: scrapy startproject myproject myproje.. 2023. 6. 27. 이전 1 ··· 7 8 9 10 11 12 13 ··· 22 다음 728x90 반응형
