본문 바로가기
반응형

전체 글91

Python + Selenium 도메인 여러 개 크롤링하기 도메인 여러 개를 리스트에 넣어두고 여러 사이트를 순차적으로 크롤링할 수 있는 방법에 대해 설명해보도록 하겠습니다. url에 따라 선택자를 다르게 설정하여 코드를 작성할 수 있습니다. 아래 코드를 참조해주세요. from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import re driver = webdriver.Chrome() urls = ['https://example.com/a', 'https://exam.. 2023. 6. 30.
Python + Selenium 특정 요소가 로드된 후 원하는 데이터 가지고 오기(선택자 종류 소개) 2023.06.29 - [공부기록/파이썬] - Python + Selenium으로 크롤링 시작하기(예제 있음) 파이썬에서 셀레니움을 시작하는 방법은 위 글을 참조해주세요. * WebDriverWait 클래스와 expected_conditions 모듈을 사용하여 특정 요소가 로드된 이후 원하는 데이터를 가지고 올 수 있습니다. * 아래 코드를 참조해주세요.from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 웹.. 2023. 6. 30.
mssql server 복원시 오류 Restore failed for Server '*'. (Microsoft.SqlServer.SmoExtended) mssql server 복원시 아래 오류 해결방법(윈도우 기준) Restore failed for Server '*. (Microsoft.SqlServer.SmoExtended) 윈도우 서비스에 들어가서 SQL Server를 중지 후 다시 시작한다.Microsoft SQL Server Management Studio를 껐다 킨다. 그래도 똑같은 오류가 난다면 SQL을 사용하고 있는 프로그램을 모두 종료한다. 나같은 경우엔 이클립스를 끄니까 제대로 동작했다. 2023. 6. 29.
Python + Selenium으로 크롤링 시작하기(예제 있음) 1. 셀레니움 설치 먼저, Python에 셀레니움을 설치해야 합니다. 아래 명령을 사용하여 셀레니움을 설치할 수 있습니다.pip install selenium 2. 웹 드라이버 다운로드 셀레니움은 웹 브라우저를 제어하기 위해 웹 드라이버를 사용합니다. 웹 드라이버는 사용할 웹 브라우저에 따라 다릅니다. 가장 흔한 크롬 드라이버를 설정해보도록 하겠습니다. https://sites.google.com/chromium.org/driver/downloads ChromeDriver - WebDriver for Chrome - DownloadsCurrent Releases If you are using Chrome version 115 or newer, please consult the Chrome for Test.. 2023. 6. 29.
Scrapy 프록시 설정 및 오류 해결 방법 Crawled (404) <GET https://domain/robots.txt> (referer: None) 1. 프록시 미들웨어 설치 프록시 서버를 사용하기 위해 scrapy-proxies 패키지를 설치합니다. 명령 프롬프트(Windows) 또는 터미널(macOS/Linux)에서 다음 명령어를 실행합니다. pip install scrapy-proxies 2. settings.py 파일 수정 Scrapy 프로젝트의 settings.py 파일을 열고 다음과 같이 설정을 추가합니다. DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 100, # 기본 프록시 미들웨어 비활성화 'scrapy_proxies.RandomProxy': 200, # 프록시 미들웨어 활성화 } PROXY_LIST = 'path/to/p.. 2023. 6. 28.
Scrapy & MongoDB(크롤링한 데이터 MongoDB에 저장하는 방법 & MongoDB 선택한 이유) 1. MongoDB 파이썬 드라이버 설치크롤링 프로젝트의 가상환경에 pymongo 패키지를 설치합니다 pip install pymongo2. MongoDB 설정MongoDB 서버가 실행 중이어야 합니다. 로컬 머신에 MongoDB가 설치되어 있지 않은 경우, 공식 MongoDB 웹사이트에서 MongoDB Community Edition을 다운로드하고 설치합니다.MongoDB 서버가 실행 중인 호스트 및 포트 정보를 기억해두어야 합니다.3. Scrapy 설정 파일 수정Scrapy 프로젝트의 settings.py 파일을 열고 다음과 같이 설정을 추가합니다MONGODB_URI = 'mongodb://localhost:27017/' # MongoDB 서버 호스트 및 포트 정보 입력 MONGODB_DATABASE.. 2023. 6. 28.
MongoDB 시작하기(Enterprise vs Community Edition 차이) MongoDB 시작하기 1. MongoDB 다운로드 https://www.mongodb.com/try/download/community Try MongoDB Community Edition Try MongoDB Community Edition on premise non-relational database including the Community Server and Community Kubernetes Operator for your next big project! www.mongodb.com MongoDB는 Enterprise Edition과 Community Edition으로 두 가지 주요 버전을 제공합니다. 아래는 MongoDB Enterprise Edition과 Community Edition의 .. 2023. 6. 27.
scrapy로 크롤링 시작하기(크롤링할 도메인이 여러 개일 경우) 이미 phython 가상 환경을 생성하신 분들은 2번부터 참고해주세요. 1. 가상 환경(Virtual Environment) 설정 명령 프롬프트(cmd)를 열고 프로젝트를 생성할 디렉토리로 이동한다. 가상 환경을 생성하고 활성화한다. 아래의 명령을 실행한다. python -m venv myenv cd ./myenv\Scripts ./activate.bat 2. Scrapy 설치 가상환경을 활성화한 상태에서 다음 명령을 실행하여 Scrapy를 설치한다: pip install scrapy 3. Scrapy 프로젝트 생성 원하는 디렉토리로 이동하여 Scrapy 프로젝트를 생성한다. 터미널 또는 명령 프롬프트(cmd)에서 다음 명령을 실행한다: scrapy startproject myproject myproje.. 2023. 6. 27.
django 처음 시작하기(윈도우, vscode) 1. 파이썬 설치https://www.python.org/ Welcome to Python.orgThe official home of the Python Programming Languagewww.python.org여기서 다운로드 페이지에 들어가서 각자 운영체제에 맞는 설치파일 다운로드를 한다.2. 가상 환경(Virtual Environment) 설정명령 프롬프트(cmd)를 열고 프로젝트를 생성할 디렉토리로 이동합니다.가상 환경을 생성하고 활성화합니다. 아래의 명령을 실행합니다: python -m venv myenv cd ./myenv\Scripts ./activate.bat3. Django 설치가상 환경에서 Django를 설치합니다. 명령 프롬프트에 아래의 명령을 입력합니다: pip install dj.. 2023. 6. 26.
PostgreSQL DBMS 추천 및 DBeaver로 시작하기(설치) pgAdmin: pgAdmin은 PostgreSQL을 관리하기 위한 공식 그래픽 사용자 인터페이스 도구입니다. 다양한 기능을 제공하며, 데이터베이스 및 테이블 생성, 쿼리 실행, 스키마 관리, 백업 및 복원 등을 할 수 있습니다. 다운로드 및 설치는 PostgreSQL 공식 웹사이트에서 제공되는 PostgreSQL Windows 설치 프로그램에 포함되어 있습니다. DBeaver: DBeaver는 다중 데이터베이스 관리 도구로서 PostgreSQL을 비롯한 다양한 데이터베이스 시스템을 지원합니다. 사용자 친화적인 인터페이스와 강력한 기능을 제공합니다. ER 다이어그램 작성, 데이터 검색 및 편집, 쿼리 실행, 스키마 관리 등을 할 수 있습니다. DBeaver는 오픈 소스로 제공되며, 공식 웹사이트에서 다운.. 2023. 6. 25.
SNAKE TO CAMEL/CAMEL TO SNAKE CONVERTER 온라인 변환기 첫 번째 칸에 변환하고자 하는 글자를 입력하시고 버튼을 누르시면 두 번째 칸에 변환된 결과를 보여줍니다. Snake -> Camel Camel -> Snake 사용하시면 아래처럼 나옵니다. 2023. 3. 7.
[Tabulator] 페이징 방법(pagination local vs. remote) Tabulator에는 pagination 기능을 지원한다. 두 가지 방식으로 사용이 가능하다. local과 remote 용어에서 보면 알 수 있듯 local은 tabulator를 사용한 페이지 내에서 pagination을 가능하게 하고 remote는 서버 자체에서 pagination을 구현할 수 있도록 지원하는 속성이다. 1. local ------ javascript ------ var table = new Tabulator("#table1", { layout:"fitColumns", placeholder:"데이터가 존재하지 않습니다.", pagination:"local", paginationSize: 10, columns : [ { title: "순번", field: "", minWidth: 50, .. 2022. 12. 28.
728x90
반응형

티스토리툴바