본문 바로가기

크롤러2

[Python 크롤링] Selenium과 Beautiful Soup 활용한 크롤링 코드 예시 웹에 접근해서 이것 저것 하려면(엔터키를 보내고 이러쿵 저러쿵) 셀레늄에서 웹드라이버를 설치해야 함 그리고 웹에 접근한 이후부터 본격적으로 beautifulsoup 통해서 웹을 분석하는 거임 [셋 중 하나 골라 잡으세요] # 웹 제어를 위한 크롬드라이버 설정 1 # 크롬드라이버 자동 다운로드 # pip install chromedriver-autoinstaller from selenium import webdriver import chromedriver_autoinstaller as ca driver = webdriver.Chrome(ca.install()) # 웹 제어를 위한 크롬드라이버 설정 2 # 크롬드라이버 수동 다운로드 및 활용 from selenium import webdriver driver.. 2023. 8. 1.
[Python 크롤링] 데이터 수집과 웹 구조, HTML5 문법, 실습 코드 크롤링을 배우는 이유는? : 산재되어있는 데이터 모아서 유의미한 결과를 뽑아내고, 그것을 통해 상대방을 설득하여 내가 원하는 것을 얻기 위함. 💡 웹 크롤링>웹 스크래핑 ◆ 웹 크롤링: 정의 되어 있지 않은 수많은 데이터들 중 내가 원하는 정보 인덱싱하는 행위 ex) 검색엔진 ◆ 웹 스크래핑: 타겟 사이트, 타겟 페이지 존재→ 거기서 내가 원하는 데이터를 구조화(배열, 테이블, 리스트 저장 등등) 해서 가져오는 행위 데이터 분석: 이미 일어난 일에 대한 원인을 찾고, 기계 또는 사람이 미래에 무슨 일을 벌일지 예측하는 것이다. 빅데이터는 정답에 가까운 해답을 찾는 과정이다. 빅데이터는 절대 정답을 얘기하지 않는다. 확률로 얘기한다! 인터넷에 있는 정보를 갖고 오려면 일단 웹 구조를 알아야겠죠? 자료의 양.. 2023. 8. 1.