웹페이지크롤링 썸네일형 리스트형 [자연어 처리] 웹페이지 크롤링(1) 텍스트 마이닝 프로젝트를 위한 첫 단계인 데이터 수집 단계에서 python으로 크롤링을 진행했습니다. beautifulsoup과 request 조합으로 크롤링을 할 수 있지만 약 3-4만개의 리뷰를 여러 페이지에서 크롤링 할 수 있도록 자동화하기 위해서 selenium 모듈을 사용했어요 ! *) selenium: 웹페이지 테스트 자동화용 모듈로, 개발/테스트용 드라이버(웹브라우저)를 사용하여 실제 사용자가 사용하는 것처럼 동작시킬 수 있음 (id, password 입력과 같이 검색창에 검색 키 전달, 버튼 클릭 etc..) *) 실습전 확인사항 1. selenium 모듈 설치 (아나콘다 navigator - environments - selenium 검색) 2. 크롬 드라이버 다운로드 ( https://.. 더보기 이전 1 다음 반응형
