본문 바로가기

데이터분석

[자연어 처리] 웹페이지 크롤링(1) 텍스트 마이닝 프로젝트를 위한 첫 단계인 데이터 수집 단계에서 python으로 크롤링을 진행했습니다. beautifulsoup과 request 조합으로 크롤링을 할 수 있지만 약 3-4만개의 리뷰를 여러 페이지에서 크롤링 할 수 있도록 자동화하기 위해서 selenium 모듈을 사용했어요 ! *) selenium: 웹페이지 테스트 자동화용 모듈로, 개발/테스트용 드라이버(웹브라우저)를 사용하여 실제 사용자가 사용하는 것처럼 동작시킬 수 있음 (id, password 입력과 같이 검색창에 검색 키 전달, 버튼 클릭 etc..) *) 실습전 확인사항 1. selenium 모듈 설치 (아나콘다 navigator - environments - selenium 검색) 2. 크롬 드라이버 다운로드 ( https://.. 더보기
[머신러닝 인강] 13-2주차: Pandas DataFrame의 그룹핑 (group by, transform, pivot, pivot_table) 04. 데이터 분석을 위한 Python (Pandas) 20. DataFrame의 그룹핑 - 01. DataFrame group by 이해하기 21. DataFrame의 그룹핑 - 02. transform 함수의 이해 및 활용하기 22. DataFrame의 그룹핑 - 03. pivot, pivot_table 함수의 이해 및 활용하기 이번 주차는 DataFrame의 그룹핑에 대해서 배워보는 시간이었습니다. 그룹핑이란 특정 column(feature, 변수)에 대해서 데이터를 묶어 처리를 하는 작업을 말합니다 ! >>수강 인증샷 더보기
[머신러닝 인강] 1-1주차: 파이썬 개발환경 설정 01. Python Programming 기초 01. 환경설정 - 파이썬 개발 환경 설정 (Mac) 02. 환경설정 - 파이썬 개발 환경 설정 (Windows) 03. 환경설정 - jupyter notebook 설치 및 사용법 소개 패스트 캠퍼스에서 [머신러닝과 데이터 분석 A-Z 올인원 패키지 Online] 강의를 듣게 되었는데요, 오늘부터 완강하는 날까지 90일동안 일주일에 2번씩 학습 기록을 남겨볼까 합니다 ! >>수강 인증샷 더보기
반응형