코딩 썸네일형 리스트형 [자연어 처리] 웹페이지 크롤링(1) 텍스트 마이닝 프로젝트를 위한 첫 단계인 데이터 수집 단계에서 python으로 크롤링을 진행했습니다. beautifulsoup과 request 조합으로 크롤링을 할 수 있지만 약 3-4만개의 리뷰를 여러 페이지에서 크롤링 할 수 있도록 자동화하기 위해서 selenium 모듈을 사용했어요 ! *) selenium: 웹페이지 테스트 자동화용 모듈로, 개발/테스트용 드라이버(웹브라우저)를 사용하여 실제 사용자가 사용하는 것처럼 동작시킬 수 있음 (id, password 입력과 같이 검색창에 검색 키 전달, 버튼 클릭 etc..) *) 실습전 확인사항 1. selenium 모듈 설치 (아나콘다 navigator - environments - selenium 검색) 2. 크롬 드라이버 다운로드 ( https://.. 더보기 [에러/고침] ImportError: cannot import name 'GridspecLayout' from 'ipywidgets' pandas_profiling을 import하고 프로파일링 결과 리포트를 화면에 출력하려는데 ImportError: cannot import name 'GridspecLayout' from 'ipywidgets' 라는 에러 문구가 뜹니다. import ipywidgets ipywidgets.__version__ 으로 버전을 확인했을 때 '7.4.5' 라고 뜨네요 위 사진과 같이 Anaconda Prompt나 명령 프롬프트를 관리자 권한으로 열어서 pip install -U ipywidgets 명령어로 ipywidgets을 업데이트 해줍니다. (*이 때 주피터 노트북으로 파이썬을 실행중이라면 에러가 뜰 수도 있어, 만약 에러가 뜬다면 주피터 노트북을 끈 다음 명령어를 치면 업데이트가 됩니다.) 이제 Gri.. 더보기 [머신러닝 인강] 14-1주차: Pandas DataFrame의 병합 (stack, unstack, Concat, Merge, join) 04. 데이터 분석을 위한 Python (Pandas) 23. DataFrame의 그룹핑 - 04. stack, unstack 함수의 이해 및 활용하기 24. DataFrame의 병합과 조인 - 01. Concat 함수로 데이터 프레임 병합하기 25. DataFrame의 병합과 조인 - 02. Merge, join 함수로 데이터 프레임 병합하기 23. DataFrame의 그룹핑 - 04. stack, unstack 함수의 이해 및 활용하기 - stack & unstack stack: 컬럼 레벨에서 인덱스 레벨로 dataframe을 변경 (데이터를 쌓아 올리는 개념) unstack: 인덱스 레벨에서 컬럼 레벨로 dataframe을 변경 (stack의 반대 operation) 두 함수 다 parameter을.. 더보기 [머신러닝 인강] 패스트캠퍼스 머신러닝과 데이터 분석 A-Z올인원 패키지 Online 머신러닝 인강 챌린지 참여 후기 올해 2월 중순부터 머신러닝 인강을 들었는데요, 패스트캠퍼스에서 머신러닝 인강뿐만 아니라 데이터 분석까지 한꺼번에 공부할 수 있는 패키지 강의가 있어서 수강해봤습니다 ! 이번 포스팅에서는 13주간 학습한 데이터 분석 + 머신러닝 인강 그 후기에 대해 기록해보려고 합니다 ! 패스트 캠퍼스에서 머신러닝 인강을 찾던 중 '100% 환급 챌린지' 이벤트를 보게 되었는데요, 챌린지 시작일인 2월 중순부터 종료일인 5월 20일까지 매주 미션을 통과하고, 최종 미션까지 완료할 경우 수강료를 100% 환급받을 수 있는 챌린지였습니다. 환급 챌린지의 미션은 [주 2회 블로그에 강의 기록 남기기] 이고, 매주 미션을 통과한 사람들에게 최종미션인 [수강후기 작성] 참가 자격이 주어집니다. 한 포스팅 당 3개 이상의 클립을 .. 더보기 [머신러닝 인강] 13-2주차: Pandas DataFrame의 그룹핑 (group by, transform, pivot, pivot_table) 04. 데이터 분석을 위한 Python (Pandas) 20. DataFrame의 그룹핑 - 01. DataFrame group by 이해하기 21. DataFrame의 그룹핑 - 02. transform 함수의 이해 및 활용하기 22. DataFrame의 그룹핑 - 03. pivot, pivot_table 함수의 이해 및 활용하기 이번 주차는 DataFrame의 그룹핑에 대해서 배워보는 시간이었습니다. 그룹핑이란 특정 column(feature, 변수)에 대해서 데이터를 묶어 처리를 하는 작업을 말합니다 ! >>수강 인증샷 더보기 [머신러닝 인강] 13-1주차: Pandas DataFrame 숫자 데이터, 범주형 데이터, 데이터의 전처리 04. 데이터 분석을 위한 Python (Pandas) 17. DataFrame 타입이해 - 11. 숫자 데이터와 범주형 데이터의 이해 18. DataFrame 타입이해 - 12. 숫자 데이터의 범주형 데이터화 19. DataFrame 타입이해 - 13. 범주형 데이터 전처리 하기(one-hot encoding) 이번 주차는 DataFrame 타입의 이해 그 마지막 시간이었습니다. 존재하는 데이터는 크게 숫자형 / 범주형(category) 두 가지로 나눌 수 있는데, 숫자형 데이터를 범주형 데이터화, 범주형 데이터를 숫자형으로 전처리하는 법을 배워봤답니다. >>수강 인증샷 더보기 [머신러닝 인강] 12-2주차: Pandas DataFrame 새 컬럼 추가/삭제, 상관관계 계산, NaN 데이터 처리 04. 데이터 분석을 위한 Python (Pandas) 14. DataFrame 타입이해 - 08. DataFrame에 새 column(컬럼) 추가_삭제하기 15. DataFrame 타입이해 - 09. DataFrame column(컬럼)간 상관관계 계산하기 16. DataFrame 타입이해 - 10. DataFrame NaN 데이터 처리 지난 시간에 이어 DataFrame 타입에 대한 이해 파트를 학습하고 있습니다. 이번 주차에는 DataFrame에 새 column을 추가 또는 삭제하는 법을 배우고 각 column 사이의 상관관계 계산, NaN 데이터를 처리하는 법까지 배웠습니다. >>수강 인증샷 더보기 [머신러닝 인강] 12-1주차: Pandas DataFrame 의 컬럼,데이터 선택하기 04. 데이터 분석을 위한 Python (Pandas) 11. DataFrame 타입이해 - 05. DataFrame 원하는 column(컬럼)만 선택하기 12. DataFrame 타입이해 - 06. DataFrame 원하는 row(데이터)만 선택하기 13. DataFrame 타입이해 - 07. DataFrame Boolean Selection으로 데이터 선택하기 이번 주차에는 데이터 프레임의 원하는 row, column, 데이터를 선택하는 법에 대해서 알아보았습니다. >>수강 인증샷 더보기 이전 1 2 3 4 ··· 6 다음 반응형
