[TIL] 3주차_Day9: 파이썬 웹 크롤링(4)

💡Today I Learned

• 파이썬을 이용한 웹 크롤링 기술에 대한 네 번째 강의를 진행했습니다.
• selenium을 이용한 브라우저 자동화 실습
• 키보드, 마우스 이벤트 자동화를 통한 동적 웹 페이지 스크래핑

 

---

 

1. selenium으로 브라우저 자동화

: 파이썬 이용해 웹 브라우저 조작할 수 있는 자동화 프레임워크

: 자동화 = 이벤트(키보드 마우스 조작 ...)를 파이썬 코드를 통해 조작 가능

: WebDriver = 웹 브라우저를 제어할 수 있는 자동화 프레임워크

: 요소 찾기 1. find_element(By, target) (하나)  2. find_elements(By, target) (해당되는 것 전부)

 

2. wait and call

: 요청~응답 받는 동안 특정 조건에 따라 wait(대기)할 수 있음

: call로 어떤 요소 가져오거나 액션 수행 등

: XPath(XML path) = XML, HTML 문서 등의 요소의 위치를 경로로 표현하는 것  ex) 데스크탑/폴더1/폴더2/음악.mp3

: implicit wait(특정 시간까지 기다려라) & explicit wait(특정 조건 만족할 때까지 기다려라)

 

3. 이벤트 처리하기

: selenium 이용한 마우스 이동, 클릭, 떼기, 키보드 입력 등의 이벤트 구현

: ActionChains - 마우스 이벤트 연쇄적으로 수행(perform)

: .click(요소) - 요소 마우스 클릭

: .send_keys_to_element(요소, 값) - 요소에 값 전달 (키보드 입력)