[TIL] 5주차_Day16: 크롤한 웹데이터로 만들어보는 웹사이트 (1)

💡Today I Learned

• 크롤링한 웹 데이터로 만들어보는 시각화 웹 서비스의 프로젝트_day1을 진행했습니다.
• 주제 선정, RNR(Role And Responsibility), 서비스 아키텍처 구성

 

---

 

1. 주제 선정

• 개발 직군의 현재 채용 중인 공고, 회사, 포지션, 요구 기술스택을 보여주는 웹 서비스 개발 - 프로그래머스 채용 페이지 (https://career.programmers.co.kr/job?page=1&order=recent) 내의 데이터들을 이용해 포지션별 채용 공고 / 포지션 별 기술 스택 / 포지션-지역별 채용 공고 / 채용 회사 별 복지 현황을 다양한 시각화 차트로 제공합니다.

 

2. RNR

• 데이터 스크래핑 (1) + 백엔드 개발 (2) + 데이터 시각화 (2)
• 시각화 차트 중 1. 히스토그램 (포지션 별 채용 공고 빈도수)  2. 그래프 네트워크 (공고 내 포지션 별 기술 스택) 로 구현
• +) '연봉 정보'는 모든 공고에 기재돼있지는 않음 → ex) 연차, 직급별 연봉 그래프 등 추가로 활용할 방안 모색

 

3. 논의/진행된 사항 (팀)

• 작업 환경 구축 (깃허브, 노션 공동 작업 스페이스)
• 매일 8:10 - 게더타운 내 1팀 회의 테이블 에서 간단한 데일리 스크럼 진행 (어제 진행한 사항, 오늘 진행될 사항, 이슈 및 논의사항 공유)
• 데이터베이스 테이블 모델링 (ERD 설계), DB 툴 설치 (DBeaver)

 

4. 진행된 사항 (개인)

• 시각화 파트 분배
• 히스토그램, 그래프 네트워크 시각화에 필요한 라이브러리 서치 및 예제코드 클론코딩
• 시각화에 사용될 테이블, 속성 고안

 

5. 내일 보고/논의할 사항

• 코드 리뷰 정책 관련 논의 (Pull Request 권한, etc..)
• 타 사이트(ex: 원티드) 정보 사용 여부 논의 (프로그래머스 페이지만 사용 시 데이터 개수가 한정적이라는 단점, 중복되는 채용 공고에 대한 처리는 어떻게 할 지, 스크래핑하는 필드에 따라 도메인값이 달라지는데 이에 대한 처리)
• (초안) '연봉 구간 설정' 기능 구현 → 연봉 데이터 활용할 다른 방안 (ex: 연차, 직급별 연봉 그래프)
• 시각화 차트 구성 4가지, 파트 분배 (2/2)
• [일간 회의록 작성 역할 담당 건의