데이터엔지니어링 썸네일형 리스트형 [TIL] 5주차_Day16: 크롤한 웹데이터로 만들어보는 웹사이트 (1) 💡Today I Learned 크롤링한 웹 데이터로 만들어보는 시각화 웹 서비스의 프로젝트_day1을 진행했습니다. 주제 선정, RNR(Role And Responsibility), 서비스 아키텍처 구성 1. 주제 선정 개발 직군의 현재 채용 중인 공고, 회사, 포지션, 요구 기술스택을 보여주는 웹 서비스 개발 - 프로그래머스 채용 페이지 (https://career.programmers.co.kr/job?page=1&order=recent) 내의 데이터들을 이용해 포지션별 채용 공고 / 포지션 별 기술 스택 / 포지션-지역별 채용 공고 / 채용 회사 별 복지 현황을 다양한 시각화 차트로 제공합니다. 2. RNR 데이터 스크래핑 (1) + 백엔드 개발 (2) + 데이터 시각화 (2) 시각화 차트 중 1... 더보기 [TIL] 4주차_Day15: Django 프레임워크를 사용해서 API서버 만들기(5) 💡Today I Learned 파이썬 장고 프레임워크를 이용한 API 서버 만들기의 다섯 번째 강의를 진행했습니다. RelatedField, 투표 기능 추가(Model, Serialier, View 구현), Validation에 대한 이론 및 실습 1. RelatedField a. StringRelatedField: 모델의 __str__(self) 에 지정된 내용을 questions 필드에 표시 class UserSerializer(serializers.ModelSerializer): questions = serializers.StringRelatedField(many=True, read_only=True) b. SlugRelatedField: 지정한 slug_field 내용을 questions 필드에 .. 더보기 [TIL] 4주차_Day14: Django 프레임워크를 사용해서 API서버 만들기(4) 💡Today I Learned 파이썬 장고 프레임워크를 이용한 API 서버 만들기의 네 번째 강의를 진행했습니다. polls_api를 사용하는 User 추가/관리/생성, User에 대한 권한 관리(읽기/쓰기 여부에 따른 페이지 표시), POSTMAN 테스팅에 대한 이론 및 실습 1. User 추가하기 : User만 모델을 수정할 수 있도록 사용자 추가 a. (복습) 관리자(admin) 생성 python manage.py createsuperuser b. auth 앱(장고 디폴트 INSTALLED_APPS, settings.py에서 확인 가능)의 User 모델 불러오기 from django.contrib.auth.models import User User._meta.get_fields() # 모델 필드 살.. 더보기 [TIL] 4주차_Day13: Django 프레임워크를 사용해서 API서버 만들기(3) 💡Today I Learned 파이썬 장고 프레임워크를 이용한 API 서버 만들기의 세 번째 강의를 진행했습니다. rest framework, serializer, rest/question~ url의 view를 구현하는 다양한 방법에 대한 이론 및 실습 1. Serializer : Serialize = 모델 인스턴스나 QuerySet같은 데이터(딕셔너리 형태)를 API로 주고받기 위해서 JSON 형식의 파일로 변환하는 작업 : Deserialize = JSON 형식의 데이터를 정의된 포맷에 맞춰 다시 모델 인스턴스로 변환해 컴퓨터에 로딩하는 과정 : Serializer = Serialize, Deserialize 기능을 함 : 일반적으로 API 서버에서는 JSON 형식으로 데이터를 주고받음 : djang.. 더보기 [TIL] 4주차_Day12: Django 프레임워크를 사용해서 API서버 만들기(2) 💡Today I Learned 파이썬 장고 프레임워크를 이용한 API 서버 만들기의 두 번째 강의를 진행했습니다. django views, template, detail page, 에러처리, 장고 어드민 페이지의 커스터마이징에 대한 이론 및 실습 1. 뷰(Views)와 템플릿(Templates) : models = DB의 정보를 저장, 읽어옴 : views = model의 정보(=DB의 정보)를 활용함 : templates = HTML을 이용해 데이터를 표시해주기위함, [앱 이름]/templates/[앱 이름]/~~~.html : render() = Django의 내장 함수, HTTP 요청에 대해 템플릿 파일을 렌더링해 응답함 (보통 Django의 뷰(View)에서 사용) : render(요청(Reque.. 더보기 [TIL] 4주차_Day11: Django 프레임워크를 사용해서 API서버 만들기(1) 💡Today I Learned 파이썬 장고 프레임워크를 이용한 API 서버 만들기의 첫 번째 강의를 진행했습니다. 장고 개발 환경 설정 django project, app, model, admin, shell 개념 및 실습 1. Django project 생성하기 : Django = 파이썬으로 제작된 웹 프레임워크 : 장고를 구동시킬 가상환경을 만들고 프로젝트별로 관리 (for 충돌 방지) : managy.py - 장고 프로젝트를 터미널에서 조작할 수 있는 명령을 제공함 (기본 명령어) a. 가상환경 생성 python -m venv [가상환경 이름] b. 가상환경 활성화 source [가상환경 이름]/bin/activate c. 가상환경 비활성화 deactivate d. 새로운 Django 프로젝트 생.. 더보기 [TIL] 3주차_Day10: 파이썬 웹 크롤링(5) 💡Today I Learned 파이썬을 이용한 웹 크롤링 기술에 대한 다섯 번째 강의를 진행했습니다. seaborn, matplotlib를 이용한 자료 시각화 스크래핑 데이터를 wordcloud로 시각화 1. seaborn을 이용한 시각화 : 분산돼있는 스크래핑의 결과를 시각화 : seaborn - matplotlib을 기반으로 하는 시각화 라이브러리 : line plot, bar plot plotting 해보기 2. 스크래핑 결과 시각화하기 : 한국어 자연어 처리 패키지 konlpy : 형태소 분석기 (kkma, komoran, hannanum, okt, ...) 사용해 문장 내 명사 추출 : 추출한 명사를 wordcloud 패키지로 워드 클라우드 생성 : 결과 예시 더보기 [TIL] 3주차_Day9: 파이썬 웹 크롤링(4) 💡Today I Learned 파이썬을 이용한 웹 크롤링 기술에 대한 네 번째 강의를 진행했습니다. selenium을 이용한 브라우저 자동화 실습 키보드, 마우스 이벤트 자동화를 통한 동적 웹 페이지 스크래핑 1. selenium으로 브라우저 자동화 : 파이썬 이용해 웹 브라우저 조작할 수 있는 자동화 프레임워크 : 자동화 = 이벤트(키보드 마우스 조작 ...)를 파이썬 코드를 통해 조작 가능 : WebDriver = 웹 브라우저를 제어할 수 있는 자동화 프레임워크 : 요소 찾기 1. find_element(By, target) (하나) 2. find_elements(By, target) (해당되는 것 전부) 2. wait and call : 요청~응답 받는 동안 특정 조건에 따라 wait(대기)할 수 .. 더보기 이전 1 2 3 4 5 다음 반응형
