본문 바로가기

데이터엔지니어링

[TIL] 8주차_Day32: 데이터 웨어하우스 관리, 고급 SQL, BI 대시보드 (2) 💡Today I Learned 데이터 웨어하우스, SQL, BI 대시보드에 대한 두 번째 수업을 진행했습니다. Redshift (Trial) 설치, Redshift 초기 설정 (스키마, 그룹, 유저), Redshift COPY 명령으로 테이블에 레코드 적재하기 관련 실습 진행 1. Redshift의 특징 - Overall : AWS에서 지원하는 데이터 웨어하우스 서비스 : OLAP(Analytical) → 응답속도가 빠르지 x, 프로덕션 DB로는 사용불가 : 컬럼 기반 스토리지 → 레코드(row)가 아닌 컬럼(속성)별로 저장함, 컬럼별 압축이 가능, 컬럼 추가/삭제가 빠름 : 벌크 업데이트 → 레코드가 들어있는 파일을 S3(AWS 스토리지)로 복사 후 COPY 커맨드로 Redshift에 일괄 복사 : .. 더보기
[TIL] 8주차_Day31: 데이터 웨어하우스 관리, 고급 SQL, BI 대시보드 (1) 💡Today I Learned 데이터 웨어하우스, SQL, BI 대시보드에 대한 첫 번째 수업을 진행했습니다. 1. 데이터 팀의 역할 - 데이터 조직이 하는 일 : 신뢰할 수 있는 데이터를 바탕으로 부가 가치(=간접 매출)를 생성 : 결정 과학(Decision Science) → 데이터 기반 지표(KPI) 정의, 대시보드/리포트 생성 : (Product Science) 고품질 데이터 기반 사용자 경험 개선, 프로세스 최적화 → by.ML 알고리즘 - 데이터 팀의 발전 단계 : 온라인 서비스에서 생기는 데이터 → 데이터 인프라(Production db, ETL/ELT) → 데이터 분석(지표 정의, 시각화, ...) ↔ 데이터 과학 적용(사용자 경험 개선 ex) 추천, 검색 등의 개인화 서비스) 1. 데이.. 더보기
[TIL] 7주차_Day30: AWS 클라우드 실습 (5) 💡Today I Learned AWS 클라우드 실습에 대한 다섯 번째 수업을 진행했습니다. Lambda, Docker 실습 1. Lambda - Lambda 함수 : 서버리스 서비스 (별도의 물리적 서버, 환경 없이 소스코드로만 등록해서 돌아감) : 함수만 등록해서 서비스 제공 : 별도의 서버 없이 함수 등록으로 어플리케이션이 작동 : 이벤트(=트리거) 발생 시 이 함수를 동작시킬 수 있도록 구성 가능 : 트리거 설정 가능 - Lambda 함수 생성하기 (실습) : Lambda > 함수 생성 > 블루프린트(샘플 소스코드) > 이름, 역할 설정 > 생성 : 테스트 > 이벤트 생성 > key-value 수정해서 이벤트 생성 : 코드 직접 작성 후에는 Deploy → 생성 - S3 관련 트리거 생성하기 (실.. 더보기
[TIL] 7주차_Day29: AWS 클라우드 실습 (4) 💡Today I Learned AWS 클라우드 실습에 대한 네 번째 수업을 진행했습니다. 어제자 종합 실습 이어서 진행 _ AWS CLI, 콘솔, RDS, Front(React), CI/CD 파이프라인, Route53 도메인 설정 (완료) 1. 종합 실습 - 종합 실습 구성 : 하나의 VPC 안에 서브넷 구성 : 가용 영역(AZ) 2개 안에 각각 private/public 서브넷 : private 서브넷 두 개 (AZ가 2개) → 내부에 인스턴스(Elastic beanstalk), RDBMS(RDS) + AZ 2개 중 1개에만 private 서브넷이 NAT gateway로 외부와 통신 : public 서브넷 → [baston host] 터널링을 통해 접속 : public 서브넷은 internet gate.. 더보기
[TIL] 7주차_Day28: AWS 클라우드 실습 (3) 💡Today I Learned AWS 클라우드 실습에 대한 세 번째 수업을 진행했습니다. IAM, S3, CI/CD 파이프라인 구축, 종합 실습 (백엔드 모듈_Springboost, Elastic bs 생성, baston host 생성, VPC 구성) 1. AWS Identity and Access Management (IAM) ; AWS 리소스에 대한 액세스를 안전하게 제어할 수 있는 웹 서비스 : 리소스 사용 시 인증(로그인) 및 권한 부여된 대상을 제어함 : 자격 증명 = AWS 계정 루트 사용자 → 계정 생성할 때 사용한 이메일, 암호로 로그인 : 루트 사용자 = 해당 계정의 모든 AWS 서비스 및 리소스에 대한 완전한 액세스 권한이 있는 단일 로그인 ID → 일상적인 작업에는 루트 사용자를 사용.. 더보기
[TIL] 7주차_Day27: AWS 클라우드 실습 (2) 💡Today I Learned AWS 클라우드 실습에 대한 두 번째 수업을 진행했습니다. Route53, DB, ACM(인증서), CloudFront(CDN), ELB(로드밸런서), VPC 실습 1. Route53 : 가용성, 확장성이 뛰어난 DNS(도메인 네임 서비스) 웹 서비스 : 1) 도메인 등록 2) DNS 라우팅 3) 상태 확인(모니터링) 주요 기능이 있음 : public/private host zone 존재 : Route53 = DNS(네임서버) + 모니터링 + L4 + GSLB - DNS 찾아가는 과정 1) end user가 특정 도메인 요청 2) 글로벌하게 등록된 네임 서버에 찾아감 3) 지역적으로 등록된 네임 서버에 찾아감 4) 로컬에 등록된 네임 서버에 찾아감 5) DNS서버를 활용해 .. 더보기
[TIL] 7주차_Day26: AWS 클라우드 실습 (1) 💡Today I Learned AWS 클라우드 실습에 대한 첫 번째 수업을 진행했습니다. 인스턴스 생성, Elastic beanstalk 생성 실습 1. 클라우드 서비스 : 클라우드 컴퓨팅 IT 리소스를 인터넷을 통해 온디맨드(↔온프레미스)로 제공, 사용한 만큼만 비용 지불 : 물리적 데이터센터, 서버를 구입/소유/유지하는 대신 클라우드 공급자(ex: AWS)로부터 필요에 따라 컴퓨팅파워, 스토리지, DB와같은 기술 서비스에 access - 장점 : 민첩성 / 탄력성(필요한 양 증감) / 비용절감 / On demand / 관리 용이성 - 대표적인 AWS(Amazon Web Services) : 가장 많이 사용되는 클라우드 플랫폼 : 서비스 중심의 회사들은 거의 AWS를 사용 - 기타: MS Azure, .. 더보기
[TIL] 6주차_Day25: 데이터 웨어하우스와 SQL과 데이터분석 (5) 💡Today I Learned 데이터 웨어하우스와 SQL, 데이터분석에 대한 다섯 번째 수업을 진행했습니다. SQL advanced 문법 실습 1. 트랜잭션 : atomic하게 실행돼야하는 SQL을 묶어서 하나의 작업처럼 처리 : 동시에 실행 or 롤백돼야 함 (작업 처리의 단위) : BEGIN - 트랜잭션 - END (혹은) BEGIN - 트랜잭션 - COMMIT : ROLLBACK - begin 전의 상태로 돌아감 (트랜잭션 중 하나라도 실패하면 begin 이전으로 롤백) - commit mode autocommit = True: 모든 레코드의 수정/삭제/추가 작업이 기본적으로 바로 db에 쓰여짐 (자동으로 커밋됨) / 특정 작업 트랜잭션 구성하고싶을 경우 BEGIN~END(COMMIT)/ROLLBA.. 더보기
반응형

티스토리툴바