Portfolio

SKT TANGO DW 운영

기간 : 2017.01 ~ 2018.01

개요

SKT의 여러 Legacy System Data를 수집(일평균 4TB)하여 ODS, DW, DM 각각의 단계별 데이터로 가공하고 관리하는 DW 운영 및 해당 데이터를 조회할 수 있는 WorkBench WAS 운영

Back-End : Hadoop, Hive, Spark, Druid, Grapana, Oozie, python

주요 업무

1. Hadoop EcoSystem 환경 운영 업무
   1) Yarn Application 감시 데몬 개발
   2) Grapana와 influx DB를 활용한 Yarn application 모니터링
2. Legacy System Data 수집 및 제공, Data 관리 업무
   1) 일일 수집 데이터 정상성 체크 데몬 개발
3. metatron(workBench WAS) 운영 업무

주요 기능 일부

Yarn Application 감시데몬

metatron WAS 로그인

Hive Query 실행 및 결과