안녕하세요, 데이터정보플랫폼팀 kenny입니다.
데이터정보플랫폼팀
우선 팀 소개를 한 줄로 요약하면,
‘데이터를 모으고 정보를 찾아내는 플랫폼 서비스’를 만드는 팀입니다.
데이터정보플랫폼팀에서 하는 일
카카오 크루가 데이터를 쉽게 다룰 수 있도록 도움을 주고 있습니다.
반복되는 작업은 직접 빠르게 처리할 수 있도록 플랫폼화해서 서비스(SaaS)로 만들고 있습니다.
1. 카카오의 수많은 데이터를 모읍니다.
– Data Collection SDK
– Data Collection Server
2. 데이터 가공하여 저장합니다.
– Realtime Process Pipeline
– Batch Process Pipeline
– Data Lake
3. 데이터를 분석하며 데이터 분석 서비스를 만듭니다.
– Data Analytics
– Report & Analytics Service
– Self Service BI Service
– Analytics Notebook Service
4. 데이터 관리 서비스를 만듭니다.
– Data Discovery Service
– Data Access Control Service
– Data Quality Monitoring Service
– Data Lineage Service
5. 데이터 가공 서비스를 만듭니다.
– Self Service Data Preparation Service
– Automated EDA Report Service
– Realtime Event Trigger Service
6. AB Test 서비스를 만듭니다.
– AB Test Service
7. 데이터를 서비스에서 활용할 수 있도록 도와줍니다.
– Realtime Data Pipeline
– Data Query API Service
8. 데이터를 ML/AI에서 활용할 수 있도록 도와줍니다.
– MLOps Platform Service
다양한 일을 하고 있고 관련된 데이터 플랫폼 서비스를 만들고 있기 때문에 데이터정보플랫폼팀에서는 Frontend, Server, Data Engineering 직무로 함께할 분들을 찾고 있습니다.
그중 Data Engineering 업무가 제일 많은데요. Data Engineering 이 궁금하신 분은 이 글을 한번 봐주세요. 😄
데이터정보플랫폼팀에서 쓰는 기술
다양한 플랫폼 서비스를 개발하기 때문에 프로그래밍 역량이 기본인데요.
주 언어로는 python, scala, kotlin, java를 사용하고 있습니다.
이외에도 다양한 기술들을 사용하고 있습니다.
- DevOps : k8s, argocd, jenkins
- 실시간 파이프라인 : kafka, fluentd, flink
- 배치 파이프라인 : airflow, kubeflow
- 빅데이터 : hadoop, spark, trino, druid, clickhouse
- 저장소 : mysql, redis, hbase
- 분석 노트북 : jupyter, zeppelin
데이터정보플랫폼팀에서 중요한 역량
데이터로 시작해 정보로 끝나는 팀입니다.
목적에 맞는 가설을 세우고 데이터로 검증하는 데이터 분석 과정을 일할 때에도 적용합니다.
새로운 것을 만들 때는 기존 대비 얼마나 개선되었는지를 데이터로 확인을 하고 기존에 있는 데이터라도 맞는 데이터인지 재검증을 하는 것이 자연스러운 팀입니다..
데이터를 관찰하며 어떤 정보를 얻을까를 항상 고민해야 하기 때문에 데이터에 대한 관심이 무엇보다 중요합니다.
플랫폼 서비스를 만드는 팀입니다.
고객의 니즈를 듣고 개선점을 스스로 파악해야 하는데요, 필요에 따라 화면을 설계해야 하기도 합니다.
많은 것들을 팀 내에서 해결해야 하다 보니 주도성이 중요합니다.
데이터정보플랫폼팀에서 일하는 방법
코로나로 인해 비대면으로 업무를 하다 보니 자연스럽게 비동기적인 방법으로 일을 하게 되었습니다. 글로 간단하게 먼저 논의해 보고 회의가 필요하면 회의를 잡다 보니 글로 쓰는 연습도 하게 되고 기록도 남게 되네요. 😄
상황이 변함에 따라 그에 맞게 끊임없이 변화를 하는 것이 문화라고 할 수 있겠네요. 다음에 어떤 변화가 있을지는 모르겠지만 그때는 또 다른 모습이 되어 있을 것 같습니다. 변화를 함께 경험할 동료를 기다리고 있으니 관심 있으신 분들은 인재 영입 공고에 지원해 주세요. 많은 관심 부탁드려요!
