if (kakao) 2021 컨퍼런스에서 Data 관련 기술 발표 세션을 소개합니다.

듣고 싶은 세션이 있다면, 컨퍼런스 사이트에서 관심 세션으로 등록해 주세요. 세션 영상이 공개되면 알려드릴게요. 참고로, 개발자를 위한 세션과 프로그램은 Day2 탭에서 확인할 수 있습니다.

컨퍼런스 홈페이지에 가입하고 사전등록하면, 한정판 이모티콘도 증정합니다.
많은 관심과 참여 부탁드려요.

대량의 스트림 데이터를 실시간으로 분류하기 : Elasticsearch Percolator를 이용한 콘텐츠 분류

대량의 스트림 데이터를 실시간으로 분류하면서 늘어나는 데이터와 분류 조건으로 발생하는 문제들을 Elasticsearch Percolator를 활용해 개선하는 방법을 공유합니다.

발표자 : rick.lee(이규열)
– rick.lee은 카카오 콘텐츠플랫폼개발팀에서 Software Engineer로 일하고 있으며 사내에서 유통되는 콘텐츠를 수집, 분석 그리고 유통하는 멋진 플랫폼을 개발하고 있습니다.
추천대상 : 대량의 데이터를 실시간으로 분류하고 싶은 개발자, Elasticsearch Percolator를 사용해 보고 싶은 개발자
#실시간처리 #데이터분류 #스트림데이터처리

300GB 데이터로 어떻게 학습을 할 수 있을까?

광고추천팀에서 전환 최적화 타게팅 모델을 딥러닝으로 전환하면서 학습 데이터의 규모가 크고 광고주 별로 많은 모델을 처리하다 보니 많은 어려움을 겪었습니다.
모델의 성능/효율을 유지하면서 어떻게 하면 데이터를 줄일 수 있을까 고민하고 튜닝했던 경험들을 공유합니다.
- 데이터의 볼륨과 데이터의 처리 시간
- 하둡 데이터를 처리할 때 병목구간
- 데이터를 줄이기 위한 방법들에는 어떤 것들이 있는지 소개하고 우리 상황에 적합한 방법을 선택한 과정

발표자 : peter.han(한민호)
– 전환 최적화 타게팅 플랫폼을 개발하고 있습니다.
추천대상 : 머신러닝 엔지니어, 데이터 사이언티스트
#FeatureEngineering #DataEngineering #Machine Learning

추천 시스템 airflow 2.0 도입기

추천시스템 내 workflow 개선을 위해 airflow를 도입했던 이유와, 쿠버네티스에서 airflow를 안정적으로 운영하기 위해 했던 고민들, 그리고 2.0으로의 버전업 경험과 추천시스템 내에서 이를 어떻게 활용하고 있는지 공유합니다.

발표자 : jerry.4(윤정수)
– jerry.4는 카카오 추천팀에서 데이터 파이프라인과 ML 시스템 개선, 키워드 광고 추천 업무를 맡고 있습니다. 카카오에 합류한지 1년이 조금 지난 주니어 개발자로, 더욱 다양한 기능을 제공하면서 안정적인 추천시스템을 만들기 위해 노력하고 있습니다.
추천대상 : airflow 업그레이드를 고민하고 있는 개발자, 쿠버네티스에서 에어플로우를 효율적으로 운영하고 싶은 개발자
#Airflow #Kubernetes #DataEngineering #MLOps

PostgreSQL ecosystem

안녕하세요. 카카오에서 postgresql 디비의 운영을 담당하고 있는 비버입니다. postgresql ecosystem의 핵심 개념인 extension에 대해 알아보고 extension으로 개발된 citus와 timescaledb에 대해 소개해 드리겠습니다.

발표자 : biber.baek(백수환)
– postgresql 디비의 운영을 담당하고 있는 비버입니다.
추천대상 : postgresql에 대해 궁금하신 개발자와 DBA
#database #postgresql

카카오 공용 하둡 운영 사례

공용 하둡 클러스터 구축 시 고려해야 할 포인트와 장애 대응 사례에 대해 소개합니다.

발표자 : jace.beleren(이재영)
– 전사 공용 하둡 클러스터 구축 및 운영을 담당하고 있습니다.
추천대상 : 공용 하둡 클러스터 운영에 관심 있으신 분
#hadoop

Druid@Kakao

Kakao의 Druid 도입 사례 및 multi-tenant 클러스터를 소개합니다.

발표자 : evan.hwangbo(황보동규)
– evan.hwangbo는 카카오 하둡엔지니어링파트의 데이터 플랫폼 엔지니어로, 카카오 크루 누구나 HBase, Druid를 빠르고 안정적으로 활용할 수 있도록 돕고 있습니다. 데이터 엔지니어링 업무에 관한 다양한 고민거리에 적절히 방법을 제시하고 문제 해결할 수 있도록 데이터 웨어하우스와 실시간 데이터 처리 기술 전반에 관심이 많습니다.
추천대상 : Druid 도입을 고민하시는 분, 데이터 실시간 처리 관련 문제를 겪고 계신 분
#druid

Preview Data @if(kakao)2021