if (kakao) 2021 컨퍼런스에서 Data 관련 기술 발표 세션을 소개합니다.
듣고 싶은 세션이 있다면, 컨퍼런스 사이트에서 관심 세션으로 등록해 주세요. 세션 영상이 공개되면 알려드릴게요. 참고로, 개발자를 위한 세션과 프로그램은 Day2 탭에서 확인할 수 있습니다.
컨퍼런스 홈페이지에 가입하고 사전등록하면, 한정판 이모티콘도 증정합니다.
많은 관심과 참여 부탁드려요.
대량의 스트림 데이터를 실시간으로 분류하기 : Elasticsearch Percolator를 이용한 콘텐츠 분류
대량의 스트림 데이터를 실시간으로 분류하면서 늘어나는 데이터와 분류 조건으로 발생하는 문제들을 Elasticsearch Percolator를 활용해 개선하는 방법을 공유합니다.
- 발표자 : rick.lee(이규열)
– rick.lee은 카카오 콘텐츠플랫폼개발팀에서 Software Engineer로 일하고 있으며 사내에서 유통되는 콘텐츠를 수집, 분석 그리고 유통하는 멋진 플랫폼을 개발하고 있습니다. - 추천대상 : 대량의 데이터를 실시간으로 분류하고 싶은 개발자, Elasticsearch Percolator를 사용해 보고 싶은 개발자
- #실시간처리 #데이터분류 #스트림데이터처리
300GB 데이터로 어떻게 학습을 할 수 있을까?
광고추천팀에서 전환 최적화 타게팅 모델을 딥러닝으로 전환하면서 학습 데이터의 규모가 크고 광고주 별로 많은 모델을 처리하다 보니 많은 어려움을 겪었습니다.
모델의 성능/효율을 유지하면서 어떻게 하면 데이터를 줄일 수 있을까 고민하고 튜닝했던 경험들을 공유합니다.
– 데이터의 볼륨과 데이터의 처리 시간
– 하둡 데이터를 처리할 때 병목구간
– 데이터를 줄이기 위한 방법들에는 어떤 것들이 있는지 소개하고 우리 상황에 적합한 방법을 선택한 과정
- 발표자 : peter.han(한민호)
– 전환 최적화 타게팅 플랫폼을 개발하고 있습니다. - 추천대상 : 머신러닝 엔지니어, 데이터 사이언티스트
- #FeatureEngineering #DataEngineering #Machine Learning
추천 시스템 airflow 2.0 도입기
추천시스템 내 workflow 개선을 위해 airflow를 도입했던 이유와, 쿠버네티스에서 airflow를 안정적으로 운영하기 위해 했던 고민들, 그리고 2.0으로의 버전업 경험과 추천시스템 내에서 이를 어떻게 활용하고 있는지 공유합니다.
- 발표자 : jerry.4(윤정수)
– jerry.4는 카카오 추천팀에서 데이터 파이프라인과 ML 시스템 개선, 키워드 광고 추천 업무를 맡고 있습니다. 카카오에 합류한지 1년이 조금 지난 주니어 개발자로, 더욱 다양한 기능을 제공하면서 안정적인 추천시스템을 만들기 위해 노력하고 있습니다. - 추천대상 : airflow 업그레이드를 고민하고 있는 개발자, 쿠버네티스에서 에어플로우를 효율적으로 운영하고 싶은 개발자
- #Airflow #Kubernetes #DataEngineering #MLOps
PostgreSQL ecosystem
안녕하세요. 카카오에서 postgresql 디비의 운영을 담당하고 있는 비버입니다. postgresql ecosystem의 핵심 개념인 extension에 대해 알아보고 extension으로 개발된 citus와 timescaledb에 대해 소개해 드리겠습니다.
- 발표자 : biber.baek(백수환)
– postgresql 디비의 운영을 담당하고 있는 비버입니다. - 추천대상 : postgresql에 대해 궁금하신 개발자와 DBA
- #database #postgresql
카카오 공용 하둡 운영 사례
공용 하둡 클러스터 구축 시 고려해야 할 포인트와 장애 대응 사례에 대해 소개합니다.
- 발표자 : jace.beleren(이재영)
– 전사 공용 하둡 클러스터 구축 및 운영을 담당하고 있습니다. - 추천대상 : 공용 하둡 클러스터 운영에 관심 있으신 분
- #hadoop
Druid@Kakao
Kakao의 Druid 도입 사례 및 multi-tenant 클러스터를 소개합니다.
- 발표자 : evan.hwangbo(황보동규)
– evan.hwangbo는 카카오 하둡엔지니어링파트의 데이터 플랫폼 엔지니어로, 카카오 크루 누구나 HBase, Druid를 빠르고 안정적으로 활용할 수 있도록 돕고 있습니다. 데이터 엔지니어링 업무에 관한 다양한 고민거리에 적절히 방법을 제시하고 문제 해결할 수 있도록 데이터 웨어하우스와 실시간 데이터 처리 기술 전반에 관심이 많습니다. - 추천대상 : Druid 도입을 고민하시는 분, 데이터 실시간 처리 관련 문제를 겪고 계신 분
- #druid
