들어가며 안녕하세요, 광고추천팀에서 데이터 엔지니어로 일하고 있는 cory 입니다. 저는 광고추천팀에서 카프카(Kafka) 기반 스트림 데이터 플랫폼을 개발 및 운영하고 있습니다. 광고추천팀에서는 노출(impression), 클릭(click), 전환(conversion) 등의
카카오에서는 100개가 넘는 클러스터를 모니터링하고 장애 시 알림을 받을 수 있도록 오픈소스와 자체 제작한 기능을 종합한 모니터링 및 알림 기능을 사용하고 있습니다. KHP 모니터링과 알림
안녕하세요, 광고추천데이터플랫폼파트에서 데이터 엔지니어로 일하고 있는 cory입니다. 저는 광고추천팀에서 카프카 기반 스트림 데이터 플랫폼을 만들고 운영하고 있습니다. 광고추천팀에서는 광고 로그(impression, click, conversion 등)를 원천 데이터로
안녕하세요, 인프라팀 loki 입니다. 오랜 시간 인프라에서 TF단위로 소소하게 제공하던 공용 Kafka와 공용 RabbitMQ의 사용량이 점점 커지고, 많은 서비스팀에서 이용해 주셔서, 운영고도화를 위해 정식 MessageQueue
지난주 금요일이었던, 9월 6일에 열린 KafkaKRU(Kafka 한국사용자 모임) 제3회 미니 밋업에 참여하였습니다. Apache Kafka 관련 소식과 운영 노하우 등을 공유하는 자리였으며, 카카오가 후원하였습니다. 밋업 행사에
KEMI(Kakao Event Metering & monItoring)는 카카오의 전사 리소스 모니터링 시스템 입니다.서버, 컨테이너와 같은 리소스의 메트릭 데이터를 수집해서 보여주고 설정한 임계치에 따라 알림을 보내주는 KEMI-STATS과 ETL을
루빅스는 실시간으로 사용자 반응을 분석하여 콘텐츠를 추천하는 카카오의 추천 시스템입니다. 2015년 5월에 다음 포털 뉴스 서비스의 일부 사용자를 대상으로 뉴스 기사를 추천하기 시작했고, 한달 뒤인