주니어의 시선에서 바라본 빅데이터 클러스터 이사과정 – Pojang24 개발기
소개 안녕하세요 빅데이터플랫폼파트1셀에서 근무하고 있는 koodin입니다. 어느덧 카카오와 함께한 지 2년이 훨씬 지났는데요, 그동안 상용 하둡 플랫폼에서 카카오 하둡 플랫폼(KHP)으로의 전환 프로젝트를 진행하게 되었습니다. 여기에서는
소개 안녕하세요 빅데이터플랫폼파트1셀에서 근무하고 있는 koodin입니다. 어느덧 카카오와 함께한 지 2년이 훨씬 지났는데요, 그동안 상용 하둡 플랫폼에서 카카오 하둡 플랫폼(KHP)으로의 전환 프로젝트를 진행하게 되었습니다. 여기에서는
앞선 1부에서는 KHP 시스템이 모니터링 체계의 데이터 기반이 되는 메트릭과 로그를 어떻게 수집 및 저장하고 이를 가공하여 제공하는지 알아보았습니다. 이로써 카카오에서 운영 중인 클러스터들의 현황을
카카오에서는 100개가 넘는 클러스터를 모니터링하고 장애 시 알림을 받을 수 있도록 오픈소스와 자체 제작한 기능을 종합한 모니터링 및 알림 기능을 사용하고 있습니다. KHP 모니터링과 알림
들어가기 전에 카카오 하둡 플랫폼(Kakao Hadoop Platform, 이하 KHP)는 카카오 자체 개발 하둡 플랫폼입니다. 카카오 하둡 플랫폼에 대한 전체적인 소개는 다음 링크의 글(카카오 자체 개발
Kakao Hadoop Platform (KHP) 카카오에서 자체 개발한 하둡 솔루션인 Kakao Hadoop Platform, KHP를 소개합니다. 하둡이 무엇인지 궁금하시다면 아래 링크를 통해 “하둡엔지니어링파트” 를 확인해보세요. https://tech.kakao.com/2022/10/21/data-platform-engineering/ 하둡을