데이터 엔지니어 / 데이터 플랫폼 엔지니어 스몰톡 @ 42seoul

안녕하세요. 카카오 하둡엔지니어링파트에서 데이터 플랫폼 엔지니어로 일하고 있는 evan(황보동규)입니다. 지난 9월 19일에 42 Seoul에서 데이터 엔지니어 및 데이터 플랫폼 엔지니어 직무에 관심이 있는 재학생(“카뎃”)을 대상으로 스몰톡을 가졌습니다. 여기에서 나눈 여러 대화를 기록으로 다시 남겨봅니다. 데이터 직무를 준비하고 있으나 여러모로 막연함을 느끼는 예비개발자분들께 조금이나마 도움이 되었으면 합니다.

스몰톡? 왜 했나?

멘토링 신청이 0 + 데이터 직무 관심도 하락 + 인턴/신입 채용의 어려움 = 뭐라도 해보자!

저는 42 Seoul에서 비상근 멘토로 활동 중이기도 합니다. 제 능력과 경험으로 누군가에게 도움을 전하는 것을 좋아할뿐더러, 무엇보다 예비/주니어 개발자분들과의 대화 속에서 느낄 수 있는 열정, 각자의 목표를 반드시 이뤄보겠다는 집념이 제 스스로를 환기하는 계기가 되기에, 여러 긍정적인 효과를 기대하고 참여하였습니다.

그러나, 비상근 멘토로 참여한 이후로 제게 멘토링을 요청한 카뎃은 단 한 명도 없었습니다. ‘내가 기대한 것은 이게 아닌데…’ 하는 생각이 슬슬 저를 찾아오기 시작했습니다.

때마침 7월에서 8월까지 약 2달 동안 카카오에서는 여름 테크 인턴십을 진행했고, 하둡엔지니어링파트도 신입 데이터 플랫폼 엔지니어 영입을 목표로 참여하였습니다. 저는 멘토로 테크 인턴십 일정과 커리큘럼을 준비하고 인턴 크루 영입과정에 참가하였는데, 여러 가지 이유로 다른 직무에 비해 영입이 쉽지 않음을 경험하였습니다.

데이터 직무에 대한 예비개발자분들의 이해도가 낮고 그 원인으로 심리적 진입장벽이 다른 직무에 비해 높음을 테크 인턴십 운영으로 알 수 있었습니다.

이는 비단 42 Seoul 카뎃들에게도 예외는 아니었을 것입니다. 아마 데이터 직무에 대한 관심과 이해도가 낮기에 멘토링을 요청하지도, 이를 위한 도움을 구하기까지도 연결되지 않았겠지요.

예비개발자분들이 데이터 직무에 관심을 갖고 준비할 수 있도록 제가 할 수 있는 것부터 조금씩 해보자는 생각을 하게 됐고, 42 Seoul에서부터 일단 시작해보기로 했습니다. 카뎃 대상으로 공지를 하고, 질문을 받고, 스몰톡을 진행하게 되었습니다.

주요 질문

42 Seoul 카뎃들은 비슷한 듯 다른 질문을 많이 던져주셨고 여러 이야기를 나눴습니다. 크게 아래 주제 중심으로 다시 정리해보았습니다.

데이터 엔지니어 / 데이터 플랫폼 엔지니어란?

기업 내 ‘데이터’는, 데이터 플랫폼 엔지니어가 준비한 기반 환경에서 -> 데이터 엔지니어가 데이터를 적절히 추출, 변환, 적재 후 -> 데이터 분석가 / 서비스 기획자에게 전해진다

이미 데이터 엔지니어와 데이터 플랫폼 엔지니어의 정의는 각종 검색엔진 통해서 접할 수 있습니다. 그러나 예비 개발자의 시선에서 각각 어떤 일을 하는지 이해하기엔 다소 짧고 막연한 문장들이기 때문에 이런 질문을 받았을 것이라 생각했습니다.

기업 내에서 ‘데이터’가 얼마나 중요한지, 그 ‘데이터’는 어떤 흐름으로 기업 내에서 생성되고 관리되며 활용되는지 대략적인 흐름을 소개하고, 그 속에서 필요한 역할은 무엇일지 함께 고민해 본다면 데이터 엔지니어와 데이터 플랫폼 엔지니어가 하는 일을 조금 더 효과적으로 각인시킬 수 있지 않을까 했습니다.

인원 수가 적고 다루는 트래픽의 양이 많지 않은 초기 스타트업과 같은 규모의 기업이라면 분명 소수의 풀 스택 개발자가 모든 면을 살필 수 있을 것입니다. 그러나 기업이 커지고 서비스를 확장하게 되면, 트래픽이 점점 많아지고, 동시다발적으로 여러 문제가 발생하고, 이를 해결하기 위한 노력이 점점 더 많이 필요하게 됩니다.

기존의 인력 구성으로는 더 이상 안정적인 기업 및 서비스 운영이 어려워지게 된다면 직무를 세분화하고 인력을 추가 또는 재조정하게 됩니다. 여러분이 알고 있는 모든 기업은 이런 과정을 거쳐 현재의 형태가 되었고, 앞으로도 이 과정을 통해 끊임없이 변할 것입니다.

AI, 개인화 추천 등 데이터를 활용한 새로운 가치 창출에 주목하게 되며 기업은 당장 해결해야 할 여러 문제를 직면하였고, 관련하여 기반을 탄탄히 마련해야 하는 등 도전적인 상황을 맞이하였습니다. 이에 데이터의 생성부터 활용까지를 전문적으로 다룰 역할을 신설하였고, 그 안에서 업무 효율을 위해 크게 두 가지의 역할로 나누게 되었습니다.

분석가 / 기획자가 필요로 하는 데이터를 적절히 추출, 변환, 적재하는 걸 전문으로 수행하는 역할
그리고, 데이터의 추출, 변환, 적재 환경을 마련하고 안정적으로 운영하고 기술 지원하는 역할

전자를 ‘데이터 엔지니어’라 부르고, 후자를 ‘데이터 플랫폼 엔지니어’라고 합니다. 데이터의 추출, 변환, 적재 환경을 데이터 플랫폼이라 통칭하기에 그렇습니다.

비슷한 듯 보이지만 데이터 엔지니어와 데이터 플랫폼 엔지니어는 각자 주 역할이 명확하기에, 필요한 역량 또한 다소 차이가 있습니다.

데이터 엔지니어는 분석가 / 기획자의 니즈에 부합하는 데이터를 제공하는 것이 목표이지요. 데이터 저장소, 메세징 큐, 데이터 가공을 구성하는 세부 기술 활용 능력을 필수적으로 갖추어야 합니다. 각 세부 기술의 목표, 특징, 최적의 사용 방법 등 기본 지식을 활용하여 언제든 새로운 요구사항 발생 시 파이프라인을 구축하고 데이터를 제공해 줄 수 있어야 합니다.

데이터 플랫폼 엔지니어는 데이터 엔지니어가 파이프라인을 안정적으로 구성할 수 있도록 돕는 것이 목표입니다. 데이터의 생성, 가공, 적재를 담당할 플랫폼을 구축하고, 데이터 엔지니어가 문제를 쉽게 해결할 수 있도록 플랫폼을 안정적으로 운영하며 기술지원을 하고, 플랫폼이 성능, 효율성, 안정성을 갖출 수 있도록 고도화해 나갑니다. 이런 일을 잘 수행할 수 있도록 데이터 파이프라인을 구성하는 각 세부기술에 대한 깊은 이해를 기본적으로 필요로 하고, OS(unix/linux), 네트워크 등 시스템 엔지니어링 관련 지식도 일부 갖추어야 합니다.

신입으로 데이터 직무를 준비한다면 갖춰야 할 것?

Java 역량 / Hadoop에 대한 이해 / Linux 상에서 데이터 활용 프로젝트 경험을 먼저 갖춰보자

앞서 데이터 엔지니어와 데이터 플랫폼 엔지니어가 각각 하는 일과 필요 역량을 소개했습니다. 그러나 이 모든 것을 신입 개발자에게 당장 요구하진 않습니다. 신입 개발자가 머지않은 시일 내에 실무를 담당할 수 있도록 성장을 돕는 것은 조직의 역할이지요.

그러나, 빠른 성장을 이뤄 근시일 내에 조직 내 산적한 문제를 함께 고민할 수 있는 ‘좋은’ 신입 개발자를 영입하고 싶은 마음은 모두 같습니다. 예비개발자분들이라면 누구나 궁금할 텐데, 데이터 직무에선 어떤 역량을 갖춘 지원자를 ‘좋은’ 신입 개발자라고 볼까요?

가장 먼저 Java에 대한 이해를 갖추길 권합니다. 데이터 엔지니어링 관련 거의 모든 도구들은 비슷한 이유로 Java를 기반으로 작성되어있고 JVM으로 실행합니다. 각 도구를 잘 이해하는 것이 데이터 엔지니어 / 데이터 플랫폼 엔지니어의 기본 역량인 만큼, 이미 작성된 Java 코드를 읽고 이해하는 것, 그리고 새로 Java 코드를 작성하는 것이 가능하다면 기본 준비는 된 지원자라고 볼 수 있겠습니다.

Hadoop을 살펴보길 권합니다. 오늘날 데이터 파이프라인 구축에 있어 Hadoop은 핵심적인 역할을 담당합니다. 데이터 파이프라인 구축의 시작과 끝이라 볼 수 있는 만큼, Hadoop에 대해선 이해의 수준이 깊을수록 ‘좋은’ 신입 개발자라고 볼 수 있겠습니다. 감사하게도, 데이터 엔지니어링 관련 대다수 도구들은 오픈소스입니다. Hadoop 또한 마찬가지입니다. Hadoop 논문이나 관련 서적을 토대로 기본 개념을 갖추는 것, 코드를 보고 내부 동작을 확인하는 것, 완전 분산 클러스터를 구축하고 활용하는 경험을 갖춘다면 데이터 직무의 ‘좋은’ 신입 개발자가 되어가는 중이라 볼 수 있습니다.

Linux 상에서 데이터 활용 프로젝트를 경험해보길 권합니다. 이는 페이퍼로 하나하나 다 얻을 수 없는 지식을 갖추었는지도 볼 수 있는 척도입니다. Linux 상에서 데이터 수집부터 가공, 적재까지 가능한 분산처리 환경을 구축하고, 이 환경을 기반으로 새로운 가치를 창출하는 프로젝트를 뜻합니다. 분명 책과 문서에서 소개하지 않는 여러 문제에 직면할 것입니다. 이 문제를 하나하나 해결한 경험은 여러분에게 큰 자산이 될 것입니다. 혼자 진행하기 어려울 수도 있습니다. 데이터 직무를 고민하는 친구들과 함께 경험해보는 것도 좋습니다. 문제를 해결하고 조금 더 좋은 효율, 성능 확보를 위해 고민하고 공부하며 얻은 지식은 어느새 분명 큰 자산이 되어있을 것입니다.

석/박사 학위가 필요한가요?

학위는 선택, 더 중요한 것은 지식과 경험

이 또한 예비개발자라면 누구나 궁금해하고 걱정하는 주제이기도 합니다. 내가 단지 학위가 없어서 탈락한 것은 아닐지 하는 막연한 불안감을 가질 수도 있지요. 다른 회사의 내부 사정을 제가 완전히 알고 있진 않으므로 카카오에 한정하여 말씀드려 봅니다.

카카오는 학위 유무로 지원자를 판단하지 않습니다. 그리고 일단 저부터가 학사이기도 합니다. 대신 인터뷰를 통해 각 지원자가 갖고 있는 지식과 경험을 폭넓게 살펴보려 노력합니다. 데이터 직무 준비를 위해 어떤 노력이 있었는지, 어떤 경험을 갖추었는지를 중요하게 생각하는 만큼, 앞서 소개한 내용을 바탕으로 꾸준히 준비하길 추천합니다. 물론 석/박사 과정을 통해 연구하고 논문을 작성하기까지의 경험은 분명 의미 있는 자산입니다. 학위의 유무와 무관하게 지식과 경험을 의미 있는 수준까지 갖춰보길 권합니다.

실제로 일을 하며 무엇에 큰 보람을 얻나요?

내 가족, 내가 사랑하는 사람들의 삶 속에 내 수고가 녹아있다는 자부심이 큰 동기부여

제가 일하는 카카오 하둡엔지니어링파트는 카카오에서 운영하는 서비스의 ‘거의 모든’ 데이터가 거쳐 가고 있습니다. 카카오에서는 수많은 데이터를 수집하고 가공하여 24시간 365일 활용하고 있는 만큼 제가 있는 조직, 제가 다루는 플랫폼은 사내에서 아주 중요하게 다뤄지고 있습니다. 대한민국 국민 거의 모두의 삶 속에 카카오 서비스가 보탬을 드리고 있는 만큼, 저의 수고가 제 가족, 제가 사랑하는 사람들에게 보탬이 되고 있다는 자부심이 있습니다. 이는 개인적으로 가장 크게 동기부여가 됩니다.

정리하며

개인적으로 갖게 된 여러 문제의식으로 42 Seoul 커뮤니케이션 채널에 처음 운을 띄웠습니다.

혹시라도 질문이 하나도 없으면 어떡하나 싶은 조마조마함도 있었는데, 아래 질문을 포함하여 기대 이상으로 질문과 참석 의사를 많이 남겨주셨습니다.

데이터 직무에 있어 생각보다 많은 분들이 관심이 있었고, 이에 비해 접할 수 있는 정보가 많지 않아 어려워하는 분들이 많다는 걸 확인할 수 있었습니다.

스몰톡이 끝나고 멘토링을 요청한 카뎃도 있어서 작게나마 데이터 직무를 알리는데 나름 기여했다는 보람이 있었습니다. 1시간 30분 정도의 짧은 시간으로 많은 이야기를 나눌 순 없었지만, 생각보다 뜨거웠던 반응으로 이번 스몰톡의 Next를 고민해 보는 계기가 되었습니다.

모쪼록 이번 스몰톡이 42 Seoul 카뎃분들에게 있어 데이터 직무에 도전하는 계기가 되었으면 좋겠습니다. 카카오는 매년 테크 인턴십을 진행하고 있습니다. 예비 신입 개발자를 영입하고, 기업 특화 프로젝트를 통해 직무 전문성을 갖추도록 도우며, 결과에 따라 정규직 전환까지 가능한 과정입니다. 하둡엔지니어링파트도 참가하고 있습니다. 카카오 테크 인턴십 통해서도 만나 뵐 수 있길 바라겠습니다.

사전에 조율하지 않은 일정이었음에도 불구하고 성심껏 지원해주신 42 Seoul 이호준 멘토님께 이 자리를 빌려 감사의 말씀을 전합니다. 그리고, 42 Seoul 카뎃분들이 저녁 식사를 함께 곁들일 수 있도록 지원해주신 카카오 기술기획팀에도 감사의 말씀을 전합니다.

데이터 직무 찍먹하기!