아무리 강력한 플랫폼이 존재하더라도, 개발자들이 매일 마주하는 ‘개발 환경’ 자체가 AI와 유기적으로 융합되지 않는다면 AI의 잠재력을 온전히 발휘하기 어렵습니다. 아무리 지능형 플랫폼이 고도화되어도, 개발자가 그 기능을 손쉽게 활용하고, AI와 끊김 없이 협업할 수 있는 환경이 뒷받침되지 않는다면 AI의 잠재력을 온전히 발휘하기 어렵기 때문입니다.

바이브 코딩의 한계를 극복하고 복잡한 소프트웨어 개발의 요구사항을 충족시키고자 하면 AI 기반 워크플로의 중요성이 부각될 수밖에 없습니다. 즉, AI가 단편적인 코드 생성이나 특정 기능 보조를 넘어, SDLC 전체를 포괄하는 '혁신적인 개발 환경’의 핵심이 되어야 함을 의미합니다.

이러한 워크플로우는 소프트웨어 품질을 높이고, IDE 외부에서 이루어지는 다양한 개발 활동에 AI를 통합하는 데 필수적입니다. 카카오의 AI 도입을 통한 개발 환경 개선 노력은 이전 글에서 충분히 확인하실 수 있을 것입니다.

이 글에서는 카카오가 SDLC 전반의 개발 환경에 도입된 AI를 평가하기 위해 어떤 노력을 하고 있는지를 이야기하겠습니다.

AI 모델 및 협업 프로세스 평가와 지속적 개선

AI 모델과 인간-AI 간의 협업 프로세스는 살아있는 유기체와 같습니다. 한번 만들어졌다고 해서 영원히 최적의 상태를 유지하는 것이 아니라, 주변 환경의 변화와 새로운 요구사항에 맞춰 끊임없이 평가받고 개선되어야 합니다.

"측정할 수 없는 것은 관리할 수 없고, 관리할 수 없는 것은 개선할 수 없다"는 경영학의 오랜 격언처럼, 카카오는 AI 모델의 성능과 협업 프로세스의 효율성을 지속적으로 측정하고 평가하며, 이를 바탕으로 개선의 고리를 계속 돌리고 있습니다.

AI 모델 성능, 어떻게 평가하고 개선하는가?

정량적 평가 지표의 다각화

AI 모델의 성능을 평가할 때, 단순히 정확도와 같은 단일 지표에만 의존하지 않습니다. 모델의 종류와 적용되는 업무의 특성에 따라 정밀도, 재현율, F1 점수, 응답 지연 시간, 처리량 등 다양한 정량적 지표를 설정하고 주기적으로 측정합니다.

예를 들어, 코드 생성 AI의 경우 생성된 코드의 실행 가능성, 버그 포함 여부, 코딩 컨벤션 준수율 등을 추가적인 평가지표로 활용하고, LLM 기반의 텍스트 요약 모델은 ROUGE나 BLEU와 같은 자동 평가 지표를 참고합니다.

정성적 평가의 중요성 인식

정량적 지표만으로는 파악하기 어려운 AI 모델의 실질적인 유용성이나 사용자 경험은 정성적인 평가를 통해 보완합니다. 실제 사용자를 대상으로 한 만족도 조사, 심층 인터뷰, A/B 테스트 등을 통해 AI 모델이 생성한 결과물이 얼마나 자연스럽고, 사용자의 의도에 부합하며, 실제 업무에 도움이 되는지를 면밀히 평가합니다.

특히, 사내 도메인 전문가 그룹이 AI 결과물의 품질을 주기적으로 검토하고 피드백을 제공하는 프로세스를 운영하고 있습니다.

프롬프트 엔지니어링의 지속적인 최적화

LLM과 같은 생성형 AI 모델의 성능은 사용자가 입력하는 프롬프트의 품질에 크게 좌우됩니다. 따라서 카카오는 다양한 업무 시나리오별로 최적의 프롬프트 패턴을 연구하고, 실제 사용 과정에서 얻어지는 피드백을 바탕으로 프롬프트를 지속적으로 개선하고 있습니다.

모델 재학습 및 파인튜닝 주기의 체계적 관리

시간이 지남에 따라 데이터의 분포가 변하거나, 새로운 유형의 요구사항이 등장하면 AI 모델의 성능은 저하될 수 있습니다.

이를 방지하기 위해, 카카오는 모델의 성능을 실시간으로 모니터링하고, 일정 수준 이하로 성능이 떨어지거나 중요한 변화가 감지되면 즉시 새로운 데이터로 모델을 재학습하거나 파인튜닝하는 체계적인 주기를 관리하고 있습니다.

AI 협업 프로세스, 어떻게 진단하고 발전시키는가?

AI 모델 자체의 성능만큼이나 중요한 것이 바로 AI와 인간이 협력하는 방식, 즉 협업 프로세스의 효율성입니다. 카카오는 다음과 같은 방법으로 AI 협업 프로세스를 평가하고 개선합니다.

사용자 경험(UX) 중심의 도구 평가

개발자들이나 현업 사용자들이 실제로 사용하는 AI 기반 협업 도구(예: AI 코딩 어시스턴트, 데이터 분석 플랫폼, AI 에이전트 서비스 등)에 대해 주기적으로 사용성 테스트와 설문조사를 실시하여, 도구의 직관성, 편의성, 실제 업무 기여도 등을 평가하고 개선점을 도출합니다.

워크플로 병목 지점 식별 및 개선

AI 에이전트 워크플로나 인간-AI 간의 상호작용 과정에서 발생하는 지연 요소나 비효율적인 부분을 찾아내고, 프로세스 재설계나 자동화 확대를 통해 이를 개선합니다.

피드백 수집 채널 다양화

공식적인 평가 프로세스 외에도, 사용자들이 AI 협업 과정에서 느끼는 어려움이나 개선 아이디어를 언제든지 쉽게 제안할 수 있도록 다양한 피드백 수집 채널(예: 익명 게시판, 정기 간담회 등)을 운영하고 있습니다.

AI 기반 해커톤 심사 시스템 구축: 신속 개발 방법론과 운영 상의 교훈

AI 네이티브 시대의 개발 패러다임은 기존의 방식과 근본적으로 다릅니다. 아이디어 구체화부터 기획, 설계, 개발, 배포, 운영에 이르기까지 전 과정에 AI를 적극적으로 활용함으로써, 놀라운 속도와 효율성을 달성할 수 있습니다.

카카오 AI 캠퍼스의 '10K 해커톤’에서 48시간 만에 250명 규모의 AI 심사 시스템을 구축한 사례는, 이러한 새로운 개발 방식의 가능성과 현실적인 과제를 동시에 보여줍니다.

AI를 활용한 신속 기획 및 프로토타이핑

프로젝트의 성공은 명확한 기획에서 시작됩니다. 이 해커톤 심사 시스템 구축 프로젝트에서는 AI를 기획 단계부터 핵심 도구로 활용하여 의사결정 속도를 획기적으로 단축했습니다.

회의록 기반 기획서 자동 생성

프로젝트 관계자들과 진행한 심사 프로세스 논의 회의록을 Gemini에 입력하여, 단 몇 분 만에 AI 심사의 목표, 주요 기능, 단계별 체크리스트가 포함된 시스템 기획서 v1.0을 확보했습니다.

대화형 UI/UX 프로토타이핑

기획서를 바탕으로 ‘v0’와 같은 생성형 UI 개발 도구를 활용, 대화형 명령을 통해 14개 페이지에 달하는 화면 설계를 3시간 만에 완료했습니다. 단순한 목업을 넘어, 프론트엔드의 세션 유지나 API 호출을 가정한 가상(Mock) 데이터 바인딩 등 기술적 구현 일부를 미리 처리하여 개발 연속성을 확보했습니다.

자동 생성된 기획서

화면 설계 이미지

AI 에이전트를 통한 풀스택 개발 자동화

본격적인 개발 단계에서는 AI를 단순 보조 도구가 아닌, 코드 생성의 주체인 AI 에이전트로 활용하여 프론트엔드와 백엔드를 동시에 구축하는 전략을 채택했습니다.

API 명세서 자동 설계

프로토타이핑 단계에서 정의된 가상(Mock) 데이터 구조를 기반으로, Claude Code가 필요한 API 스펙 전체를 자동으로 설계하도록 했습니다. 이는 개발의 선후 관계를 명확히 하고 백엔드와 프론트엔드 간의 인터페이스를 사전에 확정하는 효과를 가져왔습니다.

프로젝트 컨텍스트 기반 코드 생성

생성된 API 명세서와 Spring AI, Kotlin 기반의 백엔드 템플릿 프로젝트를 AI 에이전트에게 제공하고, 명세에 따른 Controller, Service, Repository, Entity 등 전체 백엔드 코드와 데이터베이스 스키마 설계를 지시했습니다. AI는 기존 프로젝트 구조를 분석하고 컨텍스트에 맞춰 일관성 있는 코드를 생성했습니다.

프론트-백엔드 연동 자동화

백엔드 API 구현이 완료된 직후, AI 에이전트에게 프론트엔드 프로젝트의 가상(Mock) 데이터를 실제 API 호출로 전환하도록 요청했습니다. 이 과정에서 AI는 스스로 백엔드 컨트롤러 코드를 참조하여 실제 API와 연동되는 코드로 완벽하게 대체했으며, 로컬 환경에서 단 한 번의 실행으로 로그인부터 대시보드까지 모든 기능이 정상 동작하는 성과를 거두었습니다.

운영 환경 구축과 기술적 난관 극복

개발을 넘어 안정적인 서비스 운영을 위한 배포 및 환경 설정 과정에서도 AI의 도움을 받았으나, 동시에 AI의 한계와 개발자의 깊이 있는 개입의 중요성을 확인하는 계기가 되었습니다.

데브옵스 영역에서의 AI 활용

Dockerfile 작성, 쿠버네티스 배포 설정 파일 생성 등 인프라 구성에 필요한 코드를 AI를 통해 신속하게 확보했습니다. 다만, 사내 클러스터 환경의 특수성을 반영하기 위해 개발자의 수정 및 검증 과정은 필수적이었습니다.

복잡한 환경에서의 AI 디버깅 한계

배포 환경에서 Google OAuth2 기반 로그인이 동작하지 않는 문제가 발생했습니다. 이는 로드밸런서 환경의 세션 불일치 문제와 AI가 생성한 쿠버네티스 프록시 설정 오류가 복합적으로 작용한 결과였습니다. AI는 단일 문제에 매몰되어 해결책을 찾지 못했으며, 결국 개발자가 로그 분석과 코드 리뷰를 통해 근본 원인을 파악하고 해결했습니다.

이는 AI가 복잡하고 추상적인 시스템 레벨의 문제를 디버깅하는 데는 아직 명확한 한계가 있음을 보여줍니다.

운영 시나리오 기반 시스템 고도화

초기 버전의 성공적인 개발 이후, 실제 행사 당일의 운영 시나리오를 고려한 대대적인 시스템 개편을 단행했습니다. 이 과정은 AI와의 협업을 통해 복잡한 요구사항을 신속히 반영하는 동시에, 코드베이스 증가에 따른 새로운 과제에 직면하는 경험이었습니다.

요구사항 기반 기능 신속 확장

행사 운영에 필수적인 팀 관리, 제출물 관리, AI 심사 단계별 제어, 동료 평가 관리 등 어드민 기능을 기획하고, 유저와 어드민의 역할 기반 접근 제어(RBAC)를 재설계했습니다. 이처럼 복잡하고 방대한 요구사항을 AI 에이전트와의 집중적인 상호작용을 통해 단기간에 구현했습니다.

코드베이스 증가에 따른 AI 성능 저하

프로젝트 규모가 커지자, AI가 기존 코드의 컨텍스트를 완전히 파악하지 못하고 이미 구현된 기능과 유사한 코드를 중복 생성하려는 경향이 나타났습니다. 이때부터는 포괄적인 ‘바이브 코딩’ 방식보다, 구현할 기능과 참조할 코드를 명확히 지정하는 상세한 지시가 더욱 중요해졌습니다. 이는 AI와의 효율적인 협업을 위해 프로젝트의 복잡도에 따라 인간의 개입 방식이 달라져야 함을 의미합니다.

'바이브 코딩’으로 대표되는 AI 주도 개발 방식은 아이디어를 현실로 만드는 시간을 극적으로 단축시키는 강력한 무기임이 분명합니다. 커밋 기록 기준 약 48시간 만에 복잡한 시스템을 구축한 것이 이를 증명합니다.

하지만 안정적이고 고도화된 시스템을 완성하는 마지막 단계에서는, 복합적인 문제를 진단하고 아키텍처를 결정하며 예외 상황에 대응하는 개발자의 깊은 경험과 통찰력이 여전히 핵심적인 역할을 수행한다는 사실을 재확인할 수 있었습니다.

심사 시스템 구축에 걸린 시간

최종 집계 화면

AI 협업을 위한 만반의 준비, 지속 가능한 혁신의 시작

지금까지는 카카오가 AI 시대에 걸맞은 '혁신적인 개발 환경’을 어떻게 구축하고 평가하고 있는지 살펴보았습니다. 이 장에서는 AI 기반 해커톤 심사 시스템 구축 사례를 통해 AI 주도 개발의 가능성과 함께, 여전히 개발자의 깊은 통찰력과 경험이 필수적임을 확인했습니다.

이러한 노력들은 AI가 단순히 몇몇 전문가의 손에 머무는 기술이 아니라, 회사 전체의 핵심 역량으로 자리 잡고 모든 구성원이 AI와 함께 더 큰 가치를 만들어낼 수 있도록 하는 근간이 됩니다.

이어지는 글에서는 이렇게 구축된 AI 협업 환경을 어떻게 지속 가능하게 유지하고 발전시켜 나가는지, AI 윤리 문제부터 끊임없는 기술 변화에 대한 적응 전략에 이르기까지 그 구체적인 고민과 노력들을 공유하도록 하겠습니다.

[목차] AI Native: 실행과 확산 사례집

AI 협업을 위한 개발 환경과 평가 시스템