if(kakao)2026 둘째 날은 안정성과 인프라, 거버넌스, AI-DLC, Model & Agent에 대해 이야기합니다.

키노트를 제외한 총 30개의 기술 세션들이 아래와 같이 진행됩니다.

[안전성과 인프라]

1. 유휴 서버를 찾다가 Hybrid Cloud까지 갔습니다: 비용 가시화에서 Unit Economics를 향해가는 카카오의 FinOps 여정 (백정태, 정원천)

“서버가 놀고 있네? 그럼 빼면 되겠네!”…그렇게 간단하지 않았습니다.

사용률이 낮아도 장애 대응과 Business Continuity를 위해 필요한 리소스가 있었고, 비용 확인만으로는 어떤 리소스를 줄이고, 유지해야하는지 판단하기 어려웠습니다.

발표에서는 Service Catalog를 중심으로 비용의 소유자와 사용 목적을 연결한 가시화부터, 단순 절감을 넘어 더 나은 Infrastructure Decision을 지원하는 방향으로 확장해가는 여정을 공유합니다.

유휴 Resource를 파고들다 Auto Scaling을 지나 Hybrid Cloud까지 간 카카오의 FinOps 이야기를 들어보세요.

시간: 10:30 ~ 11:00
장소: B1F Team room 3 4 5

2. AI가 이제 열도 잡아줘요: LLM 기반 DCIM 분석과 AI 냉방 제어 실증 (문승조)

DCIM에는 수억 건의 데이터가 쌓이지만, 그 안에서 의미 있는 정보를 골라내는 일은 여전히 사람의 몫이었습니다.

본 발표는 카카오 데이터센터 안산에서, 축적된 계측 정보와 정제된 자산·설비 관계를 조합해 LLM이 답을 만들어내는 구조를 세우고, 그 위에서 “AI가 실제로 냉방을 제어할 수 있는가” 를 현장에서 확인한 과정을 다룹니다.

시간: 11:00 ~ 11:30
장소: B1F Team room 3 4 5

3. 사용자의 성공을 측정하는 SLO: 카카오 SLOdyssey (김성식)

우리 서비스 SLO 어디서부터 시작할지 막막하신가요? 카카오의 SLOdyssey 제1부를 공개합니다.

카카오 SRE는 Uptime이 아니라 User First 관점에서 "사용자가 서비스에서 이루려는 목적을 성공하고 있는가"를 측정하는 SLO 여정을 시작했습니다.

이 세션에서는 CUJ 도출부터 SLI 합의, 측정·시각화까지의 프로세스와 함께 AI와 협업하며 배운 것과 사람의 몫으로 남은 것, 측정 편의성이라는 악마의 유혹과 싸운 이야기를 공유합니다. SLO 도입을 고민하는 개발자와 SRE, 데이터로 의사결정하는 조직을 만들고 싶은 리더에게 교과서가 아닌 실전의 여정을 들려드립니다.

시간: 13:00 ~ 13:30
장소: B1F Team room 3 4 5

4. 관측 경험을 연결하고, 분석 능력을 개방하다: AI가 바꾼 옵저버빌리티의 개발 방식과 사용 방식 (이강석)

비용 효율적인 저장소를 도입하는 것만으로 옵저버빌리티 플랫폼의 전환이 완성될까요?

카카오에서 더 어려웠던 과제는 플랫폼을 옮기는 일이 아니라, 사용자가 새로운 분석 경험에 자연스럽게 안착하도록 만드는 일이었습니다.

관측 신호를 해석하고 여러 도구를 오가는 데 드는 비용을 줄이는 방법과, CLI·API·Skills를 통해 분석 능력을 개발자와 AI 에이전트에게 개방해 온 과정을 공유합니다.

시간: 13:30 ~ 14:00
장소: B1F Team room 3 4 5

5. ClickHouse at Scale: Observability 플랫폼 운영에서 배운 것들 (장석현, 김명준)

대규모 Observability 플랫폼에는 매 순간 많은 양의 로그, 메트릭, 트레이스 데이터가 쌓입니다.

저희는 이러한 데이터를 안정적으로 저장하고 조회하기 위해 ClickHouse를 핵심 저장소로 사용하여 데이터 특성에 맞는 방법을 적용해 운영해 왔습니다. 하지만 실제 Production 환경에서 ClickHouse를 운영하면서 단순히 기능을 잘 사용하는 것만으로는 해결되지 않는 다양한 문제를 경험했습니다.

대규모 Observability 환경에서 겪은 운영과 설계의 시행착오, 그리고 아키텍처를 개선해온 과정을 공유합니다.

시간: 14:00 ~ 14:30
장소: B1F Team room 3 4 5

6. 차세대 로깅 플랫폼 구축기: 일 41TB, 200억 건 로그를 Clickstack으로 실시간 처리하기 (정혜연, 백수현)

“로그야, 살살 좀 와…” 하루 200억 건의 로그가 쏟아져도 더 빠르고 더 가볍게! 로깅 시스템을 처음부터 다시 설계한 이야기를 만나보세요.

이 발표에서는 단순히 OpenSearch를 ClickHouse로 전환한 과정을 소개하는 데 그치지 않습니다. 각 구간의 병목을 어떻게 발견하고 해결했는지, 어떤 기준으로 기술을 선택하고 기존 구조를 걷어냈는지, 그리고 하루 200억 건의 로그를 안정적으로 처리하면서도 비용 효율적인 플랫폼을 만들기까지 겪었던 시행착오와 설계 과정을 공유합니다.

시간: 14:30 ~ 15:00
장소: B1F Team room 3 4 5

7. 내가 보낸 메세지를 상대방이 받기까지: 전국민이 사용하는 메신저에서 릴레이 서비스 구축하기 (임유혁)

카카오톡에서 내가 발송한 메시지를 상대방이 어떻게 받고 있을까요?

카카오톡에서 내가 보낸 메시지를 상대방이 받기까지, 백엔드에서는 생각보다 많은 일이 일어납니다.

이 발표에서는 세션 서버에 묶여 있던 메시지 전달 기능을 공통 기능으로 분리하고, 요청을 받아 전달 경로를 정하는 Router와 실제 전송을 맡는 Worker로 책임을 나누며 답을 찾아간 과정을 소개합니다. payload 비용을 줄인 경험부터 실패한 요청을 복구 가능한 경로에 남기는 설계까지, 전국민이 사용하는 메신저에서 릴레이 서비스를 구축하며 마주한 기술적 고민과 선택을 공유합니다.

시간: 15:00 ~ 15:30
장소: B1F Team room 3 4 5

8. 폴링으로 잘 돌아가는데, 왜 바꿨을까: 카카오워크 검색 색인 파이프라인의 CDC 전환기 (김승현)

카카오워크 검색은 몇 년 동안 폴링으로 잘 돌아갔습니다. 하지만 재색인이 새벽 윈도우를 넘기고, 샤딩으로 쿼리가 7배가 될 예정이었고, hard delete까지 들어오며 조건들이 차례로 뒤집혔습니다.

Debezium과 Kafka로 로그 기반 CDC로 옮겼지만, 진짜 벽은 테이블 단위 이벤트로 조인된 검색 문서를 만드는 일이었습니다.

이 발표에는 "이렇게 해야 한다"가 없습니다. 폴링이 왜 우리에게 정답이었고, 무엇이 그 답을 뒤집었고, 그래서 무엇을 골랐는지가 있습니다. 비슷한 갈림길에 서 계신 분들께 도움이 되면 좋겠습니다.

시간: 15:30 ~ 16:00
장소: B1F Team room 3 4 5

[거버넌스]

1. Meaning as Code: Data Mesh와 AI를 연결하는 시맨틱·온톨로지 레이어 (강도현, 변수현)

도메인이 늘수록 같은 이름의 지표도 뜻과 계산식이 달라집니다. AI 에이전트, BI, 라이브 서비스가 서로 다른 정의를 읽으면 SQL이 정상 실행돼도 질문과 다른 숫자를 낼 수 있습니다.

카카오는 도메인이 의미와 계산 로직을 직접 정의하고 중앙이 표준·검증·중재를 맡는 연합형 거버넌스를 실험하며, 이를 구현하는 시맨틱·온톨로지 레이어를 만들고 있습니다. Metrics as Code를 Meaning as Code로 넓힌 설계와 전략, 초기 PoC에서 확인한 인사이트를 공유합니다.

시간: 10:30 ~ 11:30
장소: B1F Team room 1 2

2. 좋은 AI를 모으면, 모두의 AI가 될까요? : 카카오가 "모두의 AI"를 만드는 방법 (유용하)

모두의AI는 카카오가 주관해 국내 대표 AI 기술과 전문 에이전트, 실행 도구를 하나의 서비스로 연결하는 프로젝트입니다. 카카오는 웹서비스와 에이전트 시스템을 구축하고 있으며, LG그룹을 비롯한 34개 기업·기관이 각 분야의 기술과 전문성을 더하고 있습니다.

특화 에이전트와 PlayMCP에 등록된 500개 도구를 바탕으로, 모델 성능만이 아니라 국민이 자주 찾고 실제 일을 처리하는 경험으로 차별화할 계획입니다. 더 많은 에이전트가 참여하는 개방형 생태계와 ‘1인 1에이전트’, 향후 업무·산업 영역으로의 확장 방향을 소개합니다.

시간: 13:00 ~ 13:30
장소: B1F Team room 1 2

3. "카카오톡에서 발생하는 별별 어뷰징 대응기(aka. SMS Pumping) (박종훈, 한은경)

“못 막은 만큼 돈을 내야한다?” 카카오톡에서 일어나는 별별 어뷰징, SMS Pumping에 대해 알려드립니다!

SMS Pumping(AIT)은 공격자가 인증 문자 요청을 자동 반복해 실제 이용 목적이 없는 유료 SMS를 대량 발생시키는 공격으로, 전 세계 메신저가 함께 겪고 있습니다. 본 발표에서는 카카오톡이 겪은 다양한 어뷰징의 실체와 공격이 진화한 양상, 그리고 이를 탐지하고 막아온 과정을 소개합니다.

시간: 13:30 ~ 14:00
장소: B1F Team room 1 2

4. “이 데이터, 지금 바로 써도 됩니까?” 통제가 아니라 측정 : 리스크 스코어와 유틸리티 스코어로 전사 카탈로그를 평가하는 카카오의 데이터 거버넌스 (백승원, 김승찬)

“이 데이터, 지금 바로 써도 됩니까?” 리스크가 낮다는 것만으로는 답이 되지 않습니다. 잘 관리된 데이터일 수도, 아무도 쓰지 않는 데이터일 수도 있기 때문입니다.

그래서 카카오는 거버넌스를 통제가 아니라 도메인 데이터 오너의 판단을 돕는 측정 체계로 다시 세우고, 전사 카탈로그에 두 개의 점수를 나란히 붙였습니다.

데이터 관리 리스크를 평가하는 리스크 스코어와, 이 데이터를 누가 어떤 목적으로 쓰는지, 어떤 파생 데이터와 지표가 여기에 기대고 있는지를 평가하는 유틸리티 스코어입니다. 두 점수의 산식 설계와 도메인·서비스·조직 귀속 구조, 점수에서 조치로 이어지는 대시보드까지 공유합니다.

시간: 14:00 ~ 14:30
장소: B1F Team room 1 2

5. 한계를 경계로 바꾸다: 대규모 커머스 DB 샤딩 전환기 (유정민)

“데이터베이스는 어떻게 확장해야 할까?” 서비스가 빠르게 성장하면 Scale-up만으로는 비용과 성능의 한계가 드러납니다. 카카오 커머스 주문 시스템은 데이터와 쓰기 트래픽을 함께 분산하기 위해 샤딩을 선택했습니다.

본 발표에서는 샤드 키와 샤드 수를 결정한 기준부터 향후 확장을 고려한 구조, 데이터 정합성을 유지하며 읽기·쓰기 경로를 전환한 과정까지, 실제 프로젝트에서 선택한 설계와 운영 전략을 소개합니다.

시간: 14:30 ~ 15:00
장소: B1F Team room 1 2

6. 수백 테라의 증권 데이터를 품는 법: 카카오페이증권의 Vitess 도입기 (김용, 김광훈)

오라클 디스크는 한계에 가까워지고 TPS는 계속 늘어납니다.

카카오페이증권은 데이터를 한곳에 집중시키면서도 부하를 분산할 수 있는 해답을 분산 DB Vitess에서 찾았습니다. 이번 발표에서는 Vitess를 선택한 이유부터 클러스터 인프라 구축, 샤딩 키 설계와 정합성 대사·모니터링 같은 운영 경험까지, 수백 테라 규모의 증권 데이터를 다루며 얻은 결정과 시행착오를 인프라를 만든 DBA와 서비스를 만든 개발자가 함께 풀어놓습니다.

수백 테라 규모의 증권 데이터를 다루며 얻은 결정과 시행착오, 그리고 도입 후 달라진 아키텍처와 앞으로의 계획까지 공유하는 자리가 되길 바랍니다.

시간: 15:00 ~ 15:30
장소: B1F Team room 1 2

7. 잔소리(jansori): 사람이 하면 서운한 말, AI가 하면 꿀팁이 되는 감정 제로 팀 거버넌스 이야기 (마태일)

“시크릿 키 묻었는데요?” 사람이 하면 서운한 말, AI가 하면 꿀팁이 됩니다. 코드 리뷰에서 매번 같은 룰을 지적하고 받는 일은 리뷰어와 작성자 모두에게 감정 노동입니다.

선물하기 서버개발 챕터는 팀의 약속을 대신 말해주는 도구 '잔소리(jansori)'를 만들었습니다. 강제 차단 대신 대화를 선택한 유연한 거버넌스, 여러 AI가 룰을 검증하고 논쟁하며 업데이트하는 구조까지, 챕터의 문화로 자리 잡기까지의 경험과 바로 이식 가능한 노하우를 소개합니다.

시간: 15:30 ~ 16:00
장소: B1F Team room 1 2

[AI-DLC]

1. 우리는 왜 엔지니어를 현장으로 보냈나: 카카오 FDE 조직 이야기 (김종한)

AI 도입은 했는데 일하는 방식은 그대로인가요? FDE는 현장에서 각 조직의 업무·데이터·시스템을 이해하고, 작은 자동화부터 업무 프로세스와 협업 방식까지 직접 바꿉니다.

본 발표에서는 데모로 끝나지 않고 조직에 남은 AX는 무엇이 달랐는지, 카카오 FDE의 유즈케이스와 시행착오로 보여드립니다.

시간: 10:30 ~ 11:00
장소: 1F Conference room 1

2. 옮기는 것보다 증명이 어렵다: 클레임 검색 색인을 CDC 로 바꾸고 검증한 기록 (신호석)

"한 건도 안 틀렸다"는 증명이 아닙니다.

커머스의 취소·반품·교환 데이터를 검색하는 색인을 애플리케이션 이벤트에서 데이터베이스 변경 로그(CDC) 기반으로 바꿨습니다. 어려웠던 건 바꾸는 일이 아니라, 바꾼 결과가 옳다는 것을 증명하는 일이었습니다.

두 색인을 나란히 돌려 7일 연속 전수 대조하고 색인 지연을 18배 줄인 과정, 오류 0건으로 결함률을 어디까지 주장할 수 있는지 따진 검증 설계, 그리고 전환이 끝난 뒤 원본 DB에 부하를 준 일과 그 부하를 다시 통제한 방법까지 다룹니다.

시간: 11:00 ~ 11:30
장소: 1F Conference room 1

3. AI 산출물을 믿어도 되게 만드는 법: QA가 담금질한 하네스와 품질 게이트 (권성진)

“AI가 코드도 테스트도 한 번에 짜줬어요!”… 그런데 그 테스트가 진짜 잡는다는 증거는요?

개발과 배포는 AI로 빨라졌는데 검증은 아직 사람이 손수 따라가고 있고, 그 간격은 앞으로 더 벌어집니다. 이 발표에서는 AI 산출물이 지나가는 길목에 세운 품질 게이트와 그 세 가지 방법론인 적대적 검토, 격리하기, 다양성 부여를 소개하고, 결함 검출이 5/8에서 8/8로 올라간 실측 결과까지 그대로 보여드립니다. 고치기 전에 재현 테스트부터 돌려 깨뜨려 보던 QA의 기본기, AI 시대에 되살리는 법 가져가세요. 🔨

시간: 13:00 ~ 13:30
장소: 1F Conference room 1

4. Viking: 개발 지식은 아무것도 몰라도 되는 카카오의 바이브코딩 플랫폼 탄생기 (임희섭)

AX의 시작은 열의 있는 사람들이 스스로 모이는것 부터 였습니다. 카카오 커머스에서 AX를 어떻게 해야 하는지 각자 고민하던 사람들이 모여, 실제 현장의 문제를 해결 하고 있습니다.

git? argocd? k8s? 아무것도 몰라도 AI Agent만 있다면 즉시 개발하고 배포할 수 있습니다. 클릭 몇 번으로 워크스페이스와 앱을 만들고 지침만 에이전트에게 전달하면 개발 준비가 끝나고 10~20분 만에 원하는 앱이 완성됩니다.

오픈 일주일 만에 전사 플랫폼으로 인정받고 한 달 만에 사내 회원 1,900명, 배포된 앱 700개를 달성한 바이브코딩 플랫폼 Viking의 탄생기를 소개합니다.

시간: 13:30 ~ 14:00
장소: 1F Conference room 1

5. "결제코어 시스템 마이그레이션, 어쩌다 '할 수 있는 것’까지 바꾸게 되었을까: 금융 1도 모르고 이직해서 살아남기 (강승현)

은행 업무를 처리하는 코어뱅킹에서 카드 결제 시스템을 분리하고 수십억 건의 데이터를 마이그레이션했습니다. 일 수백만 건의 거래에서 타임아웃이 발생하거나 결제 승인과 취소라는 거래 요청이 맞물려도 거래 상태는 정확해야 했습니다.

프로젝트에는 MDD, C, Java/Spring 등 서로 다른 기술 환경과 금융, 플랫폼 등 다양한 도메인을 경험한 개발자들이 모였습니다. 한쪽에서는 평범한 구현방식과 의사결정이 다른 쪽에서는 도구의 한계나 운영 위험으로 여겨졌기에, 가능한 것과 안전한 것의 경계부터 함께 맞춰야 했습니다.

이 발표에서는 이런 차이를 조율하며 시스템과 개발환경을 전환하는 동안 제가 내린 판단과 겪은 시행착오를 공유합니다.

시간: 14:00 ~ 14:30
장소: 1F Conference room 1

6. Kakao Playground: AI로 바꾼 디자이너의 일하는 방식 (염수연, 김지선)

디자이너가 직접 구현하고 배포해 제품을 검증하는 시대, AI로 바꾼 디자이너의 일하는 방식을 공유합니다.

Kakao Playground는 디자이너가 AI를 활용해 높은 완성도의 프로토타입을 직접 구현하고 배포할 수 있는 AI 에이전트 기반 프로토타이핑 플랫폼입니다.

이번 발표에서는 Playground를 만들게 된 배경부터 실제 업무에 적용하며 일하는 방식이 어떻게 변화했는지, 그리고 디자이너들이 Playground를 어떻게 활용하고 있는지를 실제 사례와 함께 소개합니다.

시간: 14:30 ~ 15:00
장소: 1F Conference room 1

7. 흩어진 사내 지식을 AI가 답할 수 있게 만들기 (이한승)

사내에는 이미 많은 지식이 있지만, 필요한 정보를 찾으려면 여전히 "어디에 있는지 아는 사람"을 찾아야 하는 경우가 많습니다.

enti는 이렇게 흩어진 사내 지식을 AI가 검색하고 답변에 활용할 수 있는 공통 지식 기반으로 만들기 위해 시작했습니다.

이 세션에서는 원본을 그대로 두고 지식을 연결한 파이프라인부터 정보의 의미와 관계, 계정과 권한, 변경과 삭제, 검색과 출처까지 구축 과정에서 구분해야 했던 문제들을 실제 사례와 함께 다룹니다. 지식베이스를 벡터 저장소가 아니라 계속 관리해야 하는 데이터 제품으로 보게 된 이유와, 사람에게 물어보던 질문에 AI가 근거와 함께 답하게 만든 enti의 이야기를 만나보세요.

시간: 15:00 ~ 15:30
장소: 1F Conference room 1

8. 에이전트 하네스로 수백개의 멜론 JSP 포장이사하기 (최용열)

“다 했어요!” AI의 이 말을 믿는 대신 검증하게 했습니다.

멜론의 JSP 웹뷰 200여 개를 모던 웹으로 전환하기 위해, 계획자·실행자·평가자가 협력하는 하네스와 이를 굴리는 오케스트레이터를 설계했습니다. 새 기능을 만나면 스킬 하나만 더하면 되는 플러거블 구조, LLM의 ‘완료’ 선언 대신 세 개의 결정적 게이트와 적대적 검증으로 완료를 판정하는 체계까지, 실패를 스킬로 바꾸며 하네스를 구축한 경험을 소개합니다.

시간: 15:30 ~ 16:00
장소: 1F Conference room 1

[Model & Agent]

1. “이 광고 왜 잘됐죠?” 광고주 성과를 진단하는 똑똑한 AI 에이전트 서비스 개발기 (제현승, 신보현)

개인이 에이전트를 구성하는 것이 아닌, 다수의 사용자가 이용할 에이전트 서비스를 설계할 때 어떤 부분을 먼저 고민해야 할까요?

이 발표에서는 광고주와 컨설턴트를 대상으로 광고 성과를 진단해 주는 에이전트 서비스를 만들며 겪은 아키텍처 기획과 설계, 평가까지의 전반적인 에이전트 개발 과정을 담았습니다.

서브 에이전트·스킬·툴 사이의 아키텍처 선택부터, 안전한 동작을 담보하기 위한 실행 환경 격리, 에이전트 품질을 지속적으로 트래킹하는 평가 파이프라인까지, 처음 에이전트 서비스를 설계하는 팀이 참고할 수 있는 실전 기준을 공유합니다.

시간: 10:30 ~ 11:00
장소: 1F Conference room 2

2. 하나의 AI 를 넘어, 도메인 전문가를 연결하는 Workmate: A2A로 협업하고 확장하는 사내 AI 비서 (김동훈)

모든 업무를 아는 만능 AI 대신 각 시스템을 가장 잘 아는 전문가들을 연결했습니다. Workmate의 멀티에이전트 설계와 선택의 이유를 공개합니다.

완성된 기능을 나열하기보다 하나의 AI를 여러 도메인 전문가의 협업 플랫폼으로 발전시키며 내린 설계 판단, 실패와 개선 경험을 중심으로 이야기합니다.

사내 시스템을 AI 에이전트에 연결하려는 개발자와 플랫폼 설계자가 도메인 경계 설정, A2A 기반 확장, 안전한 실행과 품질 운영에 관한 실전적인 기준을 가져갈 수 있는 세션입니다.

시간: 11:00 ~ 11:30
장소: 1F Conference room 2

3. 데이터 메시에서 분석가의 맥락 확장하기: 인사이트 리포트를 위한 LLM 워크플로우 (안주영)

AI의 속도에 분석가의 노하우를 더하면 어떤 결과가 나올까요? 데이터 메시 환경에서 분석가는 빠른 비즈니스 변화와 반복적인 요청 속에서 데이터를 해석하고 인사이트를 만듭니다.

카카오는 분석가의 실제 리포팅 프로세스를 반영해 사내 도메인 지식 위에서 동작하는 LLM 기반 워크플로우를 개발하고 있습니다.

기존 AI 환경에 통합하여 바로 쓸 수 있는 표준화된 인사이트 리포트 워크플로우 구축 과정을 공유합니다.

시간: 13:00 ~ 13:30
장소: 1F Conference room 2

4. 야, 너두 GPU에 LLM 배포할 수 있어: 온프레미스 GPU 기반 k8s 환경의 LLMOps 최적화 여정 (이용희, 최일지)

고가의 GPU를 도입하여 대외 고객과 사내 크루 모두에게 안정적으로 LLM을 제공하기까지, 카카오페이가 온프레미스 GPU 기반 k8s 환경에서 LLMOps를 최적화해 온 여정을 다룹니다.

LLM을 처음 배포하려고 하면 GPU는 몇 장이 필요한지, 양자화는 어디까지 해도 되는지, 응답은 왜 느려지는지 등 예상보다 많은 난관이 기다리고 있습니다.

이번 발표에서는 이 난관들을 하나하나 파헤쳐 봅니다. LLM을 GPU에 올리는 가장 기본적인 내용부터 리소스 점유율과 사용률 분리, 양자화, 병렬화, KV 캐시, 오토스케일링까지, 함께 보시죠.

시간: 13:30 ~ 14:00
장소: 1F Conference room 2

5. 동일한 GPU로 처리량 극대화하기: Kakao AI Platform의 LLM 추론 최적화 및 자동화 (이동준)

동일한 GPU 자원으로 LLM 추론 처리량을 극대화할 수 있을까요?

LLM 추론은 워크로드에 따라 Prefill과 Decode 단계의 병목이 확연히 다릅니다.

본 발표에서는 TTFT와 TPOT 중심의 정밀한 관측 체계를 구축한 과정과, 최신 서빙 최적화 기법들이 실제 성능과 SLO에 미치는 트레이드오프를 분석합니다. 나아가 이러한 튜닝 노하우를 KAP(Kakao AI Platform)의 재사용 가능한 플랫폼 기능으로 전환하고 자동화한 여정을 공유합니다. 이를 통해 동일한 GPU 인프라 환경에서 추론 처리량을 극대화하고 운영 비용 효율성을 획기적으로 개선한 실무 사례와 인사이트를 전달합니다.

시간: 14:00 ~ 14:30
장소: 1F Conference room 2

6. LLM 실험 시스템으로 완성한 교통 예측 모델 전면 교체기: 정확도는 높이고 비용은 96% 줄인 9MB 경량 모델 (이상준)

전국 21만 개 도로를 예측하는 9MB 모델, 오차는 30% 줄이고 비용은 96% 절감했습니다.

시점별로 나뉜 6개의 무거운 AutoML 모델을 ‘도로를 외우지 않는’ 단일 경량 모델로 전면 교체한 과정과, 개발자 한 명이 150번 넘는 실험을 LLM 에이전트와 함께 수행하며 만든 실험 체계를 공유합니다. 채택 판단을 에이전트에게 맡길 수 없다는 것을 확인하고 실험 전체를 감싸는 체계를 먼저 만든 이야기까지 공개합니다.

시간: 14:30 ~ 15:00
장소: 1F Conference room 2

7. “이 사건, 어디까지 영향을 미칠까?” 지식그래프로 만드는 eXplainable 금융 에이전트 (민재홍, 정의정)

“휴머노이드 로봇 양산이 본격화되면 국내 어디까지 영향을 미칠까?” 답은 한 문서에 통째로 적혀 있지 않고, 사건과 사건, 사건과 종목을 잇는 연결을 따라가야 나옵니다.

카카오페이증권은 뉴스와 실적발표 자료 수만 건을 사건 중심의 지식그래프로 엮고 그 위에 그래프를 탐색하는 에이전트를 올렸습니다. 답을 경로와 원문 출처로 제시하고 근거가 없으면 멈추는, 추측 대신 근거·요약 대신 경로의 설명가능한 금융 에이전트를 만들며 지나온 판단의 갈림길을 공유합니다.

시간: 15:00 ~ 15:30
장소: 1F Conference room 2

이상 if(kakao AI)2026 둘째 날 기술 세션 소개였습니다. 안정성과 인프라, 거버넌스, AI-DLC, Model & Agent까지 폭넓은 기술적 고민과 실무 경험을 만나보실 수 있습니다.

[안전성과 인프라]

[거버넌스]

[AI-DLC]

[Model & Agent]

관련 글 목록

if(kakao)2026 둘째 날, 기술 세션 소개