안녕하세요, 카카오 기술 블로그 독자 여러분!

두 번째 글로 다시 만나게 되어 정말 반가워요. 첫 번째 글인 AI야, 문서 좀 대신 써 줘 - 1. 일단 시작!에서 제가 Technical Writing(TW) 에이전트를 만들기 시작했다는 소식을 전해드렸죠.

TW 에이전트의 핵심 요소, AI 모델

TW 에이전트는 사용자가 제공한 자료를 읽고, 기술 문서를 대신 작성하거나 다듬어주는 AI 도구입니다. 사용자가 대상 독자나 문서 목적 같은 요구사항을 알려주고 필요한 자료를 전달하면, AI가 아래 과정을 척척 해결해 주는 게 목표죠.

문서 작성 계획과 준비

기술 정보 분석하고 분류하기
문서 구조 짜기
필요한 자료 찾기

초안 작성

모은 정보로 내용 쓰기
템플릿과 스타일 가이드 지키기

검토

문서 정보가 정확한지 확인하기
더 확인이 필요한 부분 짚어내기

사실, 이 과정은 테크니컬 라이터가 기술 문서를 작성할 때 따르는 흐름과 거의 같아요. 기술 문서는 작성 과정과 내용이 체계적이고 정형화된 경우가 많아서, AI에게 맡기기가 훨씬 수월하답니다.

TW 에이전트가 일하는 과정을 예상해 보면 아래와 같아요.

사용자가 TW 에이전트에게 문서 작성 요청
TW 에이전트가 AI 모델에게 기술 문서 작성 요청
AI 모델이 기술 문서 작성 후 TW 에이전트에게 전달

즉, 사용자가 TW 에이전트에게 기술 문서 작성을 요청하면, 실제로 기술 문서를 작성하는 건 AI 모델이에요.

그러니 어떤 AI 모델을 사용해야 할지부터 결정해야겠죠!

후보 AI 모델 선정

그럼, 이 일을 잘 해낼 수 있는 AI 모델은 어떤 걸 골라야 할까요? TW 에이전트가 필요로 하는 아래 능력들을 기준으로 AI 모델을 선택해야 했어요.

다양한 기술 정보를 분석하고 분류하는 능력
복잡한 기술 정보를 이해하고 명확하게 설명하는 능력
필요한 정보를 스스로 찾아서 사용하는 능력

이 기준을 바탕으로, 추론에 강한 최신 AI 모델들을 후보로 골랐어요. AI 기술이 워낙 빠르게 발전하다 보니 아무리 최신 모델을 쓰더라도 금방 구식이 되더라고요.

TW 에이전트 후보로 선택한 모델은 아래 세 가지입니다.

OpenAI o3
Google Gemini 2.5 Pro
Anthropic Claude 3.7 Sonnet

기술 문서 이해 능력 평가

이제, 후보 AI 모델들의 기술 문서 이해 능력을 시험해 볼 차례입니다! TW 에이전트는 복잡한 기술 문서를 제대로 읽고, 핵심을 잘 정리할 수 있어야 하니까요.

그래서 ‘카카오 로그인’ 서비스의 기술 문서를 파일로 주고, 관련 질문에 답하는 일종의 '쪽지 시험’을 치르게 했어요. 성능을 평가하는 방법은 많지만, 기술 문서 이해력을 알아보는 데는 이런 방식이 딱이라고 생각했거든요.

총 20문항의 문제지는 GPT-4o가 만들고 제가 검토했어요. AI 모델이 문제 내용에만 집중할 수 있도록 문제지는 XML 형식으로 준비했고, 각 AI 모델에게 문제를 풀어달라고 요청했어요.

제가 사용한 제시어(Prompt)와 문제 예시는 이렇게 생겼어요.

첨부된 기술 문서를 주의 깊게 읽고 분석하세요.
분석한 내용을 바탕으로 아래 문제에 답변하세요.
모든 답안은 첨부된 기술 문서의 내용을 근거로 오류 없이 작성해야 합니다.
생성 결과에 오류나 거짓이 없는지 스스로 검토하고, 답변할 수 없는 질문은 "알 수 없음"이라고 답안을 작성하세요.
응답은 원문과 동일한 형식의 텍스트여야 합니다.
-----

  
    8. “액세스 토큰”의 역할과 수명 관리 방법을 설명하세요.
  
  
    여기에 답안을 작성하세요.

평가 결과

AI 모델들은 순식간에 답안지를 작성해 냈어요. 카카오 로그인은 OAuth 2.0에 대한 이해가 필요하고 다양한 기능이 있는 서비스인데도, 허무할 정도로 빠르게 시험이 끝났습니다.

답안 채점도 AI에게 맡겼어요. AI가 자기 성능을 평가할 때 생길 수 있는 자기 편향(Self bias) 문제를 피하기 위해 GPT-4.5, Gemini 2.0, Claude 3.5 Haiku 세 가지를 채점자로 썼고, 채점 과정과 점수표도 직접 꼼꼼히 살펴봤어요.

평가를 위한 제시어와 모범 답안 예시는 이런 식이었어요.

여러 AI 모델이 생성한 답변의 품질을 정량적으로 평가하세요.
# 평가 개요
- 1, 2, 3으로 명명한 총 3개 AI 모델이 생성한 답변의 품질을 평가해야 함
- 기술 문서 이해 및 분석 능력을 평가하기 위해, 각 AI 모델은 주어진 문제에 답변하는 과제를 수행했음
# 평가 방법
- 첨부 파일의 답안지를 각각 정량적으로 평가, 만점은 100점 (20문항, 문항별 최고 5점)
- 문항별 중요 정보 및 모범 답안과의 일치도에 따라 문항별 점수 기준에 따라 0~5점의 득점 부여
- 에러 코드의 번호, 함수 이름 등 중요한 정보에 오류가 있다면 해당 문항 0점 처리
…
-----

  
    15. `scope` 동의 여부를 어떻게 확인하고, 추가 동의를 유도하나요?
  
  
    동의 내역 확인 API, 또는 `-402` 에러 응답 기반 방식 설명.
  
  
    `scope` 동의 여부는 동의 내역 확인하기 API 호출 시 확인할 수 있다. 또는 API 호출 시 `-402` 오류가 발생하면, 사용자의 `scope` 동의가 부족한 상태임을 의미한다. 이 경우 추가 항목 동의 받기 API를 사용해 필요한 `scope`를 지정하고, 사용자의 동의를 다시 받을 수 있다.

또한 정확성, 명확성, 간결성을 기준으로 직접 정성적 평가도 진행했어요. 기술 문서는 복잡한 정보를 쉽고 명확하게 설명할 수 있어야 하니까요. 참고로, 저는 긴 문서는 질색입니다…

후보들 모두 뛰어난 성능을 가진 최신 모델들이라 기대가 컸는데, 실제 성적도 정말 훌륭했어요. 모델마다 답변하는 스타일이 달라서 그 차이점이 특히 흥미로웠어요.

o3: 요점 위주로 간략히 답변하고, 문장과 형식 측면에서 뛰어난 가독성을 보여줌
Gemini 2.5 Pro: 핵심 정보와 함께 문맥에 맞는 유용한 참고 정보도 함께 제공
Claude 3.7 Sonnet: 구체적인 예제를 포함해 세밀하고 포괄적으로 답변

제가 정량적, 정성적 평가 결과를 종합적으로 검토해 보니 TW 에이전트에 가장 적합한 AI 모델은 Gemini 2.5 Pro였어요. 특히 이 모델은 문제를 풀면서 기술 문서의 어떤 부분을 참고했는지 근거를 확실히 제시해 정확도를 높였고, 답변이 간결하면서도 충분한 정보를 담아 읽기 편했어요.

이렇게 해서 TW 에이전트의 주인공으로 Gemini 2.5 Pro가 선정됐어요! 하지만 이 프로젝트에서 한 가지 모델만 쓰는 건 아니에요. 이번에 GPT-4o를 출제자로 활용했던 것처럼, 여러 AI 모델과 도구들을 목적에 맞게 활용하면서 그 경험을 나눌 계획이에요.

다음 편 예고

다음 단계에서는 Gemini 2.5 Pro로 기술 문서 초안 작성에 도전해 볼 거예요. 특히 카카오의 사내 기술 문서 템플릿과 스타일 가이드를 적용하는 게 중요한 포인트가 될 것 같네요.

그럼, 다음 편에서 또 만나요!

Directed by Yang.me
Written by Talysa.geist
Assisted by ChatGPT & Claude

시리즈 모아보기

Vibe-Coding 관련 글 모아보기

AI야, 문서 좀 대신 써 줘 - 2. 쪽지 시험