자연어로 채용 데이터를 묻는 기능을 만들어 저희 워크스페이스에서 먼저 쓰고 있습니다. 무엇이 달라졌는지, 무엇은 그대로인지 지금까지 잰 값으로 적습니다.
지금까지 잰 것
| 항목 | 값 |
|---|---|
| 사내 사용 턴 수 | 66턴 |
| 실패 | 0건 |
| 응답 시간 중앙값 | 4.0초 |
| 응답 시간 상위 5% | 9.1초 |
| 회귀 하네스 누적 실행 | 624회, 실패 0건 |
표본이 작고, 대부분 만든 사람이 써 본 값입니다. 사내 워크스페이스에서 며칠 쓴 기록이고 고객사에는 아직 열지 않았습니다. 이 숫자로 "효과가 검증됐다"고 말할 수는 없습니다. 다만 실패 0건과 응답 시간은, 요청을 자주 흘리는 게이트웨이 위에서 왕복을 두 번으로 고정한 설계가 의도대로 동작하고 있다는 정도는 보여줍니다.
빨라진 건 모델이 아니라 답변 길이였습니다
처음엔 한 턴이 8초를 넘었습니다. 어디서 시간을 쓰는지 재 봤더니 구조가 이랬습니다.
- 연결과 대기: 호출당 약 1초
- 질문을 읽는 비용: 1,000토큰당 약 0.13초
- 답변을 쓰는 비용: 1,000토큰당 약 16초
출력이 지배합니다. 그걸 모르고 두 번 헛짚었습니다. 도구 설명을 줄여 입력을 아꼈더니 0.15초가 줄었고, 계획을 두 단계로 나눠 정확도를 올리려 했더니 호출이 하나 늘어 2초를 손해 봤습니다.
실제로 먹힌 것은 답변을 짧게 만든 것이었습니다. 화면의 표에 이미 있는 값을 문장으로 다시 옮겨 적고 있었거든요. 표가 그리는 것을 문장이 반복할 이유가 없습니다. 계획 출력에서 안 쓰는 항목 하나를 뺀 것까지 더해 한 턴 8.1초에서 4.4초가 됐고, 회귀 세트 정답률은 그대로였습니다.
여기서 남은 규칙: 속도가 목적이라면 호출 수를 늘리는 방향은 언제나 손해입니다.
실제로 써 보고서야 걸린 것
회귀 세트를 다 통과하는 동안에도 실사용에서 막히는 자리가 계속 나왔습니다.
"○○ 지원자 AI 점수 얼마야?"에 답을 못 했습니다. 계획은 옳은 도구를 골랐는데 그 도구가 내부 식별자만 받게 되어 있었습니다. 대화에서 얻을 수 있는 건 이름뿐이고, 식별자는 지어낼 수 없습니다. 도구가 이름을 직접 받도록 고쳤습니다.
동명이인이 막다른 길이었습니다. 처음엔 되물었는데, 같은 공고에 동명이인이 있으면 공고를 물어도 구분이 안 됩니다. 화면에서 고르게 바꿨습니다. 그런데 고르고 나서가 원래 질문과 이어지지 않아서 — 점수를 물었는데 이력서만 열렸습니다 — 어느 질문에서 막혔는지를 같이 들고 다니게 했습니다. 되묻기를 없앤 자리에는 다음 행동까지 놓아야 했습니다.
"면접 단계 지원자"가 안 걸렸습니다. 사람은 1차·인적성·2차를 묶어서 「면접」이라고 부르는데 시스템에는 그 묶음이 없었습니다.
셋의 공통점이 있습니다. 모델이 못 한 게 아니라 표현할 방법이 없었던 것입니다. 프롬프트를 고칠 일이 아니라 도구 쪽에 자리를 만들 일이었습니다.
안 달라진 것
여기가 이 글에서 제일 하고 싶은 부분입니다.
없는 데이터는 여전히 없습니다. 채용 소요일이나 단계별 정체 시간을 물으면 에이전트는 숫자를 주지 않고 "아직 수집하지 않습니다"라고 답합니다. 단계 전이 시각을 기록하지 않기 때문이고, 그건 에이전트가 아니라 데이터 모델을 고쳐야 풀리는 문제입니다. AI를 붙였다고 데이터 공백이 메워지지 않습니다.
판단은 사람이 합니다. 합격·불합격을 추천하지 않습니다. "AI 서류 점수 상위 세 명"이라고 축을 밝혀 말하고, 각자의 근거와 아직 검토되지 않은 인원 수를 함께 붙입니다.
쓰기는 사람이 누릅니다. 검토 실행은 버튼을 눌러야 시작되고, 메일 발송과 일정 확정은 화면을 열어 주는 데서 멈춥니다.
효과가 있다면 어디일까
솔직히 아직 증명되지 않았습니다. 그래서 성공 기준을 응답 속도가 아니라 답변에 붙은 화면 링크를 실제로 눌렀는가로 잡아 두었습니다. 안내원 역할을 하고 있다는 증거는 그거라고 봤습니다.
기대하는 지점은 시간 절약보다 다른 데 있습니다. 저희가 받는 문의 중 상당수가 기능이 없어서가 아니라 어디를 봐야 하는지 몰라서 생깁니다. "지원서가 안 보인다"는 문의를 열어 보면 대개 다른 화면에 있습니다. 그런 제품은 오래 쓴 사람만 잘 쓰게 됩니다.
찾는 법을 아는 사람만 쓸 수 있는 제품에서 벗어나는 것 — 그게 이 기능으로 확인하고 싶은 것입니다. 확인되면 다시 적겠습니다.
앞의 두 편은 채용 데이터를 묻는 AI를 만들기 전에, 답할 수 없는 것부터 셌습니다과 LLM에게 데이터베이스를 주지 않았습니다입니다.