사내 문서를 AI에 넣기 전에 정리해야 하는 것

사내 문서를 AI에 물려서 질문에 답하게 만드는 시도는 이제 흔합니다. 그런데 만들어 놓고 나면 "생각보다 안 맞는다"는 반응이 자주 나옵니다. 원인을 찾다 보면 모델이나 검색 방식보다 문서 자체에 있는 경우가 많습니다.

같은 문서를 그대로 넣고 이런저런 방법을 바꿔 보는 것보다, 문서를 먼저 손보는 편이 효과가 큽니다. 손볼 곳은 대체로 아래 네 가지입니다.

1. 같은 주제의 문서가 여러 벌 있다

가장 흔하고 가장 치명적입니다. "휴가 규정"이 세 군데에 있고 내용이 조금씩 다릅니다. 하나는 2년 전 버전, 하나는 초안, 하나는 현재 것입니다. 사람은 파일명이나 폴더 위치를 보고 어느 게 최신인지 짐작하지만, 모델은 그 단서를 못 봅니다.

그 결과 셋 중 하나를 골라서 자신 있게 답합니다. 틀린 답이 나오는 게 아니라, 예전에는 맞았던 답이 나옵니다. 이게 더 나쁩니다. 그럴듯해서 검증을 안 하게 되기 때문입니다.

정리 방법은 단순합니다. 넣기 전에 중복 주제를 찾아 하나만 남깁니다. 옛 버전은 아카이브 폴더로 옮기고 색인에서 뺍니다. 어느 게 최신인지 사람이 판단하기 어렵다면 모델도 못 합니다.

2. 제목이 내용을 설명하지 않는다

"회의록_최종_v3_수정.docx", "20260812_공유.pdf" 같은 파일이 많으면 검색 품질이 크게 떨어집니다. 검색은 제목에 큰 가중치를 두는데, 제목에 정보가 없으면 본문만으로 판단해야 합니다.

제목을 다 고칠 수는 없으니, 대신 각 문서 맨 앞에 한 줄 요약을 붙이는 방법이 실용적입니다. "이 문서는 2026년 하반기 재택근무 운영 기준을 정리한 것이다" 같은 한 줄이면 됩니다. 이 한 줄 덕분에 검색되는 문서가 눈에 띄게 달라집니다.

3. 표와 이미지 안에 답이 있다

규정이나 기준은 표에 들어 있는 경우가 많습니다. 그런데 PDF나 스캔 이미지 안의 표는 텍스트로 추출될 때 구조가 깨집니다. 행과 열이 섞여서 "연차 15일"이 다른 항목의 값과 붙어버리는 식입니다.

이런 문서는 넣기 전에 표만 따로 뽑아 텍스트로 다시 적어 두는 편이 확실합니다. 손이 가지만, 정확도가 가장 크게 오르는 작업입니다. 특히 숫자가 들어간 표는 반드시 확인해야 합니다. 표가 깨져서 나온 숫자는 틀렸다는 표시가 나지 않습니다.

4. 문맥이 문서 밖에 있다

"작년과 동일하게 진행합니다", "지난번 논의대로", "담당자 확인 후". 사내 문서에는 이런 표현이 많습니다. 쓴 사람과 읽는 사람이 맥락을 공유하고 있어서 생략된 것들입니다.

모델은 그 맥락을 모릅니다. "작년과 동일"이 무엇인지 문서 안에 없으면 그냥 그 문장을 그대로 답에 씁니다. 질문한 사람은 답을 받았지만 아무것도 알게 되지 않았습니다.

이건 전부 고치기 어렵습니다. 대신 자주 조회되는 문서부터 대명사와 생략을 풀어 쓰는 게 현실적입니다. 전체의 10%만 고쳐도 체감이 꽤 달라집니다.

정리 순서

한정된 시간에 효과를 내려면 이 순서가 좋습니다.

1번을 안 하고 2~4번을 하면 틀린 답이 더 잘 검색되는 상태가 됩니다. 순서가 중요합니다.

한 가지 더

이런 정리를 하다 보면 부수적인 효과가 하나 생깁니다. 사람이 읽기에도 문서가 나아집니다. 중복이 사라지고 제목이 명확해지고 맥락이 적혀 있으면, 신입이 들어왔을 때 물어볼 일이 줄어듭니다.

AI를 위해 문서를 정리한다고 생각하면 부담스럽지만, 어차피 해야 했던 정리를 이참에 한다고 보면 명분이 생깁니다. 실제로 이쪽이 더 정확한 표현이기도 합니다. 모델이 못 찾는 문서는 대개 사람도 못 찾습니다.