AI 첨삭이 잡아내지 못하는 자소서 문제

자소서 첨삭 도구를 만들면서 가장 많이 확인한 것은 역설적으로 도구가 못 하는 일이었습니다. 모델은 문장을 다듬는 데는 확실히 강합니다. 그런데 다듬어진 자소서가 반드시 더 나은 자소서는 아닙니다.

도구가 잘하는 것

먼저 잘하는 쪽부터 정리하면 이렇습니다.

• 근거 없이 주장만 있는 문장을 찾아내는 일
• 문항이 물은 것과 답한 것이 어긋난 지점을 짚는 일
• 길고 수동적인 문장을 짧고 능동적으로 바꾸는 일
• 클리셰를 식별하는 일

이건 패턴 인식에 가까운 작업이라 사람보다 일관됩니다. 사람은 스무 번째 자소서쯤 되면 집중력이 떨어지지만 모델은 그렇지 않습니다.

도구가 못 하는 것 세 가지

사실인지 아닌지

모델은 "매출을 30% 올렸습니다"라는 문장이 좋은 문장인지는 판단하지만, 그게 사실인지는 알 수 없습니다. 그리고 서류 다음 단계는 면접입니다. 면접관은 그 30%가 어떻게 계산된 숫자인지 묻습니다.

첨삭 도구를 쓰다 보면 문장이 점점 강해지는데, 강해진 만큼 뒷받침할 근거가 필요해집니다. 도구가 강하게 만들어 준 문장을 스스로 방어할 수 있는지는 매번 직접 확인해야 합니다. 여기서 걸려 넘어지는 경우가 생각보다 많습니다.

그 회사에서 무엇을 중요하게 보는지

같은 자소서가 회사에 따라 다르게 읽힙니다. 안정적인 운영이 중요한 조직에서는 "빠르게 시도하고 실패했다"는 경험이 위험 신호로 읽히고, 반대인 조직에서는 강점이 됩니다. 모델은 일반적인 기준으로만 판단하기 때문에 이 차이를 반영하지 못합니다.

그래서 도구의 점수를 절대적인 것으로 받아들이면 곤란합니다. 점수가 말해 주는 건 "일반적인 기준에서 근거가 충분한가" 정도이고, 그 회사에 맞는지는 지원자가 알아야 합니다.

글에 사람이 남아 있는지

이게 가장 실질적인 문제입니다. 첨삭을 여러 번 돌리면 문장은 매끄러워지는데 누가 썼는지 알 수 없는 글이 됩니다. 어색한 표현이 사라지면서 그 사람 특유의 관점도 같이 사라지기 때문입니다.

읽는 쪽에서는 이걸 꽤 잘 알아봅니다. 정확히 뭐라고 지적하기는 어려운데 "잘 썼는데 기억에 안 남는다"는 인상이 남습니다. 수백 부를 읽는 상황에서 기억에 안 남는다는 건 좋은 평가가 아닙니다.

그래서 어떻게 쓰는 게 나은가

제가 도구를 만들면서 정한 사용법은 이렇습니다.

1. 초안은 반드시 직접 쓴다. 도구에게 처음부터 쓰게 하면 남는 게 없습니다.
2. 지적을 받되 수정문은 참고만 한다. "왜 이게 문제인지"를 읽고 직접 고치면 다음 문단부터는 도구 없이도 고칠 수 있습니다.
3. 한 번만 돌린다. 여러 번 돌릴수록 평균에 수렴합니다.
4. 고친 뒤 소리 내어 읽어 본다. 내 말투가 아닌 문장이 있으면 되돌립니다.

3번이 특히 중요합니다. 첨삭을 반복하면 점수는 오르는데 글은 밋밋해지는 구간이 옵니다. 점수를 올리려고 도구를 쓰는 게 아니라 문제를 발견하려고 쓰는 것이라고 생각하면 한 번으로 충분합니다.

정리

AI 첨삭은 교정 도구이지 대필 도구가 아닙니다. 근거가 빠졌는지, 문항에 답했는지 같은 구조적인 문제를 찾는 데는 확실히 유용하고, 그 지점에서 시간을 크게 아껴 줍니다. 다만 사실 여부, 회사별 기준, 글에 남은 사람의 흔적은 도구 밖의 일입니다.

자소서 첨삭 해봄에서 결과가 다소 냉정하게 나오는 것도 같은 이유입니다. 고쳐 쓴 예시를 한 문단만 보여주는 것도 의도한 것입니다. 전부 고쳐 주면 그대로 제출하게 되고, 그건 대체로 좋은 결과로 이어지지 않습니다.