AI로 면접 질문과 평가 기준을 만들어 봤더니, 기본적인 질문을 빠르게 준비하고 평가 항목을 정리하는 데는 도움이 됐지만 지원자의 능력을 제대로 확인하려면 직무에 맞는 수정이 반드시 필요했다.
채용 면접을 준비할 때는 지원자만 긴장하는 것이 아니다. 면접관도 제한된 시간 안에 무엇을 물어볼지 정해야 하고, 답변을 어떤 기준으로 평가할지도 미리 생각해야 한다. 준비가 부족하면 지원자마다 다른 질문을 하게 되고, 면접이 끝난 뒤에는 느낌에 의존해 판단하기 쉽다.
특히 실무자가 처음 면접에 참여하면 질문을 만드는 과정부터 막막할 수 있다. 지원자의 경험을 확인하고 싶어도 질문이 너무 넓거나, 이력서에 적힌 내용을 다시 묻는 데 그치는 경우가 있다. 답변을 들은 뒤에도 무엇이 좋은 답변인지 기준이 없으면 면접관끼리 의견이 달라질 수 있다.
이번에는 사무직 경력사원 채용을 가정하고 AI에게 면접 질문과 평가 기준을 만들어 달라고 요청했다. 업무는 보고서 작성, 여러 부서와의 일정 조정, 고객 요청 대응이 중심이라고 설명했다. AI가 만든 질문이 실제 면접에 쓸 수 있는지, 평가 기준이 지원자를 공정하게 비교하는 데 도움이 되는지 살펴봤다.
기본 질문은 빠르게 만들었지만 익숙한 내용이 많았다
먼저 AI에게 직무와 주요 업무, 필요한 능력을 설명하고 15개의 면접 질문을 만들어 달라고 요청했다. 단순한 자기소개나 장단점보다 실제 경험을 확인할 수 있는 질문을 중심으로 구성해 달라고 했다.
AI는 업무 우선순위를 정한 경험, 여러 부서와 의견이 달랐던 상황, 고객 불만을 해결한 사례, 보고서를 작성할 때 중요하게 보는 점 등을 질문으로 제안했다. 지원자가 이전 회사에서 어떤 행동을 했고 결과가 어땠는지 확인하는 흐름도 함께 넣었다.
질문을 처음부터 직접 만드는 것과 비교하면 준비 시간이 크게 줄었다. 면접에서 확인해야 할 영역도 비교적 고르게 나왔다. 업무 처리, 의사소통, 문제 해결, 협업, 실수 대응처럼 빠뜨리기 쉬운 내용을 한눈에 볼 수 있었다.
하지만 질문을 자세히 읽어 보니 채용 관련 자료에서 자주 볼 수 있는 익숙한 표현이 많았다. “어려운 문제를 해결한 경험을 말해 주세요”, “팀원과 갈등이 있었을 때 어떻게 대처했나요?” 같은 질문은 어느 직무에도 사용할 수 있었다.
이런 질문은 지원자의 일반적인 태도를 확인하는 데는 도움이 되지만, 실제 업무 능력을 구체적으로 판단하기는 어려웠다. 지원자가 준비한 모범 답변을 말해도 맞는지 확인하기 어렵고, 답변 내용이 직무와 직접 연결되지 않을 수도 있었다.
그래서 일반적인 질문을 실제 업무 상황에 맞게 수정했다. 예를 들어 갈등 경험을 묻는 대신 “마감일이 같은 두 부서가 자신의 요청을 먼저 처리해 달라고 할 때 어떤 기준으로 순서를 정하겠습니까?”라고 바꿨다.
보고서 작성 능력을 확인하는 질문도 구체화했다. 단순히 보고서를 잘 쓰는 방법을 묻는 대신 “상사가 결론을 먼저 보고 싶어 하지만 자료가 아직 충분하지 않을 때 보고서를 어떻게 구성하겠습니까?”라고 질문했다.
AI가 만든 15개 질문 가운데 그대로 사용할 수 있다고 판단한 것은 5개 정도였다. 7개는 직무 상황을 넣어 수정했고, 나머지 3개는 다른 질문과 내용이 겹치거나 실제 능력을 확인하기 어려워 제외했다.
평가 기준은 편리했지만 좋은 답변의 모습이 너무 넓었다
다음에는 각 질문에 대한 평가 기준을 만들어 달라고 요청했다. 면접관이 지원자의 답변을 듣고 좋음, 보통, 부족으로 구분할 수 있도록 설명해 달라고 했다.
AI는 문제를 정확히 이해했는지, 구체적인 행동을 설명했는지, 결과를 말했는지, 경험에서 배운 점이 있는지를 주요 기준으로 제시했다. 단순히 “열심히 했다”는 답변보다 상황과 행동, 결과가 분명한 답변을 높게 평가하도록 정리했다.
평가 기준이 있으니 면접관이 개인적인 느낌만으로 판단하는 일을 줄일 수 있었다. 답변이 유창하다는 이유만으로 높은 점수를 주거나, 말투가 조용하다는 이유로 낮게 평가하는 문제를 막는 데도 도움이 될 수 있었다.
그러나 기준이 너무 넓다는 문제가 있었다. AI는 대부분의 질문에 ‘구체적인 사례를 제시함’, ‘논리적으로 설명함’, ‘긍정적인 결과를 만듦’이라는 비슷한 기준을 사용했다. 질문은 다르지만 평가 내용은 거의 반복됐다.
예를 들어 고객 불만 대응 질문에서는 단순히 결과가 좋았는지만 볼 수 없다. 고객의 요구가 회사 기준에 맞는지 확인했는지, 불가능한 요청을 무조건 받아들이지 않았는지, 필요한 경우 담당자에게 빠르게 알렸는지도 중요하다.
업무 우선순위 질문에서는 지원자가 자신만의 기준을 가지고 있는지 확인해야 했다. 요청자의 직급만 보고 순서를 정하지는 않는지, 마감일과 다른 사람에게 미치는 영향을 함께 고려하는지, 상황이 바뀌면 순서를 다시 조정하는지를 평가해야 했다.
AI는 보기 좋은 평가표를 만들어 줬지만, 실제 업무에서 중요한 행동까지 자동으로 알아내지는 못했다. 직무를 설명했더라도 회사가 어떤 방식으로 일하는지, 어떤 실수가 자주 발생하는지는 알 수 없기 때문이다.
그래서 각 질문마다 꼭 들어야 할 내용을 따로 정리했다. 좋은 답변에서 기대하는 행동, 주의해서 들어야 할 표현, 추가 질문이 필요한 부분을 나눴다. 단순히 점수만 매기는 것보다 지원자의 답변에서 무엇을 확인해야 하는지가 훨씬 분명해졌다.
실제 활용하려면 질문의 공정성과 위험한 표현을 다시 확인해야 했다
AI가 만든 면접 질문을 실제 채용에 활용하려면 내용의 적절성도 다시 살펴봐야 했다. 지원자의 능력과 관계없는 개인적인 정보를 묻는 질문이 포함될 가능성이 있기 때문이다.
이번 결과에는 나이, 결혼, 가족 계획처럼 명백하게 부적절한 질문은 없었다. 하지만 “야근이 잦은 상황에서도 업무를 수행할 수 있습니까?”라는 질문이 들어 있었다. 회사 상황을 확인하려는 의도일 수 있지만, 지원자에게 무리한 근무를 당연하게 받아들이도록 요구하는 표현처럼 들릴 수 있었다.
이를 “예정에 없던 긴급 업무가 발생했을 때 기존 일정과 새 업무를 어떻게 조정하겠습니까?”로 수정했다. 근무 시간 자체보다 갑작스러운 상황에 대응하는 판단과 의사소통을 확인하는 방향이 더 적절하다고 봤다.
“우리 조직 문화와 잘 맞을 것 같은 이유를 말해 달라”는 질문도 제외했다. 조직에 잘 맞는 사람이라는 기준이 면접관마다 달라 지원자의 능력보다 성격이나 말투를 평가할 가능성이 있었기 때문이다. 대신 여러 방식으로 일하는 동료와 협업한 경험을 묻는 질문으로 바꿨다.
AI가 만든 평가 기준에도 주의가 필요했다. 자신감 있는 말투, 적극적인 태도, 빠른 답변을 좋은 모습으로 보는 내용이 일부 있었다. 그러나 말이 빠르고 표현이 능숙하다고 해서 실제 업무 능력이 높은 것은 아니다. 생각할 시간을 가진 뒤 정확하게 답하는 지원자가 더 적합할 수도 있다.
최종 면접표에서는 말투나 인상보다 답변의 구체성, 판단 기준, 실제 행동을 중심으로 평가하도록 수정했다. 모든 지원자에게 공통으로 물어볼 핵심 질문도 정했다. 그래야 지원자별로 질문 난이도가 달라지는 문제를 줄일 수 있다.
또한 AI가 제안한 질문을 바로 사용하는 대신 채용 담당자와 실제 업무 담당자가 함께 검토했다. 질문이 해당 직무와 관련 있는지, 지원자가 답할 수 있을 만큼 분명한지, 평가 기준이 면접관마다 다르게 해석될 여지가 없는지 확인했다.
지원자의 이력서나 개인정보를 AI에 입력할 때는 보안에도 주의해야 한다. 이름과 연락처, 이전 회사의 민감한 정보는 제외하고 필요한 경험만 간단히 바꿔 입력하는 편이 안전하다. 회사에서 허용한 도구와 기준이 있다면 이를 먼저 따라야 한다.
이번 실험에서 AI가 만든 질문 15개 중 그대로 사용한 것은 5개, 수정한 것은 7개, 제외한 것은 3개였다. 평가 기준은 기본 틀로는 도움이 됐지만 대부분 직무에 맞게 다시 작성해야 했다.
AI는 면접 질문과 평가표를 처음부터 만드는 부담을 줄여 줬다. 확인해야 할 능력을 빠르게 나누고 여러 질문 후보를 제시하는 데는 분명 유용했다.
하지만 AI가 만든 질문이 채용의 공정성과 정확성을 보장하는 것은 아니다. 일반적인 질문을 실제 업무 상황에 맞게 바꾸고, 직무와 관계없는 기준이 들어 있지 않은지 확인해야 한다. 평가 기준도 말투나 인상보다 지원자의 행동과 판단을 볼 수 있도록 수정할 필요가 있다.
AI에는 질문 후보와 평가표의 기본 구조를 맡기고, 사람은 직무에 필요한 능력과 회사의 실제 업무 방식, 지원자에게 공정한 질문인지를 최종 검토하는 방식이 가장 현실적이다. 그렇게 활용해야 AI가 채용 판단을 대신하는 것이 아니라 더 나은 면접을 준비하도록 돕는 도구가 될 수 있다.