AI에게 업무용 설문 문항을 만들어 달라고 해봤더니, 짧은 시간 안에 질문의 기본 틀을 만드는 데는 도움이 됐지만 응답을 특정 방향으로 끌고 가는 문장과 비슷한 질문이 반복되는 문제가 있었다.
회사에서는 생각보다 설문을 만들 일이 많다. 사내 교육이 도움이 됐는지 확인하거나, 새로운 업무 방식에 대한 직원 의견을 듣고, 고객 만족도를 조사하기도 한다. 간단한 설문처럼 보여도 실제로 문항을 만들기 시작하면 어떤 질문을 해야 하는지 고민하게 된다.
특히 질문을 만든 사람은 이미 조사 목적을 알고 있기 때문에 자신도 모르게 원하는 답을 유도할 수 있다. 비슷한 내용을 표현만 바꿔 여러 번 물을 수도 있고, 회사에서 자주 사용하는 표현을 그대로 넣었다가 응답자가 질문을 이해하지 못하는 경우도 있다.
이번에는 ‘새로운 사내 업무 관리 방식에 대한 직원 의견 조사’를 주제로 AI에게 설문 문항 20개를 만들어 달라고 요청했다. 이후 문항을 하나씩 읽으면서 특정 답변을 유도하는 질문이 있는지, 내용이 겹치는 질문은 없는지, 처음 보는 사람도 쉽게 이해할 수 있는지를 살펴봤다.
문항은 빠르게 만들어졌지만 원하는 답을 유도하는 질문이 있었다
먼저 AI에게 설문의 목적과 대상을 알려줬다. 최근 팀에서 새로운 업무 관리 방식을 시험하고 있으며, 실제로 업무가 편해졌는지와 불편한 점이 무엇인지 확인하고 싶다고 설명했다. 응답자는 해당 방식을 약 한 달 동안 사용한 직원들이라고 덧붙였다.
AI는 만족도, 사용 편의성, 업무 시간 변화, 협업, 불편 사항, 앞으로의 사용 의향 등을 묻는 20개의 질문을 빠르게 만들었다. 질문의 범위도 생각보다 다양했다. 혼자 만들었다면 놓쳤을 만한 교육 필요 여부나 개선 의견에 관한 질문도 포함돼 있었다.
처음에는 그대로 사용해도 될 것처럼 보였다. 하지만 문장을 자세히 읽으니 답을 특정 방향으로 끌고 가는 질문이 몇 개 있었다.
예를 들어 “새로운 업무 방식이 기존보다 효율적이라고 생각하십니까?”라는 질문이 있었다. 이 문장은 새로운 방식이 효율적이라는 전제를 어느 정도 포함하고 있었다. 실제로는 더 불편해졌다고 생각하는 직원도 있을 수 있는데, 질문 자체가 긍정적인 답을 기대하는 것처럼 느껴졌다.
그래서 “새로운 업무 방식 도입 후 업무 처리에는 어떤 변화가 있었습니까?”로 수정했다. 선택지도 ‘훨씬 편해졌다’부터 ‘훨씬 불편해졌다’까지 양쪽 방향을 비슷하게 넣었다.
“새로운 방식 덕분에 협업이 원활해졌다고 느끼십니까?”라는 질문도 비슷했다. ‘덕분에’라는 표현이 긍정적인 결과가 있었다는 인상을 줄 수 있었다. 이를 “새로운 방식 도입 전과 비교했을 때 협업은 어떻게 달라졌습니까?”로 바꿨다.
AI는 조사 목적이 ‘새로운 방식의 효과 확인’이라고 설명하자 효과가 있다는 방향으로 질문을 만드는 경향이 있었다. 설문의 목적을 전달하는 것은 필요하지만, 원하는 결과까지 암시하면 질문도 그 방향으로 기울 수 있다는 점을 알 수 있었다.
반대로 부정적인 질문도 있었다. “새로운 방식에서 가장 불편한 점은 무엇입니까?”라는 질문은 모든 사람이 불편을 느낀다는 전제가 들어 있었다. 그래서 “사용하면서 불편한 점이 있었다면 무엇입니까?”로 바꾸고, ‘특별히 불편한 점 없음’도 선택할 수 있게 했다.
AI가 만든 20개 문항 중 표현을 그대로 사용할 수 있다고 본 질문은 절반 정도였다. 나머지는 질문의 방향을 중립적으로 바꾸거나 선택지를 다시 정리해야 했다.
질문 수는 많았지만 같은 내용을 여러 번 묻고 있었다
두 번째로 확인한 것은 중복이었다. 20개라는 숫자만 보면 여러 주제를 충분히 다루는 것처럼 보였지만 비슷한 질문을 묶어 보니 실제 내용은 생각보다 적었다.
AI가 만든 문항에는 “새로운 방식은 사용하기 쉬웠습니까?”, “업무 과정에서 쉽게 적응할 수 있었습니까?”, “사용 방법을 이해하는 데 어려움이 없었습니까?”라는 질문이 있었다. 표현은 다르지만 모두 사용하기 쉬웠는지를 묻고 있었다.
업무 효율에 관한 문항도 반복됐다. 업무 시간이 줄었는지, 업무 속도가 빨라졌는지, 이전보다 효율적으로 일할 수 있었는지를 각각 질문했다. 조사 목적에 따라 조금씩 차이가 있을 수 있지만 응답자 입장에서는 같은 질문을 계속 받는 느낌이 들 수 있었다.
비슷한 질문이 많으면 설문이 길어지고 응답자가 지칠 수 있다. 뒤로 갈수록 질문을 꼼꼼하게 읽지 않고 비슷한 답을 반복해서 선택할 가능성도 있다.
그래서 질문을 목적별로 다시 묶었다. 사용 편의성, 업무 변화, 협업 변화, 문제점, 계속 사용할 의향의 다섯 영역으로 나눴다. 같은 영역에서 비슷한 질문이 여러 개 나오면 가장 이해하기 쉬운 하나만 남겼다.
20개 문항은 중복을 정리한 뒤 13개 정도로 줄었다. 그런데 실제로 읽어 보니 13개도 조금 많았다. 결과를 어떻게 활용할지를 생각하면서 다시 줄였고 최종적으로 10개 문항을 남겼다.
이 과정에서 설문 문항은 많다고 좋은 것이 아니라는 점을 다시 느꼈다. 질문 하나를 추가할 때마다 ‘이 답을 받으면 실제로 무엇을 판단할 수 있는가’를 생각해야 했다.
예를 들어 새로운 업무 방식을 계속 사용할지 결정하려는 설문이라면 세부 디자인에 대한 질문보다 실제 업무 시간이 달라졌는지, 불편한 절차가 무엇인지, 계속 사용하고 싶은지가 더 중요하다.
AI에게 처음부터 “질문이 서로 겹치지 않도록 만들어 달라”고 요청하니 중복은 조금 줄었다. 이후 만들어진 문항끼리 의미가 비슷한 것을 찾아 하나로 합쳐 달라고 다시 요청하는 방법도 도움이 됐다.
다만 AI가 중복이 아니라고 판단한 질문도 사람이 보기에는 비슷한 경우가 있었다. 최종 문항 수를 정하는 것은 결국 실제 설문 목적을 알고 있는 담당자의 역할이었다.
회사에서 익숙한 표현이 응답자에게는 어려울 수 있었다
마지막으로 확인한 부분은 질문을 쉽게 이해할 수 있는지였다. AI가 만든 문장은 대부분 문법적으로 자연스러웠지만 업무용 설문처럼 보이게 하려다 보니 딱딱한 표현이 들어가기도 했다.
예를 들어 “업무 관리 방식 도입 이후 부서 간 협업 과정의 효율성이 향상되었다고 판단하십니까?”라는 질문이 있었다. 뜻을 이해하지 못할 정도는 아니지만 한 번에 읽고 답하기에는 길었다.
이를 “새로운 방식 도입 후 다른 부서와 일하기가 더 편해졌습니까?”로 바꾸자 질문이 훨씬 짧아졌다. 조사 결과를 분석하기 위해 어려운 표현을 사용할 필요는 없었다.
“업무 진행 상황의 가시성이 향상되었습니까?”라는 표현도 있었다. 회사에서 자료를 자주 작성하는 사람에게는 익숙할 수 있지만 모든 직원이 같은 뜻으로 이해한다고 보기 어려웠다. 그래서 “누가 어떤 일을 하고 있는지 이전보다 쉽게 확인할 수 있었습니까?”로 바꿨다.
한 질문에 두 가지 내용을 동시에 묻는 경우도 있었다. “새로운 방식으로 업무 시간이 줄고 동료와 소통하기 편해졌습니까?”라는 질문이었다. 업무 시간은 줄었지만 소통은 불편해진 사람은 어떻게 답해야 할지 애매하다.
이 문장은 업무 시간 변화와 동료와의 소통을 각각 다른 질문으로 나눴다. 설문에서는 한 문항에 하나의 내용을 묻는 편이 응답하기 쉽고 결과를 해석하기도 편하다.
선택지도 점검이 필요했다. AI는 ‘매우 그렇다, 그렇다, 보통이다, 그렇지 않다, 매우 그렇지 않다’처럼 익숙한 선택지를 자주 제안했다. 만족도를 묻을 때는 사용할 수 있지만 모든 질문에 같은 선택지를 적용하기에는 맞지 않았다.
업무 시간이 얼마나 달라졌는지를 묻는 질문에서는 ‘많이 줄었다, 조금 줄었다, 비슷하다, 조금 늘었다, 많이 늘었다’가 더 자연스러웠다. 계속 사용할 의향은 ‘계속 사용하고 싶다’부터 ‘사용하고 싶지 않다’로 표현하는 편이 질문과 바로 연결됐다.
AI를 활용해 설문을 만들 때 가장 도움이 됐던 방법은 문항 생성과 검토를 따로 요청하는 것이었다. 먼저 질문 후보를 만든 뒤 “답을 유도하는 표현을 찾아 달라”, “내용이 비슷한 질문을 묶어 달라”, “처음 보는 직원도 이해할 수 있게 쉽게 바꿔 달라”고 각각 검토하게 했다.
그 결과 처음 만들어진 20개의 질문은 최종적으로 10개 정도로 줄었다. 유도하는 표현은 중립적으로 수정했고, 비슷한 문항은 합쳤으며, 긴 문장은 짧게 바꿨다.
회사 내부 설문이라면 익명성이나 개인정보에도 신경 써야 한다. 꼭 필요하지 않은 이름이나 구체적인 개인 정보를 받지 않고, 응답 결과가 어떻게 사용되는지도 안내하는 편이 좋다.
AI는 업무용 설문을 처음부터 만드는 시간을 줄이는 데 유용했다. 어떤 주제를 물어볼지 빠르게 정리하고 질문 후보를 많이 만드는 데는 분명 도움이 됐다.
하지만 AI가 만든 설문을 그대로 사용하면 특정 답을 유도하거나 비슷한 질문을 반복하고, 응답자가 이해하기 어려운 표현이 들어갈 수 있다. AI에는 질문 후보를 만드는 일을 맡기고, 사람은 질문이 중립적인지, 하나의 내용만 묻는지, 실제 결과를 활용할 수 있는지를 최종 확인하는 방식이 가장 현실적이다.