연구 방법을 발표할 때는 먼저 세 장으로 나누어 보세요. 첫 장은 연구 설계와 표본, 둘째 장은 진행 절차, 셋째 장은 측정과 분석을 설명합니다. 결과를 해석하는 데 필요한 조건은 본문에 남기고, 정확한 지시문과 상세 기록은 보충 슬라이드에 둡니다. 논문의 연구 방법 부분을 작은 글자로 줄여 붙일 필요는 없습니다.
출발점은 연구 계획서와 실제 수행 기록입니다. 그 내용을 정리해 교육·연구 발표용 슬라이드 초안으로 만들 수 있습니다. 정돈된 레이아웃이 미완료 연구를 완료된 것처럼 보이게 하거나, 근거보다 강한 결론을 전달해서는 안 됩니다.
연구 방법에서 무엇을 설명할지 정하기
세부 사항이 모두 맞더라도 연구의 논리가 전달되는 것은 아닙니다. 청중은 질문에 답하기 위해 누구를 대상으로 무엇을 비교했는지, 어떤 절차를 거쳤는지, 수집한 정보를 어떻게 판단으로 연결했는지 이해해야 합니다.
연구 계획 발표라면 앞으로 할 일과 그 이유를 설명합니다. 완료한 연구라면 계획에서 달라진 사항까지 포함해 실제 수행한 내용을 보여 줍니다. 일부가 진행 중일 때는 그 범위를 밝혀야 합니다. 예정된 절차와 완료한 절차를 구분 없이 섞지 마세요.
절차는 ‘무엇을 했는가’를, 방법을 택한 이유는 ‘왜 그렇게 했는가’를 설명합니다. 예를 들어 화면 두 가지를 비교하면서 한 사람에게 한 버전만 보여 주는 이유는 첫 화면에서 배운 내용이 두 번째 화면 사용에 영향을 주지 않도록 하기 위해서입니다. 절차와 이유를 짧게 연결하면 연구자의 판단이 드러납니다.
하나의 연구 사례로 세 장 구성하기
대학 도서관 예약 도구를 다루는 가상의 학생 연구를 예로 들겠습니다. 연구 질문은 ‘메뉴 이름을 명확하게 바꾸면 1학년 학생이 도움 없이 예약을 완료하기 쉬워지는가?’입니다. 시제품 두 개의 공간·날짜·절차는 같고 메뉴 이름만 다릅니다.
한 강좌에서 자원자 30명을 모집할 계획이었지만 마감일까지 24명이 참여했습니다. 컴퓨터를 이용해 12명씩 무작위 배정했고, 각 참여자는 한 버전만 사용했습니다. 24명 모두 세션에 참여했으며 배정 이후 제외한 사람은 없었습니다.
모두 같은 종류의 노트북으로 동일한 가상 예약 과제를 수행합니다. 제한 시간은 6분이고 지시문도 같으며 힌트는 제공하지 않습니다. 성공은 제한 시간 안에 도움 없이 지정한 공간·날짜·시간의 예약 확인 화면에 도달한 것으로 정의합니다.
첫째 장: 연구 설계와 표본 보여 주기
제목은 ‘두 가지 메뉴 이름으로 같은 예약 과제 비교’로 정합니다. 도식은 ‘참여자 24명 → 각 12명인 두 집단’으로 갈라지면 충분합니다. ‘A집단’, ‘B집단’만 쓰면 청중이 뜻을 기억해야 하므로 ‘기존 메뉴 이름’, ‘수정한 메뉴 이름’이라고 직접 표시하세요.
모집과 배정은 다릅니다. 이 예시는 한 강좌의 자원자를 모집했으며 대학 전체에서 무작위로 뽑은 표본이 아닙니다. 두 집단에 무작위로 배정했다고 해서 참여자들이 대학 전체를 대표하게 되는 것은 아닙니다.
연구 질문: 명확한 메뉴 이름이 도움 없는 예약 완료에 영향을 주는가? 대상: 한 강좌에서 참여한 1학년 학생 24명. 배정: 12명씩 두 집단에 무작위 배정하고 각자 한 버전만 사용. 공통 조건: 선택 가능한 공간과 시간, 과제, 기기 종류, 제한 시간.
발표에서는 전문 용어를 더 늘리기보다 이 비교 방식을 택한 이유를 설명하세요. 사전 이용 경험을 측정했고 해석에 중요하다면 보여 줍니다. 하지만 기록하지도 않은 경험을 두 집단에서 일치시켰다고 덧붙이면 안 됩니다.
둘째 장: 진행 절차를 시간순으로 보여 주기
‘과제 하나, 6분, 힌트 없음’이라는 제목 아래 지시문 읽기, 배정된 화면 열기, 예약 시도, 성공 또는 시간 초과로 종료하는 과정을 그립니다. 종료 규칙을 보여 주면 참여자마다 다른 시간을 준 것이 아님을 알 수 있습니다.
연습 여부, 타이머 시작 시점, 연구자의 개입은 결과에 영향을 줍니다. 이 예시에는 연습 과제가 없습니다. 지시문을 읽은 뒤 시제품 화면이 나타나는 순간부터 시간을 잽니다. 지시문을 읽는 시간은 조작 시간에 포함하지 않았다는 점도 분명히 합니다.
1. 공통 지시문을 읽는다. 2. 배정된 시제품을 열고 시간을 잰다. 3. 힌트 없이 지정한 예약을 수행한다. 4. 올바른 예약 확인 화면에 도달하거나 6분이 지나면 종료한다. 모든 참여자의 성공 여부와 화면 이동을 기록한다.
모든 클릭을 스크린샷으로 나열할 필요는 없습니다. 조건과 순서를 설명하는 데는 짧은 타임라인이 더 읽기 쉬울 수 있습니다. 실제 시제품과 지시문은 질문이 나왔을 때 확인할 수 있도록 보충 슬라이드에 둡니다.
셋째 장: 측정 항목과 분석 연결하기
제목은 ‘도움 없는 완료율을 먼저, 잘못 선택한 메뉴 횟수를 다음으로 비교’로 정합니다. 막연하게 ‘사용성을 측정했다’고 쓰지 말고 무엇을 우선 판단할지 정의하세요.
이 예시의 주요 지표는 각 집단의 성공 인원을 배정된 12명으로 나눈 값입니다. 두 집단의 차이는 퍼센트포인트로 표시합니다. 시간 초과는 관측하지 못한 결측값이 아니라, 정의에 따라 관측한 미완료입니다.
보조 지표로는 예약에 필요한 경로에 속하지 않는 메뉴를 선택한 횟수를 셉니다. 같은 잘못된 선택을 반복해도 매번 한 번으로 세는 등 규칙을 명시해야 합니다. 기록 영상에는 메뉴 이름이 보이므로 행동을 분류하는 사람은 어느 버전인지 알 수 있습니다. 이를 평가자가 조건을 모르는 ‘눈가림’ 방식이라고 부르면 안 됩니다.
주요 지표: 힌트 없이 6분 안에 올바른 예약을 완료한 비율. 각 집단의 성공 인원 ÷ 배정된 12명을 계산하고 집단 간 차이를 퍼센트포인트로 제시한다. 보조 지표: 참여자별 잘못된 메뉴 선택 횟수. 같은 선택의 반복도 센다. 참여자 흐름: 24명 배정, 24개 세션 진행, 배정 후 제외 없음.
엄밀해 보이려는 목적으로 통계 검정 이름만 추가하지 마세요. 실제로 검정을 썼다면 비교 대상, 가정, 불확실성을 보충 자료에서 설명할 수 있어야 합니다. 이 예시는 기술통계 수준의 비교 방법을 설명할 뿐 결과, 신뢰구간, 통계적 유의성을 만들어 내지 않습니다.
계획과 실제 수행 결과 구분하기
계획한 30명과 실제 참여한 24명을 애매하게 섞지 마세요. 완료한 연구의 설계도에는 24명을 쓰고, 원래 목표가 30명이었다는 사실과 미달 이유를 모집 기록에 근거해 덧붙입니다.
연구 계획 단계라면 ‘30명을 모집해 15명씩 배정할 예정’이라고 씁니다. 아직 진행하지 않았는데 24명이 참여했고 제외가 없었다는 완료형 흐름도를 사용하면 안 됩니다.
중간에 지시문을 바꿨다면 언제 누구에게 적용했는지 밝힙니다. 녹화가 실패했을 때도 보조 행동 지표의 결측과 예약 성공 여부 자체를 모르는 상황은 구분해야 합니다. 한 측정값이 없다는 이유만으로 해당 참여자의 모든 데이터를 조용히 빼지 마세요.
재현과 확인에 필요한 내용을 보충 슬라이드로 정리하기
보충 자료는 모든 문서를 쌓아 두는 곳이 아닙니다. 연구의 판단 근거를 설명할 때 필요한 기록을 바로 찾을 수 있도록 정리하세요.
- 모집과 배정: 참여 조건, 모집 기간, 참여자 흐름, 배정 절차.
- 과제와 자료: 실제 지시문, 두 시제품, 측정 시작·종료 조건.
- 측정과 분류: 잘못된 메뉴 선택의 정의, 반복 선택 처리, 결측·제외 기준.
- 분석: 계획한 비교, 분모, 연구 시작 이후 변경 사항.
참여자를 식별할 수 있는 기록을 공개 슬라이드에 넣을 필요는 없습니다. 관련 동의나 심의 절차는 실제로 이행한 내용을 설명하고, 접근을 제한해야 하는 기록은 적절한 저장소에 보관합니다.
이 방법이 비교하는 것은 참여한 사람들이 한 과제에서 두 메뉴 이름을 사용했을 때의 차이입니다. 장기 사용성, 도서관의 모든 업무, 전체 학생에게 나타날 효과까지 보여 주지는 않습니다. 결과를 제시하기 전에 청중이 이 범위를 알 수 있게 구성하세요.
