| Home | E-Submission | Sitemap | Contact Us
top_img
J Korean Acad Fundam Nurs > Volume 24(3); 2017 > Article
시뮬레이션기반 실습 시 간호학생의 간호사정 및 의사소통 기술에 대한 표준화 환자와 교수자 간의 평가 일치도

Abstract

Purpose

This study was conducted to examine the level of agreement between a standardized patient (SP) and a faculty member in the evaluation of nursing students’assessment and communication skills.

Methods

Participants were 51 third year nursing students in a simulation practice of ‘nursing care for a patient admitted with chest pain’. Using a 30-item checklist and a 16-item communication tool, a SP and faculty member evaluated the students’ assessment and communication skills during the simulation.

Results

The average values for percent agreement and kappa statistic for nursing assessment between the two evaluators were 85.3% and .48 respectively. Twenty of thirty items evaluating assessment skill had above moderate agreement (≥.41) by kappa between the evaluators. Seven of sixteen items evaluating communication and interpersonal skills showed above fair agreement (≥.40) between the two evaluators, which was measured by intraclass correlation coefficient.

Conclusion

The findings show that the evaluation of the SP was consistent with those of the faculty member to a moderate degree. Clear guidelines for evaluating criteria and optimal time and effort for SP training are necessary to increase the reliability of standardized patients as evaluators in simulation-based nursing education.

서 론

1. 연구의 필요성

과거보다 까다로워진 임상실습환경으로 인해 간호학생들의 실습교육은 대부분 관찰교육으로 대치되고 있어 교수자와 간호학생 모두에게 부담감을 주고 있다[1]. 최근 국내 간호교육에서는 이러한 관찰 중심의 임상실습 교육을 보완하고자 간호학생들의 실습교육을 보다 임상상황에 가깝도록 구현하는 시뮬레이션 활용 실습교육이 활발히 적용되고 있다[2]. 대표적인 시뮬레이션 교육 유형으로는 부분실기모형(partial task trainer), 환자모형(patient simulator), 표준화 환자(standardized patient) 등이 있다[3]. 시뮬레이션을 활용한 실습교육은 간호학생이 임상에서 실제 수행하기 어려운 간호수행 사례를 통해 경험할 수 있도록 생리적 반응 및 다양한 질병 상황을 구현해내며 또한 학생들이 안전하면서도 실제와 같은 간호과정을 체험할 수 있도록 도와준다[4]. 시뮬레이션을 활용한 국내 간호교육 연구의 체계적 고찰 결과, 관련지식, 문제해결능력, 학업성취도 등의 인지적 영역, 자기효능감, 대인관계 및 의사소통, 학습만족도, 자신감, 비판적 사고성향, 자기주도성, 팀 효능감 등의 정의적 영역, 간호수행능력, 학습수행평가 등의 심리운동적 영역에서 대부분 긍정적인 학습효과를 보이는 것으로 나타났다[5].
시뮬레이션의 유형 중 모의 환자 또는 표준화 환자를 활용한 시뮬레이션 교육은 1960년대 미국 University of California 의과대학 교수팀을 중심으로 연구 개발되었다[6]. 표준화 환자란 시나리오에 기반이 되는 상황을 정확하게 반복적이고 실제적인 표준화된 연기를 하고[7], 학생들의 수업 중 활동 내용에 대한 수행평가를 하도록 훈련이 된 사람을 의미한다[8]. 표준화된 환자들은 학생들이 반복적으로 실습을 할 수 있게 하며, 시간과 장소에 거의 구애 받지 않고 언제든지 이용이 가능하다는 장점을 갖고 있다[9]. 간호학 분야에서 표준화 환자를 활용한 실습교육은 임상상황과 비슷한 상황에서 대상자의 상태를 객관적으로 모니터 할 수 있고, 또한 의사소통이 가능하기 때문에 간호학생들의 임상현장 적응력과 순발력을 높일 수 있는 것으로 알려져 있다[5].
이러한 시뮬레이션 실습교육을 효과적으로 수행하는데 있어서 가장 중요한 요소 중 하나는 학생의 수행(performance)에 대한 평가(assessment)가 제대로 이루어지고 있는 가이다. 시뮬레이터를 활용하여 학생들의 임상수행능력을 평가할 때는 평가자 신뢰도를 확립하는 것이 무엇보다 중요하다[10]. 시뮬레이션 실습과 같은 수행평가의 특성상 학생들을 그룹으로 나누어 여러 번 평가하게 되므로, 장비 또는 기구 배치와 같은 실습실 환경으로 인한 오차 및 표준화 환자와 평가자에 따른 오차가 발생할 수 있기 때문이다. 이와 같은 오차를 줄이고 평가의 신뢰도를 확보하기 위해서는 많은 변수 중에서 문제점이 있는 부분을 파악하여 지속적으로 개선하는 노력이 필요하다[11].
특히 환자와의 의사소통은 상호작용 형성을 위한 기본적인 요소이며, 효과적인 의사소통기술은 건강간호실무에서 질과 안전을 위해 필수적인 요소이다[12]. 간호교육에서 표준화 환자를 활용한 시뮬레이션 실습교육이 활발해짐에 따라 교수자는 학생의 환자, 동료, 그룹 간 의사소통을 관찰 ․ 평가하며 피드백을 줄 수 있는 환경이 조성되었다[13]. 의사소통기술은 한국간호교육평가원이 제시하고 있는 간호교육 프로그램 학습 성과의 하나이며 시뮬레이션 기반의 통합 실습교육에서 반드시 숙련되어야 하는 간호역량이라 할 수 있다[14]. 표준화 환자를 활용한 시뮬레이션 교육에서 표준화 환자와 간호학생과의 의사소통을 포함한 대면과정이 평가과정의 대부분을 차지하며, 표준화 환자가 평가자로서의 역할도 수행하므로 교수자 평가와의 비교를 통해 임상수행평가의 일치도를 확인해 볼 필요가 있다. 또한 표준화 환자는 의사소통 과정의 당사자로서 간호학생의 표정, 언어, 태도에 따른 평가를 제삼자의 입장에서 평가하는 교수자보다 더 정확하게 평가할 수 있을 것이다. 표준화 환자에 의한 간호 학생의 임상수행능력과 의사소통 기술에 대한 평가 결과는 학생들에게 객관적이고 효과적인 피드백을 제공해 줄 수 있는 자료로 활용될 수 있을 것이다. 따라서 본 연구는 시뮬레이션기반 실습교육에서 표준화 환자를 활용한 임상수행능력과 의사소통기술 평가에 대한 타당성과 신뢰성 평가를 위한 연구로서 시도되었다.

2. 연구 목적

본 연구의 목적은 ‘흉통을 주호소로 입원한 환자 사정’이라는 제목의 시뮬레이션 실습 시 간호대학생의 간호사정 수행능력과 의사소통 기술을 평가함에 있어 교수자와 훈련된 표준화 환자간의 평가가 어느 정도 일치하는지를 확인하기 위함이며 구체적인 목적은 다음과 같다.
  • 간호학생의 간호사정 수행능력에 대한 교수자와 표준화 환자간의 평가 일치도를 확인한다.

  • 간호학생의 의사소통 기술에 대한 교수자와 표준화 환자간의 평가 일치도를 확인한다.

연구 방법

1. 연구 대상

본 연구의 대상자는 편의 표집에 의해 선택한 서울소재 일개 간호대학에 재학 중인 3학년 학생 51명이다. 총 103명의 3학년 학생 중 안내문을 이용한 공고를 통해 연구의 목적을 이해하고, 자발적인 참여의사를 보이며, 선정기준에 부합한 자로 하였다. 대상자의 선정기준은 의사소통이 가능하며, 연구기간 동안 시뮬레이션기반 교육을 최소 1회 이상 경험하였으며, 해당 시나리오(흉통호소 환자 사정)와 관련된 이론 교과목(성인간호학 중 심혈관계 질환 간호)을 이수한 자이다.
표본의 크기는 G*Power 3.1.9 프로그램[15]의 two-tailed t-test를 이용하여 유의수준 0.05, 효과크기 .6, 검정력을 .95로 산출한 결과[2] 최소표본 수 39명이 제시되어 본 연구의 대상자 수는 이를 충족하였다. 처음 지원한 대상자 수는 56명이었으나 연구가 진행되는 동안 참여의사를 철회한 5명을 제외한 총 51명의 자료가 최종 결과분석에 이용되었다.

2. 시뮬레이션 시나리오 및 진행방법

본 연구에 사용된 시뮬레이션 시나리오는 ‘흉통 호소로 입원한 환자 사정’으로 평소 간헐적인 흉통을 호소하던 45세 여자 환자가 정밀 검사를 위해 심혈관 병동에 입원하였다. 연구 대상자는 입원 당일 날 환자의 담당간호사로서 주호소인 흉통 사정, 과거력, 현재력, 신체사정 등을 실시하고 환자의 질문과 반응에 적절히 대응하는 역할을 시행하였다. 본 연구에서 사용된 시뮬레이션 시나리오 및 표준화 환자 훈련을 위한 시나리오 대본은 일개 대학병원에 협심증으로 입원한 실제 환자의 간호력 사례를 근거로 간호학교수 1인과 임상간호 전문가 1인이 개발하였다. 시뮬레이션실습은 전체 오리엔테이션 40분, 학생 1인당 시나리오구동시간 10분, 디브리핑 30분으로 운영되었다.

3. 연구 도구

1) 간호사정 수행평가 체크리스트

교수자와 표준화 환자가 학생의 간호사정 수행능력을 평가하기 위해 사용한 도구는 일개 3차 의료기관에서 사용하고 있는 간호력(nursing history) 양식에 근거하여 시나리오의 내용과 흐름에 맞추어 임상간호 전문가 2명, 해당 교과목 교수 1명이 개발하였다. 체크리스트는 연구 대상자의 지식수준 및 임상 실습 경험을 고려하고 10분의 시뮬레이션 구동시간동안 수행할 수 있는 내용을 중심으로 구성되었다. 체크리스트 항목은 총 31개로 자신 소개, 대상자 확인, 흉통의 발생시기, 지속시간, 중증도, 양상, 완화요인, 악화요인, 대상자의 과거력, 현재 질환 및 복용약물, 가족력 등을 사정하고 활력징후 측정, 심음, 폐음, 장음 청진 등 간단한 신체사정을 실시하는 것으로 구성되었다. 개발된 체크리스트는 도구개발에 참여하지 않은 성인간호학 전공교수 1인, 해당 분야의 임상경력 5년 이상인 간호사 2인의 전문가 집단을 이용하여 도구의 내용타당도(Content Validity Index, CVI) 검증을 시행하였다. 31개의 항목 중 1개의 항목(청색증 사정)을 제외한 총 30개의 항목이 CVI .8 이상으로 확인되어 최종 선정되었다. 각 항목은 평가의 정확성과 내용분석의 편의성을 위해 ‘수행’과 ‘미수행’의 이분척도로 평가하였다.

2) 의사소통 기술

의사소통 기술은 Yodkowsky 등[16]이 개발하고 Park과 Jeong [17]이 한국어로 번안 및 수정 ․ 보완한 것으로써, 환자 간호시 간호사의 전문직으로서의 의사소통 및 대인관계 기술을 사정하기 위한 도구이다. 이 도구는 Likert 5점 척도로 ‘매우 그렇지 않다’ 1점에서 ‘매우 그렇다’ 5점으로 구성되어 있으며 점수가 높을수록 의사소통 기술이 높다는 것을 의미한다. 문항은 총 16개로 2개의 하부영역인 의사소통(communication) 7문항, 대인관계 기술(interpersonal skill) 9문항으로 구성되어 있다. Park과 Jeong [17]의 연구에서 Cronbach’s α는 .96이었고 본 연구에서 Cronbach’s α는 .89였다.

3. 자료 수집

1) 표준화 환자 훈련

본 연구에서 환자 역할 및 학생 평가에 참여한 표준화 환자 1인은 서울 ․ 경기 지역 의과대학 표준화 환자 콘소시엄[18]에 등록되어 표준화 환자 역할에 대한 체계적인 교육을 받고 3년 동안 환자역할을 수행한 경력이 있는 전문연기자이다. 본 연구를 위해 1일 2시간씩 2회에 걸쳐 총 4시간의 훈련과정이 있었다. 일차 훈련에서는 본 연구의 목적, 진행방법, 시나리오 개요, 평가도구 설명 등 전반적인 사항에 대한 교육을 시행하고 표준화 환자용 대본을 다음 훈련 시까지 암기해 오도록 하였다. 이차 훈련에서는 일차 훈련 시 미흡했던 부분에 대한 연기훈련을 실시하고 시나리오대로 힘없고 아픈 표정, 학생질문에 단답형으로 대답할지 또는 어느 범위까지 정보를 제공할 것인지에 대한 구체적인 훈련을 시행하였다. 또한 시나리오에 없는 내용을 학생이 질문할 경우 대응요령 등 여러 상황에 대비할 수 있도록 반복 훈련하였다. 또한 학생 평가를 위해 자기소개를 하였는가 등의 언어 및 행동평가에 대한 구체적인 가이드라인을 다시 한 번 교육시키고, 의사소통 도구를 이용한 평가 시에는 표준화 환자가 느끼는 주관적인 평가를 하도록 교육을 실시하였다.

2) 예비조사

시뮬레이션 시나리오가 주어진 시간 내에 실행가능한지를 검토하고, 표준화 환자가 시나리오대로 연기하고 평가지침에 따른 평가여부를 확인하며, 시나리오 구동 중 학생들로부터의 예기치 못한 질문이나 상황에 준비하기 위해 본 연구에 앞서 예비조사를 실시하였다. 예비조사는 본 연구에 참여하지 않는 4학년 학생 5명을 대상으로 ‘흉통 호소로 입원한 환자 사정’ 시뮬레이션을 실시하고 비디오로 녹화한 다음 표준화 환자와 함께 비디오를 시청하면서 표준화 환자가 시나리오나 평가에 대해 정확히 수행하지 못한 부분들에 대해 논의하고 재교육을 실시하였다.

3) 자료 수집

본 연구는 연구자가 소속되어 있는 기관의 생명윤리심의위원회의 승인을 받은 후 시행하였다(SSWUIRB2013-026). 시뮬레이션실습 및 자료 수집은 2015년 5월 11일부터 15일까지 표준화 환자의 피로도를 고려하여 1일 10~11명씩, 총 5일에 걸쳐 시행되었다. 학생들의 실습일자는 무작위로 배정되었다.
시뮬레이션실습은 일반 병동의 1인실과 매우 유사하게 세팅된 실습실에서 표준화 환자가 침대에 누워있는 상태에서 시작하였다. 당일 실습을 하는 학생 전체에게 오리엔테이션을 실시한 다음 학생 1인씩 10분 동안 환자의 통증과 간호력 사정, 신체사정을 실시한 다음 실습대기 학생들과의 접촉을 방지하기 위해 처음 오리엔테이션을 받고 대기했던 장소가 아닌 다른 디브리핑실로 이동하였다. 교수자는 시뮬레이션실습 과정을 one-way mirror를 통해 관찰할 수 있는 별도의 통제실에서 실습의 시작과 끝을 알려주는 것 외에는 실습과정에 관여하지 않고 관찰만 시행하였다.
학생 1인의 시뮬레이션실습이 끝나면 표준화 환자는 2분 이내에 즉시 교수자는 실습동안에 같은 양식의 간호사정 체크리스트와 의사소통기술 평가지를 가지고 학생평가를 실시하였다. 표준화 환자는 실습실 침대위에서, 교수자는 통제실에서 상호 토의나 의견교환 없이 각자의 평가를 실시하였다. 이와 같은 방법으로 당일 10~11명의 실습이 모두 끝날 때까지 자료를 수집하였다.

4. 자료 분석

자료 분석은 IBM SPSS/WIN Statistics 22.0 프로그램 이용하여 다음과 같이 분석하였다. 첫째, 교수자와 표준화 환자간의 간호사정 수행평가 체크리스트로 평가한 이분 척도 항목별 일치도를 확인하기 위해 2×2 테이블을 이용하여 정확히 일치하는 평가 쌍과 일치하지 않는 평가한 등을 백분율로 나타내어 퍼센트 일치도(percent agreement)를 계산하였다. 또 따른 방법으로 평가자간의 일치도를 분석하기 위해 카파 일치도(kappa measurement of agreement)값과 95% 신뢰 구간을 구하였다. Kappa 값의 해석은 0.81~1.00인 경우 ‘거의 완벽하게 일치’(almost perfect agreement), 0.61~0.80인 경우 ‘높은 수준의 일치’(substantial agreement), 0.41~0.60은 ‘보통수준의 일치’(moderate agreement), 0.21~0.40의 경우 ‘상당한 일치’(fair agreement), 0.01~0.20의 경우 ‘약간 일치’ (slight agreement), <0인 경우 ‘일치 기회 이하’(less than chance agreement)로 해석한다[19].
둘째, 의사소통과 대인관계 기술에 대한 문항들은 각 평가자들의 항목별 평균점수를 구하고, 교수자와 표준화 환자 평가 사이의 신뢰도를 측정하기 위해 급내상관계수(Intraclass Correlation Coefficient, ICC)와 95% 신뢰구간을 분석하였다. ICC는 서열척도로 측정된 값에서 평가자 간의 신뢰도를 측정하는 대표적인 방법이다[20].

연구 결과

1. 간호사정 수행평가 체크리스트 항목별 교수자와 표준화 환자 간의 평가 일치도

Table 1은 간호사정 수행평가 체크리스트 30개 항목에 대한 교수자와 표준화 환자 간의 평가 일치도를 확인하기 위한 퍼센트 일치도 값과 Kappa값, 95% 신뢰구간을 나타낸 것이다. 30개 항목의 평균 퍼센트 일치도는 85.3%이며, 각 항목별 퍼센트 일치도의 범위는 41.2~100.0%였다. 환자에게 자신을 소개하는 것과 혈압 측정 여부는 교수자와 표준화 환자 간에 100% 일치하였고 흡연, 당뇨 여부를 묻는 항목과 호흡음을 측정하지 않은 것에 대한 일치도도 95% 이상이었다. 현재 복용중인 약물이 무엇인지 묻는 항목에 대한 퍼센트 일치도가 27.4%로 가장 낮았다.
체크리스트 30개 항목의 평균 kappa값은 .48이었다. 자신 소개와 혈압 측정의 kappa값이 1.00, 과거 수술명을 묻는 항목은 .84, 키와 몸무게 측정 여부는 .81로 총 4개 항목이 거의 완벽하게 일치하였다. 높은 수준의 일치도를 보인 항목은 흡연 여부 .79, 직업 .74, 과거 수술 시기 .73, 통증과 동반된 증상 .69, 알러지 .68, 통증의 정도 .66, 호흡음 청진 .66으로 총 7개 항목에서 나타났다. 통증 부위, 고혈압과 당뇨 여부 확인 등 4개의 항목에서는 일치 기회 이하인 것으로 나타났다.

2. 의사소통 기술에 대한 교수자와 표준화 환자 간의 평가 일치도

의사소통 기술에 대한 교수자와 표준화 환자 간의 일치도는 평가자간 신뢰도 검정인 ICC와 평균비교로 분석하였다. ICC는 0.75~1.00인 경우 매우 신뢰(excellent), 0.60~0.74인 경우 중증도 신뢰(good), 0.40~0.59인 경우 보통(fair), 0.40 미만인 경우 매우 약한 신뢰도(poor)로 분류한다[19]. 학생들의 의사소통 기술에 대한 점수는 전반적으로 표준화 환자가 교수자보다 높게 평가하였다(Tables 2, 3). 시뮬레이션 실습 동안 환자가 인식한 간호사의 의사소통(communication) 영역에서 교수자의 평가 점수가 가장 높은 문항은 ‘간호사는 나에게 모든 것을 정직하고 솔직하게 설명했다’(3.82±0.39)이고, 가장 낮은 문항은 ‘간호사는 나의 의견을 묻고, 나 스스로 결정을 내리도록 해 주었다’(2.16±0.51)였다. 표준화 환자의 평가 점수가 가장 높은 문항은 ‘간호사는 나의 모든 질문에 피하지 않고 대답했다’(3.78±0.46)이고 가장 낮은 문항은 ‘간호사는 나의 의견을 묻고, 나 스스로 결정을 내리도록 해 주었다’(2.94±0.24)였다(Table 2). 또한 ‘간호사는 모든 치료선택 사항에 관하여 나와 상의하였다’는 문항의 ICC가 .84, ‘내가 질문하도록 격려했다’는 .77로 교수자와 표준화 환자의 평가 일치도가 매우 높은 것으로 나타났다. ‘간호사는 내가 치료선택 사항을 이해했는지 확인하였다’ 문항은 .57, ‘내 질문을 피하지 않고 대답해 주었다’는 .47로 보통 수준의 일치도를 나타냈다. 이 외 3개 문항은 .40 미만의 일치도를 보였다(Table 2).
의사소통 기술의 두 번째 하부 요인인 대인관계 기술(interpersonal skill) 영역에서 교수자의 평가 점수가 가장 높은 문항은 ‘간호사는 대화과정동안 친절하게 대해주었다. 나에게 짜증을 내거나 무례하지 않았다.’(3.84±0.37)이고, 가장 낮은 항목은 ‘간호사는 내가 이야기를 하게하며, 내가 이야기하는 동안 나의 말을 중단시키지 않았다’(3.10±0.76)이다. 표준화 환자의 평가 점수가 가장 높은 문항은 ‘간호사는 나를 한 사람으로서 관심을 가져주었고 나의 말을 무시하거나 지루해하지 않았다’(3.98±0.37)이고 가장 낮은 문항은 ‘간호사는 나와 대화를 하는 동안 긍정적인 태도를 보였다’(3.47±0.67)였다(Table 3). 대인관계 기술에 대한 ICC는 ‘간호사는 민감하고 어려운 문제를 선입견없이 조심스럽게 접근했다’가 .67로 가장 높았다. ‘간호사는 병실에 들어올 때 나를 따뜻하게 대해 주었다’ 등 2개 문항이 .42~.49로 보통 수준의 일치도를 보였다. 나머지 6개 문항은 ICC값이 .40 미만으로 나타났다(Table 3).

논 의

표준화 환자는 실제 환자처럼 연기하도록 훈련된 일반 사람으로서 의학교육에서 도입되었지만 이제 간호학, 치의학, 물리치료학, 영양학 등 다양한 의료분야 교육에서 활용되고 있다[21]. 표준화 환자는 면담, 환자교육, 의사소통능력 훈련 등 교육(teaching)을 목적으로 처음 도입되어 활용되고 있지만 최근 추세는 표준화 환자를 활용하여 졸업생들이 업무를 수행하는데 필요한 자질을 갖추었는지 임상 능력(clinical competency)을 평가(assessment)하는데 중점을 두고 있다[21]. 이런 추세에 맞게 본 연구는 시뮬레이션 실습에서 간호대학생의 간호사정과 의사소통 기술을 평가하기 위해 표준화 환자를 활용할 수 있는 지를 알아보기 위해 학생 평가에 대한 교수자와 표준화 환자간의 평가 일치도를 조사하였다. 연구 결과 간호사정 수행평가를 위한 체크리스트 30개 항목에서 평균 85.3%의 퍼센트 일치도를 보였으며 kappa값은 평균 0.48로 보통 수준의 일치도를 나타냈다. 이는 의대생들을 대상으로 표준화 환자를 이용한 임상수행능력 평가시험에서 교수자와 표준화 환자간의 평가일치도를 조사한 일 연구[8]에서 평균 kappa값이 0.50, 또 다른 연구[22]에서는 0.49인 것과 비슷하였다.
항목별로 단순히 얼마나 많은 쌍이 서로 일치하는가를 나타내는 퍼센트 일치도만으로 평가자간의 일치도를 판단하는 것은 적절하지 않을 수 있다. 이에 대해 일치도 카파는 우연에 의한 일치확률을 고려하면서 두 평가자간의 일치도를 판단하는 데 도움이 된다[23]. 문항에 대한 두 평가자간의 평가가 거의 모두 ‘시행되었다’ 또는 ‘시행되지 않았다’로 일치되게 평가되었을 경우 퍼센트 일치도는 매우 높으나 카파는 오히려 낮은 값을 보일 수 있다[22]. 본 연구 결과에서 나타난 예로 대상자에게 고혈압과 당뇨질환의 유무를 묻는 질문에서 전체 51명의 학생 중 47명 이상이 ‘질문하였다’로 두 평가자가 체크하여 퍼센트 일치도는 92~96%이나 카파일치도는 매우 낮은 값을 보였다. 반면에 퍼센트 일치도와 카파값이 동시에 높게 나온 항목을 일치도가 높은 것으로 해석할 수 있는데, 본 연구에서 간호사정 수행평가 30개 항목 중 13개 항목이 80% 이상의 퍼센트 일치도와 0.61 이상의 카파값으로 매우 높은 수준의 일치도를 보였다. 또한 7개 항목이 70~80% 퍼센트 일치도와 0.40~ 0.60 카파값으로 보통 수준의 일치도를 나타냈다. 문항별 평가 일치도를 분석해보면, 맥박 측정, 통증의 정도와 동반 증상의 사정, 흡연 여부, 직업, 과거에 받았던 수술 항목이 높은 일치도를 보였다. 또한 대상자의 나이 확인, 통증의 시작 시기 운동여부, 알러지 여부, 고지혈증 유무, 과거 수술 받은 시기, 호흡수 측정의 항목에서 보통수준의 일치도를 나타냈다. 이러한 항목들은 연구 대상자가 3학년임을 감안할 때 기본간호학실습과 임상실습경험을 통해 자주 접해 본 신체사정 항목들로 시뮬레이션 상황에서 표준화 환자를 대상으로 충분히 독립적으로 수행 가능한 항목들이었으리라 판단된다.
30개 항목 중에서 10개의 항목이 만족할만한 일치도를 보이지 않았는데 이는 표준화 환자가 30개 항목을 평가하기에 항목의 수가 너무 많은 것으로 사료된다. 의과대학생을 대상으로 한 연구들[8,22]에서는 표준화 환자가 적게는 19개 문항을 많게는 24개의 이분척도 항목을 평가하였다. 또한 표준화 환자를 활용한 의과대학생의 임상수행능력 평가시 스테이션별 시간은 3~20분 범위 안에서 15~17개의 문제수가 적절하다고 제시하였다[21]. 본 연구에서 교수자는 시뮬레이션실습 밖에서 학생들의 수행여부를 관찰하고 바로 평가를 하였으나 표준화 환자는 10분 동안의 연기를 한 다음에 그 내용을 상기하여 평가를 하였다. 표준화 환자가 10분 동안 학생들과 나눈 대화를 토대로 평가하므로, ‘수행’, ‘미수행’의 이분 척도로 구성된 문항이라도 30개 문항은 표준화 환자가 모두 암기하기에 다소 무리가 있는 것으로 사료된다. 따라서 표준화 환자를 간호학생의 수행 능력 평가자로 활용하기 위해서는 표준화 환자가 충분히 이해하고 암기할 수 있는 적절한 수의 항목들로 체크리스트를 구성해야 할 것이다. 또한 카파값이 통계적으로 유의하지 않은 이유 중의 하나는 상대적으로 적은 대상자 수(sample size)때문인 것으로 사료된다. 카파통계에서 p값이나 95% 신뢰도는 sample size에 매우 민감하여 sample size가 많을수록 카파값이 유의하게 나올 수 있다[20]. 향후 연구에서는 충분한 대상자 수를 확보하여 평가자간의 일치도를 조사할 필요가 있다. 10개 항목이 만족할 만한 일치도를 보이지 못한 또 다른 이유로는 표준화 환자의 학생 평가에 대한 미숙함을 들 수 있겠다. 본 연구에서 표준화 환자는 두 번의 사전 훈련을 거쳤지만 교수자만큼 학생 평가에 능숙하지 못했으리라 사료된다. 따라서 표준화 환자가 학생 평가에 익숙해지고 내용을 숙지할 수 있도록 충분한 사전 교육이 이루어져야 할 것이다[8].
본 연구에서 사용된 이분 척도의 체크리스트를 이용하여 학생 평가를 시행할 경우 평가자간의 일치도를 높이기 위해서는 각 문항별로 명확한 평가 기준표를 만들어 ‘수행’과 ‘미수행’의 정의와 인정범위를 누가 보아도 확실하게 해석될 수 있어야 할 것이다. 또한 이 평가 기준표를 갖고 해당 평가자 모두에게 사전에 충분한 훈련이 필요하리라 판단된다. 시뮬레이션 상황에서 간호학생이 간호수행을 하는 동안에는 평가자가 체크리스트 문항에서 미리 예측하지 못한 다양한 행위를 하게 되고, 이를 평가에 반영하는 것은 쉽지 않다. 이러한 돌발 상황에 익숙해지기 위해서는 다양한 상황을 예측해보고 미리 평가 기준표에 따른 평가훈련을 해보는 것이 도움이 될 것으로 생각된다.
시뮬레이션을 통한 의사소통기술에 대한 평가에서는 교수자와 표준화 환자간의 신뢰도가 확보된 문항은 하부영역인 의사소통영역 7개 문항 중 4개 문항으로 나타났다. 또 다른 하부 영역인 대인관계 영역은 교수자 평가와 표준화 환자평가의 일치도 ICC값이 9개 문항 중 3개의 문항에서 신뢰도가 확보되었고 나머지 6개 문항은 신뢰도가 40% 이하로 나타났다. 이는 다양한 방법으로 평가자 간 일치도를 검증한 연구[1,22,24]에서 나타난 일치율보다는 상대적으로 낮은 결과라 할 수 있다. 의사소통영역의 경우 전반적으로 교수보다는 표준화 환자가 더 높은 점수를 주었으며 이는 기존에 의대생들을 대상으로 한 선행 연구 결과와 일치하였다[8].
의사소통기술에 대한 교수자와 표준화 환자 간의 평가 일치도가 낮은 것은 상대적으로 이분 척도보다 정확하게 체크하기가 어렵고 평가자의 주관이 많이 개입되었다고 볼 수 있다. 더욱이 척도구간이 5구간 혹은 7구간인 경우 이 문제가 더 심각해 질 수 있는데 이런 경우 일반적으로 척도에서 한 구간 정도의 차이는 두 평가가 서로 일치하는 것으로 인정하고 있다[22]. 하지만 원칙적으로 서열 척도로 평가하는 경우에도 각 구간별로 가능한 한 명확한 평가 기준을 마련하는 것이 평가의 객관성을 유지하는데 중요하다[22]. 평가기준이 애매할 시 간호사- 환자 관계 영역에서 교수자와 표준화 환자의 평가 점수 상관관계가 낮게 나타나, 표준화 환자를 평가에 활용할 경우 교수자와 표준화 환자의 지속적인 대화와 피드백, 그리고 상세한 표준평가 지침의 개발이 필요하다[25].
의사소통기술에 대한 평가에서 표준화 환자가 평가한 문항별 점수분포를 분석해보면, 첫 번째 하부영역인 의사소통영역에서 표준화 환자가 가장 낮게 평가한 문항은 ‘간호사는 나의 의견을 묻고, 나 스스로 결정을 내리도록 해주었다’이었으며, 가장 높게 평가한 문항은 ‘간호사는 나의 모든 질문에 피하지 않고 대답했다’이었다. 시뮬레이션 평가의 특성 상 제한된 수행시간 내에 해당 술기를 진행하고 평가받아야 하는 간호학생의 입장에서 표준화 환자의 질문에 대답을 하는 것은 가능하나 환자의 의견을 묻고 결정을 내리도록 기다려 주는 일은 쉽지 않았을 것으로 판단된다.
두 번째 하부영역인 대인관계에 대한 영역에서 표준화 환자가 가장 낮게 평가한 문항은 ‘간호사는 나와 이야기 하는 동안 긍정적인 태도를 보였다’이었으며, 가장 높게 평가한 문항은 ‘간호사는 나를 하나의 인격체로서 관심을 가져주었으며 내 말을 무시하거나 지겨워하지 않았다’이었다. 표준화 환자와 대면 과정에서 간호학생은 모든 행동이 교수자에게 관찰되고 있으며 수행에 대한 평가를 받고 있다는 것을 인식하고 있으므로 그로 인한 긴장감과 함께 마네킹이 아닌 표준화 환자와의 간호수행이 어색하게 느껴져 긍정적인 태도를 보이는데 한계가 있었을 것으로 판단된다. 간호사에게 의사소통능력과 대인관계영역은 중요한 간호역량이며, 간호현장에서는 지식과 임상수기 뿐만 아니라 대상자와의 비언어적 상호작용도 중요하므로 표준화 환자를 활용한 시뮬레이션 교육을 지속적으로 활용한다면 학생들이 당황하지 않고 임상상황에서 제기되는 의사소통의 내용 및 대처에 대해 자연스럽게 배울 수 있는 기회가 될 것으로 생각된다.
평가자 간의 일치도를 높이기 위한 방법으로써 먼저 전문 표준화 환자를 활용하는 것이다. 간호학생을 대상으로 표준화 환자의 평가를 연구한 Choi 등의 연구[1]에서는 대학원생을 표준화 환자로 훈련시켜 연기와 평가를 수행하게 했는데 이는 전문 표준화 환자보다 신뢰도 확보에 미흡할 수 있었다고 기술하였다. 본 연구에서는 서울경기 지역 의과대학 표준화 환자 컨소시엄에 등록되어 훈련받은 전문 표준화 환자를 활용하였는데 기존 일반인을 훈련시키기 위해 소요되는 시간이 훨씬 감소되었고 연구의 목적 및 방법에 대해 이해와 습득이 빨랐던 장점이 있었다. 간호교육에서 표준화 환자를 활용한 시뮬레이션기반 실습은 매우 중요한 부분을 차지할 것이다. 그러나 개별 간호대학이나 학과에서 전문적인 표준화 환자를 훈련시키고자 하면 상당한 시간과 비용이 필요하다. 이에 지역별 의과대학 표준화 환자 컨소시엄처럼 간호대학(과)장협의회, 대한간호사협회, 간호과학회 등 간호계의 여러 단체들이 함께 표준화 환자 모임을 만들어 시나리오를 개발하고 그에 따라 표준화 환자들을 훈련시켜 간호사와 간호학생 교육을 위해 활용할 것을 제안한다.
평가자간의 일치도를 높이기 위한 다른 방법은 위에 언급한 명확한 평가기준의 마련, 이에 대한 충분한 평가자 훈련과 더불어 평가시기를 일치시키는 것이다. 본 연구에서 교수자는 학생의 실습동안에 평가하였고 표준화 환자는 학생들의 실습이 끝난 후에 평가를 실시하였다. 이런 평가시점의 차이가 얼마만큼 두 평가자간의 일치도에 영향을 미치었는지를 본 연구에서는 조사하지 못하여 연구의 제한점으로 남는다. 이를 개선하기 위한 방법으로 교수자 역시 학생 실습이 모두 끝난 다음에 표준화 환자와 같이 평가하거나, 녹화된 비디오를 시청한 후 표준화 환자에게 주어진 동일한 시간동안 평가를 시행하는 것이다[22]. 향후 연구에서는 이와 같이 평가자들이 동일한 시기에 평가를 할 수 있는 방법들을 이용하여 평가자간의 일치도를 조사할 것을 제언한다.
본 연구에서는 다음과 같은 몇 가지 제한점이 있었다. 첫째, 평가 기준표를 작성하여 그에 대한 표준화 환자 교육을 이틀에 걸쳐 4시간 시행하고 별도의 리허설을 거쳤지만 표준화 환자가 기준표를 명확하게 이해하였는지, 4시간이 충분한 교육시간이었는지에 대한 타당성은 확보하지 못하였다. 표준화 환자를 평가자로서 활용하려면 전문 트레이너에 의해 최소 10시간 이상의 체계화된 훈련이 필요한 것으로 제시된다[8]. 본 연구에 참여한 표준화 환자는 연기자와 평가자 역할에 대한 사전 훈련을 받은 전문 표준화 환자이어서 4시간의 별도 훈련을 시행했지만, 새로운 시나리오와 평가도구를 사용할 때마다 4시간 이상의 충분한 훈련시간이 필요할 것으로 예상된다. 둘째, 5점 척도로 구성된 의사소통기술에 대한 평가 시 표준화 환자가 교수자보다는 학생들의 수행에 후한 점수를 주려고 하는 주관적인 의지는 사전에 통제하기 어려웠다. 또한 5점 구간에 대한 분명한 평가기준을 제시하기 어려웠던 점도 평가자간의 일치도에 영향을 미쳤을 것으로 생각된다. 마지막으로 위에서 언급한 바와 같이 교수자와 표준화 환자간의 상이한 평가시점 그리고 상대적으로 적은 대상자 수가 연구의 제한점으로 남는다.
시뮬레이션기반 간호교육에서 표준화 환자는 간호학생들의 임상수행능력을 객관적으로 평가할 수 있을 뿐만 아니라 실습동안 느낀 주관적인 경험들도 학생들에게 피드백을 줄 수 있는 중요한 교육방법으로 활용될 수 있다. 국내 의학계에서는 1996년 국내 일개 의과대학에서 표준화 환자 프로그램을 처음 도입하여 시행한 이후로 의학교육학회와 의과대학의 협력으로 표준화 환자 훈련을 위한 지역 컨소시엄을 출범하고 관련 실무워크숍을 지속적으로 수행하고 있다[26]. 또한 대한신경과학회는 2007년도 신경과 전문의 고시부터 2차 시험에 표준화 환자를 활용한 진료수행시험을 도입하여 병력 청취와 신체 진찰을 포함한 정보수집 능력과 환자-의사 관계 형성 능력을 평가하고 있다[27]. 국내 간호학계도 대학 내 학생들의 교육을 위해 표준화 환자를 활용뿐 만 아니라 향후 간호사 면허시험이나 전문간호사 면허시험과 같은 평가를 위해서도 표준화 환자를 충분히 활용할 수 있을 것이다.
본 연구는 시뮬레이션을 활용한 간호교육이 활발하게 이루어지고 있는 시점에서 학생 수행평가의 신뢰도 확보를 위한 표준화 환자와 교수자 간 평가의 일치도를 구체적으로 확인했다는 것에 그 의의가 있다. 임상수행능력 평가에 있어서 교수자 간, 표준화 환자 간의 신뢰도를 높이기 위하여 시뮬레이션을 담당하고 있는 교수 및 표준화 환자의 훈련에 충분한 시간이 할애되어야 할 것이다. 또한 시뮬레이션 간호교육에서 표준화 환자 단독 평가만으로도 평가결과를 신뢰할 수 있도록 표준화 환자의 연기뿐 아니라 평가방법에 있어서도 충분한 훈련과 연구가 필요하다.

결 론

본 연구는 간호대학생의 시뮬레이션 실습 중 간호사정 수행과 의사소통기술에 대한 교수자와 표준화 환자 간의 평가 일치도를 확인하고자 시도되었다. 흉통호소로 입원한 환자의 간호사정 수행능력을 체크리스트로 평가한 교수자와 표준화 환자 간의 평가 일치도는 31개 항목 중 20개의 항목이 보통 수준 이상의 일치도를 보이는 것으로 나타났다. 간호대학생의 의사소통 기술에 대한 평가 일치도는 의사소통 영역 7개 문항 중 4개 문항, 대인관계 영역 9개 문항 중 3개 문항에서 평가의 일치도 ICC값이 40% 이상인 것으로 나타났다.
두 평가자간의 평가 일치도에 있어서 구체적인 오차의 소재를 밝히기 위해 추후 표준화 환자와 간호학생의 대면 장면을 분석하고, 표준화 환자의 행동과 평가결과를 비교할 수 있는 질적 연구가 필요하다. 또한 예상되는 여러 상황에 대한 표준 평가지침 마련과 아울러 표준화 환자 교육 운영을 위한 체계화된 프로그램의 개발이 필요하리라 사료된다.

Table 1.
Agreement between Faculty and SP Evaluation by Checklist Items (N=51)
Checklist items Faculty SP
Agreement (%) Kappa 95% CI
Yes No
Did he/she Introduce her/himself to patient Yes 50 0 100.0 1.00* 1.00~1.00
No 0 1
Ask patient's name Yes 44 0 88.2 .22* 0.00~0.56
No 6 1
Ask patient's age Yes 39 3 88.2 .59* 0.25~0.85
No 3 6
History taking (did he/she ask the history of) The onset of the pain Yes 33 2 80.4 .49* 0.14~0.77
No 8 8
The location of pain Yes 46 1 90.2 -.03 -0.09~0.00
No 4 0
The quality of pain Yes 44 1 90.2 .40* -0.07~0.92
No 4 2
The severity of pain Yes 37 1 88.2 .66* 0.36~0.83
No 5 8
The symptoms accompanying the pain Yes 31 3 86.3 .69* 0.42~0.88
No 4 13
Factors relieving the pain Yes 2 2 72.5 .45* 0.14~0.60
No 12 13
Factors aggravating the pain Yes 20 6 70.6 .41* 0.06~0.63
No 9 16
Alcohol consumption Yes 39 4 82.4 .30* -0.13~0.69
No 5 3
Cigarette smoking Yes 48 1 98.0 .79* 0.08~1.00
No 0 2
Exercise Yes 34 0 82.4 .54* 0.28~0.77
No 9 8
Occupation Yes 15 3 88.2 .74* 0.55~0.92
No 3 30
Allergy Yes 7 3 84.3 .68* 0.32~1.00
No 2 39
Hypertension Yes 47 3 92.2 -.03 -0.06~0.00
No 1 0
Diabetes mellitus Yes 49 1 96.1 -.02 -0.06~0.00
No 1 0
Hyperlipidemia Yes 16 5 78.4 .59* 0.31~0.81
No 6 24
Previous history of surgery - type Yes 27 2 92.2 .84* 0.66~0.96
No 2 20
Previous history of surgery - time Yes 13 3 88.2 .73* 0.51~0.98
No 3 32
Family history - cause of death Yes 33 2 84.3 .61* 0.34~0.83
No 6 10
Family history - name of disease Yes 40 4 80.4 .06 -0.19~0.46
No 6 1
Current medication - name Yes 19 20 41.2 -.27 -0.49~0.03
No 10 2
Current medication - dose Yes 6 4 72.5 .29* 0.03~0.58
No 10 31
Physical examination (did he/she check) Blood pressure Yes 51 0 100.0 1.00* 1.00~1.00
No 0 0
Respiration rate Yes 41 6 84.3 .26* -0.09~0.65
No 2 2
Pulse rate Yes 46 1 94.1 .54* -0.05~1.00
No 2 2
Height & weight Yes 13 2 92.2 .81* 0.60~0.98
No 2 34
Heart sound Yes 4 8 76.5 .26 -0.09~0.67
No 4 35
Lung sound Yes 1 1 98.0 .66* 0.00~1.00
No 0 49

* p<.05;

SP=Standardized patient; CI=Confidence interval.

Table 2.
Reliability of Evaluation between Faculty and SP for Communication (N=51)
Items Faculty
SP
F ICC 95% CI
M±SD M±SD
I felt you were telling me everything; being truthful, up front, and frank; not keeping things from me 3.82±0.39 3.08±0.34 1.24 .20 -0.41~0.54
I felt you discussed options with me 2.94±0.31 2.96±0.34 6.21* .84 0.72~0.91
I felt you made sure that I understood those options 3.00±0.40 3.02±0.37 2.34* .57 0.25~0.76
I felt you asked my option, allowing me to make my own decision 2.16±0.51 2.94±0.24 1.13 .11 -0.55~0.49
I felt you encouraged me to ask questions 2.25±0.72 3.04±0.53 4.42* .77 0.60~0.87
I felt you answered my questions, never avoiding them 3.67±0.59 3.78±0.46 1.89* .47 0.77~0.69
I felt you clearly explained what I needed to know about my problem; how and why it occurred 2.59±0.73 3.39±0.57 1.36 .26 -0.29~0.58

* p<.05;

SP=Standardized patient; ICC=Intraclass correlation coefficient; CI=Confidence interval.

Table 3.
Reliability of Evaluation between Faculty and SP for Interpersonal Skills (N=51)
Items Faculty
SP
F ICC 95% CI
M±SD M±SD
I felt you greeted me warmly upon entering the room 3.73±0.57 3.65±0.66 1.94* .49 0.10~0.71
I felt you were friendly throughout the encounter. You were never crabby or rude to me 3.84±0.37 3.90±0.36 1.07 .06 -0.64~0.47
I felt that you treated me like we were on the same level. You never “talk down” to me or treated me like a child 3.76±0.43 3.78±0.42 1.09 .09 -0.59~0.48
I felt you let me tell my story and were careful not to interrupt me while I was speaking 3.10±0.76 3.96±0.34 1.03 .03 -0.69~0.45
I felt you showed interest in me as a “person”. You never acted bored or ignored what I had to say 3.75±0.44 3.98±0.37 1.19 .16 -0.46~0.52
I felt you were patient when I asked questions 3.69±0.58 3.92±0.34 1.14 .12 -0.54~0.50
I felt you were careful to use plain language and not medical jargon when speaking to me 3.16±0.70 3.76±0.62 1.73* .42 -0.01~0.67
I felt you approached sensitive/difficult subject matters with sensitivity and without being judgemental 3.53±0.54 3.86±0.40 3.01* .67 0.42~0.81
I felt the nurse displayed a positive attitude during the verbal feedback session 3.51±0.54 3.47±0.67 1.35 .26 -0.30~0.58

* p<.05;

SP=Standardized patient; ICC=Intraclass correlation coefficient; CI=Confidence interval.

REFERENCES

1. Choi JY, Jang KS, Choi SH, Hong MS. Validity and reliability of a clinical performance examination using standardized patients. Journal of Korean Academy of Nursing. 2008; 38(1):83-91.
crossref pmid
2. Hur HK, Song HY. Effects of simulation-based clinical reasoning education and evaluation of perceived education practices and simulation design characteristics by students nurses. Journal of the Korea Contents Association. 2015; 15(3):206-218. https://doi.org/10.5392/JKCA.2015.15.03.206
crossref
3. Lee SO, Eom M, Lee JH. Use of simulation in nursing education. Journal of Korean Academic Society of Nursing Education. 2007; 13(1):90-94.

4. Davis AH, Kimble LP. Human patient simulation evaluation rubrics for nursing education: Measuring the essentials of baccalaureate education for professional nursing practice. Journal of nursing education. 2011; 50(11):605-611. https://doi.org/10.3928/01484834-20110715-01
crossref pmid
5. Kim JH, Park IH, Shin S. Systematic review of Korean studies on simulation within nursing education. Journal of Korean Academic Society of Nursing Education. 2013; 19(3):307-319. https://doi.org/10.5977/jkasne.2013.19.3.307
crossref
6. Lee BG. Recent world trend in performance-based assessments and application of the standardized patient program in Korean medical education. Korean Journal of Medical Education. 2000; 12(2):377-392. https://doi.org/10.3946/kjme.2000.12.2.377
crossref
7. Wallace P. Coaching standardized patients for use in the assessment of clinical competence. New York: Springer Publishing Company; 2007. p. 83-108.

8. Kim JJ, Lee KJ, Choi KY, Lee DW. Analysis of the evaluation for clinical performance examination using standardized patients in one medical school. Korean Journal of Medical Education. 2004; 16(1):51-61. https://doi.org/10.3946/kjme.2004.16.1.51
crossref
9. Barrows HS. An overview of the uses of standardized patients for teaching and evaluating clinical skills. Academic Medicine. 1993; 68(6):443-451.
crossref pmid
10. Yoo HB, Park JH, Ko JK, Yoon TY. A systematic review of training that use an integrated patient simulator. Korean Journal of Medical Education. 2010; 22(4):257-268. https://doi.org/10.3946/kjme.2010.22.4.257
crossref pmid
11. Pell G, Fuller R, Homer M, Roberts T. How to measure the quality of the OSCE: A review of metrics-AMEE guide no. 49. Medical Teacher. 2010; 32(10):802-811. https://doi.org/10.3109/0142159X.2010.507716
crossref pmid
12. McCarthy B, Trace A, O'Donovan M. Integrating psychology with interpersonal communication skills in undergraduate nursing education: Addressing the challenges. Nurse Education in Practice. 2014; 14(3):227-232. https://doi.org/10.1016/j.nepr.2014.01.008
crossref pmid
13. Campbell SH, Pagano MP, O'Shea ER, Connery C, Caron C. Development of the health communication assessment tool: Enhancing relationships, empowerment, and power-sharing skills. Clinical Simulation in Nursing. 2013; 9(11):e543-e550. https://doi.org/10.1016/j.ecns.2013.04.016
crossref
14. Yang HM, Hwang SY. Reliability and validity of the assessment tool for measuring communication skills in nursing simulation education. Korean Journal of Adult Nursing. 2016; 28(1):95-105. https://doi.org/10.7475/kjan.2016.28.1.95
crossref
15. Faul F, Erdfelder E, Lang AG, Buchner A. G*power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods. 2007; 39(2):175-191. https://doi.org/10.3758/BF03193146
crossref pmid
16. Yudkowsky R, Downing SM, Sandlow LJ. Developing an institution-based assessment of resident communication and interpersonal skills. Academic Medicine. 2006; 81(12):1115-1122. https://doi.org/10.1097/01.ACM.0000246752.00689.bf
crossref pmid
17. Park KI, Jeong YS. Nurse's communication skills as perceived by the parents of inpatients. Korean Parent Child Health Journal. 2011; 14(2):69-75.

18. CPX Consortium Seoul·Gyeonggi. Introduction of consortium [Internet]. Seoul: CPX Consortium; 2004. [cited 2017 February 13]. Available from http://www.cpx.or.kr/CONSORTIUM/intro.jsp

19. Viera AJ, Garrett JM. Understanding interobserver agreement: The kappa statistic. Family Medicine. 2005; 37(5):360-363.
pmid
20. Goldstein SD, Lindeman B, Colbert-Getz J, Arbella T, Dudas R, Lidor A, et al. Faculty and resident evaluations of medical students on a surgery clerkship correlate poorly with standardized exam scores. American Journal of Surgery. 2014; 207(2):231-235. https://doi.org/10.1016/j.amjsurg.2013.10.008
crossref pmid
21. Park HK. Medical education using standardized patients. Hanyang Medical Reviews. 2012; 32(1):35-44. https://doi.org/10.7599/hmr.2012.32.1.35
crossref
22. Park HK, Lee JK, Hwang HS, Lee JU, Choi YY, Kim H, et al. The agreement of checklist recordings between faculties and standardized patients in an objective structured clinical examination (OSCE). Korean Journal of Medical Education. 2003; 15(2):141-150.
crossref
23. Armitage P, Berry G. Statistical methods in medical research. 3rd ed. London: Blackwell Science; 1994.

24. Hur J, Lee M, Chung W. Evaluation of checklist and inter-rater agreement in oral case presentation of undergraduate medical students. Ewha Medical Journal. 2007; 30(1):47-52.
crossref
25. Kwon I, Kim N, Lee SN, Eo E, Park H, Lee DH, et al. Comparison of the evaluation results of faculty with those of standardized patients in a clinical performance examination experience. Korean Journal of Medical Education. 2005; 17(2):173-183.
crossref
26. Lee BG. Current status of the standardized patient programs in Korea and plans to develop and improve the program. Korean Journal of Medical Education. 2001; 13(1):27-39. https://doi.org/10.3946/kjme.2001.13.1.27
crossref
27. Kim BJ, Sung JJ, Park HK, Seo DW, Chung CS, Yoon BW. Clinical performance examination utilizing standardized patients in board examination: Based on the board examination of Korean Neurological Association for three years. Korean Journal of Medical Education. 2011; 23(2):127-135. https://doi.org/10.3946/kjme.2011.23.2.127
crossref pmid