시뮬레이션 교육에서 디브리핑 중재가 간호대학생의 임상수행능력에 미치는 효과: 체계적 문헌고찰 및 메타분석
Effectiveness of Debriefing in Simulation-Based Education for Nursing Students: A Systematic Review and Meta-analysis
Article information
Trans Abstract
Purpose
This study aimed to determine the effect of debriefing interventions on clinical competence in nursing students.
Methods
A systematic review with a meta-analysis was conducted. Korean and English studies were retrieved from eight databases: KERIS, KISS, KoreaMed, NDSL, CINAHL, Cochrane Library, EMbase, and PubMed through January 2022. Fifteen studies were selected for the meta-analysis based on the inclusion criteria and low risk of bias. The data was analyzed using RevMan 5.3. and R software 3.6.2.
Results
Most studies had a low risk of bias. Debriefing intervention in simulation-based education were found to be significantly effective compared to the control groups on clinical competence(Hedges’ g=1.06, 95% CI=0.73~1.39, p<.001). In addition, the length of the debriefing intervention influenced the heterogeneity in the meta-ANOVA.
Conclusion
Debriefing intervention in simulation-based education help improve nursing students’ clinical competence in nursing students. Futhermore, our findings suggest that nursing educators should consider the length of debriefing for nursing students to improve their clinical competence.
서 론
1. 연구의 필요성
코로나19 팬데믹은 일상생활뿐만 아니라 교육 분야에도 큰 변화를 주었고, 감염의 위험성으로 인해 대면 교육이 온라인 교육으로 전환되면서 학생들의 학습 방법에도 큰 영향을 미쳤다[1]. 간호 교육에서도 이러한 변화를 피할 수 없었으며, 사회적 거리두기와 제한으로 임상실습교육 환경에 큰 타격을 주었다. 코로나바이러스의 확산과 함께 임상실습은 연기되거나 취소되었고, 이로 인해 다양한 임상을 경험하는 것이 어려워졌다[2]. 코로나19 팬데믹 이전에도 임상실습은 대부분 관찰과 구두 설명으로 이루어지고 있어서 실제적인 간호행위 비중은 작아 현실적으로 학생 수 대비 실습시간과 실습내용은 매우 제한적이었다[3]. 이러한 임상실습의 어려움을 해결하고자 시뮬레이션 교육이 적극적으로 활용되었고[4], 특히 코로나19 팬데믹 동안에는 임상실습 대체방안으로 교내에서 더욱 활발히 사용되었다[5,6].
시뮬레이션 교육은 임상현장에서 발생 가능한 상황을 재현함으로써 시뮬레이터나 표준화 환자, 역할극 등을 활용하여 지식과 실무를 효과적으로 통합하고 간호대학생들의 역량을 향상시키는 학습방법이다[7]. 또한 안전하고 조직적인 학습 경험을 제공하고, 학습된 지식을 바탕으로 다양한 상황에 익숙하도록 반복하여 연습할 수 있는 장점이 있어서 임상현장에서 발생할 수 있는 환자 안전사고를 감소시킬 수 있다[8]. 이러한 시뮬레이션 교육의 진행 과정은 시뮬레이션 교육 전, 학습 목표와 실습 환경 및 실습 과정에 대한 안내를 제공하는 사전 브리핑, 시나리오에 따라 진행되는 시뮬레이션 운영, 그리고 시뮬레이션 운영 후 교수자의 주도 하에 학습자들이 성찰하는 과정인 디브리핑으로 이루어진다[9].
시뮬레이션 교육의 마지막 단계인 디브리핑(Debriefing)은 시뮬레이션 기반 학습의 필수 구성 요소이자 학생들의 지식과 기술을 통합하는 효과적인 학습 방법으로[10], 학습자가 교수자와 함께 시뮬레이션 경험을 검토하고 다양한 관점으로 피드백 및 성찰을 통해 학습 성과를 달성하기 위한 중요한 역할을 하는 과정이다[11]. 특히 디브리핑 과정에서는 성찰을 통해 합리적인 담론, 문제 해결, 타당성 검증을 위한 깊이 있는 통찰이 이루어지는 경우 학습자에게 의미 있는 학습 효과가 발생한다[12]. 효과적인 디브리핑은 학생들의 새로운 성찰학습을 통해 현재 학생들이 가진 지식과 더불어 자신의 임상적 판단 능력에 영향을 미칠 수 있는 새로운 정보를 수용할 수 있는 능력을 촉진시킨다[13]. 이는 학습자가 앞서 경험한 시뮬레이션 상황 속에서 주의를 기울이지 못했던 부분이나 의심스러웠던 부분을 되짚어 탐색할 수 있는 기회를 얻게 하고, 의미 있었던 요소들을 확인할 수 있게 해 준다[14]. 뿐만 아니라 이러한 성찰적 학습 과정을 통하여 학습자의 임상적 추론, 판단력 및 임상수행능력 개발 및 향상에 긍정적인 영향을 미쳤다[15].
임상수행능력은 간호교육과정을 통해 학습된 지식, 기술, 태도 등을 임상 상황에서 간호 대상자의 요구에 맞게 전문직 간호사 역할을 수행할 수 있는 능력이다[16]. 임상수행능력이 좋을수록 간호업무를 효과적으로 실행할 수 있으며, 숙련된 임상수행능력은 간호서비스의 질을 높일 수 있는 중요한 요소이다[17,18]. 시뮬레이션 교육은 간호대학생의 임상수행능력을 증진시키기 위하여 실제와 유사한 상황을 통해 숙련도를 높이는 교수 학습전략으로 실제로 임상수행능력을 향상시키기 위해 간호대학생과 간호사를 대상으로 시뮬레이션 교육이 활용되고 있다[19,20]. 따라서 양질의 간호 서비스를 제공하기 위해 간호대학생들의 임상수행능력을 향상시키기 위한 노력은 매우 중요하다.
시뮬레이션 교육에서 관찰자와 간호학생에 의해 가장 많이 측정된 종속변수는 임상수행능력으로[21], 간호대학생이 졸업 후 전문직 간호사로서 환자에게 양질의 간호를 제공하기 위해 반드시 필요한 능력이다. 그러므로 시뮬레이션 교육에서 이루어진 디브리핑 연구들이 간호대학생의 임상수행능력에 영향을 미친 정도가 얼마인지 통합하여 효과크기를 확인하고, 이러한 효과에 영향을 미치는 변인들은 어떠한 것들이 있는지에 관해 확인해 볼 필요가 있다.
선행연구를 살펴보면, 먼저 국내 간호대학생에게 적용한 시뮬레이션 디브리핑 중재 연구에 관한 고찰[22] 연구는 연구들에서 제시된 결과들의 통합된 요약 추정치에 대한 정량적인 합성이 이루어지지 않았다. 간호사 교육의 시뮬레이션에서 디브리핑 방법과 학습 성과에 대한 체계적 고찰과 메타분석이 이루어진 연구이지만[11], 간호사만을 대상으로 하여 간호대학생의 시뮬레이션 교육에서 디브리핑의 효과 및 효율성을 평가하기에 제한이 있었다. 또한, 대부분의 연구가 시뮬레이션 교육 후 디브리핑의 효과가 아닌 시뮬레이션 교육에 대한 효과를 검증하기 위한 연구가 수행되었다는 한계가 있었다[23–26]. 이에 시뮬레이션 교육의 디브리핑을 발전시키고 개발하기 위해서는 기존 프로그램 연구들의 객관적인 결론 도출과 통합된 결과에 대한 요약 추정치를 합성이 필요하고, 이를 위한 체계적 고찰 및 메타분석 연구가 필요하다. 따라서 본 연구는 시뮬레이션 교육에서 이루어진 디브리핑이 간호대학생의 임상수행능력에 미치는 효과를 종합적이고 객관적인 검토를 하여 추후 효과적인 디브리핑을 위한 적용 방향 및 전략의 근거를 마련하고자 한다.
2. 연구목적
본 연구의 목적은 시뮬레이션 교육에서 이루어진 디브리핑이 간호대학생의 임상수행능력에 관한 연구의 효과를 분석하기 위함이다.
연구방법
1. 연구설계
본 연구는 시뮬레이션 교육에서 이루어진 디브리핑이 간호대학생의 임상수행능력에 미치는 효과를 확인하기 위한 체계적 문헌고찰 및 메타분석 연구이다.
2. 문헌 선정기준
본 연구는 체계적 문헌고찰 보고지침[27]에 따라 수행되었고, 문헌선정을 위한 핵심질문 형식인 PICOTS-SD (participants, intervention, comparisons, outcomes, timing of outcome, setting, study design)에 맞추어 대상연구의 구체적인 선정기준을 구성하였다. 분석을 위한 논문의 선정기준과 배제기준은 다음과 같다.
1) 선정기준
연구대상(P)은 ‘간호대학생’, 중재방법(I)은 ‘시뮬레이션 교육 중 디브리핑을 주요 중재로 시행한 경우’, 대조군(C)은 ‘전통적 강의 방식’, ‘ usual care’ 혹은 ‘중재를 받지 않은 경우’, 결과(O)는 ‘임상수행능력’, 결과 측정 시점(T)은 ‘중재 후’ 혹은 ‘추후 추적 기간’ 모두 포함하였으며, 세팅(S)은 ‘학교’, 연구설계(SD)는 ‘비 무작위대조군연구(Non-Randomized Controlled Trial [NRCT])’ 혹은 ‘무작위대조군연구(Randomized Controlled Trial [RCT])’로 설정하였다. 그리고 각 연구에서 실험군과 대조군의 효과크기를 산출할 수 있도록 평균값과 표준편차, 신뢰구간이 제시된 연구로 선택하였다.
2) 배제기준
대상논문 배제기준은 1) 비 실험연구, 2) 종속변수로 임상수행능력을 측정하지 않은 논문으로 설정하였다.
3. 문헌검색 전략과 선별
문헌검색은 출판연도 제한 없이 2022년 1월 06일까지 출판된 논문에 대한 검색과 수집이 이루어졌으며 출판된 논문의 언어는 영어와 한국어로 제한하였다. 먼저 국내 데이터베이스는 한국교육학술정보원(KERIS, Korea education and research information service), 한국학술정보(KISS, Korean studies information service system), 코리아메드(Koreamed), 과학기술전자도서관(NDSL, National digital science library)를 이용하여 검색하였고, 국외 데이터베이스는 간호 보건 분야 전자데이터베이스(CINAHL, Cumulative index of nursing and allied health), Cochrane Library, 유럽 의학 분야 전자데이터베이스(EMbase, Excerpta medica database), Pubmed 를 이용하여 검색하였다.
검색 전략을 구성하기 위해서 연구대상 및 중재로부터 주요 개념어를 도출하였다. 국내 데이터베이스에서는 ‘간호대학생’, ‘시뮬레이션’, ‘디브리핑’, ‘임상수행능력’을 조합하여 논문을 검색하였고, 국외 데이터베이스에서는(((‘ Students, Nursing [MeSH]’ OR ‘ Education, Nursing, Baccalaureate [MeSH]’ OR ‘ undergraduate nurs*’ OR ‘ nurs* student*’) AND (‘ High Fidelity Simulation Training [MeSH]’ OR ‘ Simulation Training [MeSH]’ OR ‘ Patient Simulation [MeSH]’ ‘ Computer simulation [MeSH]’ OR ‘ simulation-based education’ OR ‘ Debriefing’ OR ‘ Simulation’ OR ‘ Education, Nursing [MeSH]’) AND (‘ Clinical competence [MeSH]’) OR ‘ Clinical skill’ OR ‘ Performance’)))의 용어들을 병합하여 검색하였다. 각 데이터베이스의 검색에 사용된 주요 개념어는 *, $, #,? 등의 절단검색(truncation) 및 AND, OR, NOT, adj 등의 불리언연산자 기능을 병합하여 실시하였다.
문헌검색과 선별의 전 과정은 연구자 2인에 의해 독립적으로 수행하였고, 사전에 선정된 선정기준과 배제 기준에 따라 부합되는 논문을 선별하였다. 데이터베이스를 통해 검색된 논문은 Excel을 이용하여 목록을 작성하고, 서지반출 프로그램인 Refworks를 이용하여 중복된 논문을 확인 후 제거하였다. 이후 논문의 제목과 초록을 검토하여 연구 선정기준에 부합된 연구인지를 확인하였고, 논문의 전문(full-text)을 검토하여 선정기준에 해당하는 논문을 최종 분석 문헌으로 결정하였다.
4. 자료추출 및 자료분석
본 연구에서 두 명의 연구자가 독립적으로 체계적 문헌고찰에 포함된 연구들의 특성을 분석하기 위해 선정된 논문의 코딩작업을 진행하였다. 코딩지에는 저자, 출판년도, 출판국가, 연구설계, 연구대상자의 학년, 실험군과 대조군이 받은 중재 유형, 실험군과 대조군의 표본크기, 총 중재 기간, 총 회기, 총 중재 시간, 디브리핑 시간, 결과변수, 결과변수의 측정도구, 추적 기간, 결과의 값을 포함하여 자료를 추출하였다.
5. 자료분석
1) 선정된 연구의 일반적 특성
간호대학생의 시뮬레이션 교육에서 이루어지는 디브리핑 연구의 일반적 특성은 Table 1에 제시하였다.
Characteristics of Included Studies
2) 연구의 비뚤림 위험 평가
최종 선정된 연구에 대한 비뚤림 평가는 두 명의 연구자가 독립적으로 수행하여 평가하였으며, 일치되지 않는 영역은 연구자들이 검토하여 의견이 일치될 때까지 재평가하였다. 비뚤림 평가를 위한 무작위 대조연구는 Cochrane Bias Method Group이 개발한 수정된 ROB (The Cochrane's Risk of Bias) 2 도구[28]를 사용하여 평가하였다. 이 도구는 무작위 배정 과정에서 발생하는 편향, 의도된 개입으로 인한 편향, 결측치 발생으로 인한 편향, 결과 측정에서의 편향, 선택된 결과 보고에서의 편향을 포함한 5가지 평가 영역으로 구성되어 있으며, 영역별로 ‘낮음(Low)’, ‘높음(High)’, ‘약간의 우려(some concerns)’로 비뚤림 위험을 평가하였다. 비동등성대조연구는 한국보건의료연구원의 RoBANS (Risk of bias assessment tool for non randomized studies) [29]를 사용하여 평가하였다. 이 도구는 대상군 선정, 교란변수, 중재측정, 결과평가 눈가림, 불완전한 자료, 선택적 결과보고로 6가지 평가 영역으로 구성되어 있으며, 각 영역별로 ‘낮음’, ‘높음’, ‘불확실’로 비뚤림 위험을 평가하였다. 본 연구에서의 측정자간 일치도는 Cohen이 제시한 카파(Cohen's kappa, k)통계량을 사용하였다. Kappa 통계량은 평가자들이 우연히 자료를 동일한 범주로 분류할 확률을 보정한 일치도를 사용하며, K=(Po-Pc)/(1-Pc)[Po=the proportion of units for which agreement is actually observed, Pc=the proportion of units for which agreement is expec-ted by chance]의 식으로 계산된다[30].
3) 중재의 효과크기 산출
최종 선정된 연구의 효과크기는 선정된 개별연구들의 실험군과 대조군의 표본크기, 평균, 표준편차에 대한 자료를 추출하였고, Cochrane Library의 RevMan 5.3 프로그램과 R software version 3.6.2를 이용하여 분석하였다. 선별된 연구 간의 중재방법, 대상자, 측정도구가 다양하여 이질성이 존재한다고 판단되어 요약 통계량을 결합하기 위해 변량효과 모형(Random- effects model)을 적용하였다. 결과변수가 연속형 변수이고, 동일한 결과변수이지만 측정도구나 측정 단위가 다를 경우, 메타분석 시도 전에 각각의 실험결과를 표준화하기 위하여 표준화된 평균차이(Standardized Mean Differences, SMD)를 이용하여 계산하였다. 분석에 포함된 개별연구의 표본크기 차이가 심할 경우에는 효과크기가 과대 추정되는 경향이 있으므로 이를 보완하기 위해 사용되는 방법인 교정된 표준화된 평균 효과크기인 Hedge's g로 효과크기를 산출하였으며, 95% 신뢰구간(Confidence intervals, CI)로 계산하였다. Hedge's g로 제시된 효과크기의 해석은 Hedges와 Olkin [31]이 제시한 기준에 따라 0.2 이상 0.5 미만인 경우 작은 효과, 0.5 이상 0.8 미만인 경우 중간 효과, 0.8 이상인 경우 큰 효과크기로 해석하였다.
이질성 검증은 먼저 Forest plot을 통해 시각적으로 개별연구의 효과 값의 방향성과 신뢰구간을 검토하였다. 그리고 Higgin의 I² 통계량으로 이질성을 통계적으로 검정하였다. 효과크기의 이질성을 나타내는 지수 I²은 총분산에 대한 실제 분산의 비율을 나타내며, I²이 25%는 이질성이 적고, 50%는 중간정도, 75%는 이질성이 크다고 판단하였다. 사전에 개별 연구간 이질성의 원인이 될 수 있는 연구대상자의 학년, 디브리핑 중재 유형, 디브리핑 중재시간을 조절변수로 정하고 조절효과분석을 시행하였다. 메타분석 시 이질성이 확인되는 경우에는 R 프로그램을 이용하여 조절변수가 범주형인 경우에는 메타 ANOVA를, 연속형인 경우에는 메타 regression을 적용하였다.
4) 출판편향 검정
분석을 위해 선정된 연구의 출판편향을 검증하기 위해 시각적으로 살펴볼 수 있는 깔대기 도표(funnel plot)를 확인하였다. 삼각형 모형 안의 가운데 점선을 중심으로 대칭적인 형태가 나타나지 않을 경우 출판편향이 의심되므로, 이를 검증하기 위한 통계적 검정법으로 Egger's regression test를 실시하였다. Egger's regression test에서는 효과크기와 표준오차 간의 상관관계가 없다고 가정하고, 유의수준 .05에서 p값이 귀무가설을 기각하지 못할 경우 출판편향이 없다고 판단하였다. 그러나 출판 편향의 위험이 의심된다면, 그 심각성을 검증하는 방법으로 Duval과 Tweedie [32]의 Trim-and-Fill 방법을 이용하여 분석하였다. 결측되거나 보고되지 않은 연구의 수를 추정한 다음 비대칭적인 연구를 절삭하고 남아있는 연구들을 대상으로 재분석하여 중재 효과에 대한 새로운 효과크기를 산출하였다. 그리고 효과크기를 산출한 후에 비대칭성을 보이지 않는다면 절삭시킨 연구들을 funnel plot의 가운데를 중심으로 배치하여 누락되었다고 가정하는 연구들로 채워 분석하였다.
연구결과
1. 문헌선정
체계적 문헌고찰을 위해서 분석에 포함된 연구는 문헌의 선정기준과 배제기준에 따라 총 18편으로 문헌선정과정은 다음과 같다. 먼저 국내 데이터베이스에서는 KERIS 578편, KISS 54편, Koreamed 16편, KMbase 62편, NDSL 189편으로 총 899편이 검색되었다. 그리고 국외 데이터베이스에서는 CINAHL 29편, Cochrane Library 207편, EMbase 35편, Pubmed 629편으로 총 900편의 논문이 검색되었다. 검색된 논문 총 1,799편 중 1,206편을 서지관리 프로그램인 Refworks를 이용하여 중복 제거하였다. 1차로 중복 제거 후 남은 593편 논문의 제목과 초록을 검토하여 103편의 연구를 배제하였으며, 2차로 추가 397편을 배제하였다. 이후 남은 93편 논문의 전문(full-text)을 읽고 선정기준에 부합하는지 확인하였고, 시뮬레이션 교육에서 디브리핑을 중심으로 이루어진 중재 18편을 선정하여 체계적 문헌고찰을 시행하였다. 이후 메타 분석을 위해서 실험군과 대조군의 효과크기를 산출할 수 있도록 평균값, 표준편차, 신뢰구간 등의 통계적 수치가 충분하게 제공되지 않은 논문 3편[S1,S2,S15]을 제외하고 총 15편[S3–S14,S16–S18]의 논문을 선정하여 메타분석 하였다(Figure 1)(Appendix 1).
Flow diagram of study screening.
2. 연구의 특성
분석대상논문 18편의 특성은 Table 1과 같다. 2014년[S4]과 2020년[S5]에 각 1편, 2016년[S7,S16]과 2018년[S2,S15]에 각 2편, 2015년[S9,S17,S18], 2017년[S8,S10,S14], 2019년[S3,S6,S13], 2021년[S1,S11,S12]에 각 3편이 출판되었다. 연구가 진행된 국가는 한국 12편[S5,S7,S9–S18], 미국 4편[S1,S3,S4,S8], 벨기에[S2]와 브라질[S6]에서 각각 1편의 논문이 출판되었다. 연구설계로는 무작위 대조군 연구가 5편[S1–S3,S6,S8], 비동등성 대조군 연구는 13편[S4,S5,S7,S9–S18]으로, 비동등성 대조군 전후 설계의 경우 10편[S4,S5,S7,S9–S12,S14,S16,S18], 비동등성 대조군 사후 설계의 경우 3편[S13,S15,S17]이었다. 결과변수를 측정한 시점은 중재 사전-사후 에 측정한 경우 14편[S1, S3–S12,S14,S16,S18], 사후 만 측정한 경우 4편[S2,S13,S15,S17]이었다. 연구참여자 수는 실험군 661명, 대조군 698명으로 총 1,359명의 간호대학생이 참여하였다. 참여한 간호대학생의 학년은 2학년 2편[S9,S13], 3학년 7편[S4,S5,S7,S14,S16–S18], 4학년 7편[S1,S3,S6,S10–S12,S15]이었고, 학년이 보고되지 않은 경우가 2편[S2,S8]이었다. 디브리핑의 유형은 비디오를 활용한 디브리핑 6편[S4,S8,S13,S15,S17,S18], 교수자 주도 디브리핑 4편[S6,S7,S9,S16], 동료 주도 디브리핑 2편[S5,S12], 팀 디브리핑 2편[S2,S10], 임상판단모델을 활용한 디브리핑 2편[S11,S14], 시뮬레이션 교육 내 이루어진 디브리핑 1편[S3], Deliberate practice debriefing 1편[S1]이었다. 중재 기간은 1주 이내 5편[S3,S10,S11,S13,S17], 2주에서 12주 이내 7편[S1,S2,S4, S9,S12,S14,S16], 13주 이상 5편[S5–S8,S18]이었고, 중재 기간이 언급되지 않은 경우가 1편[S15]이었다. 중재횟수는 1회 10편, 2회 7편, 6회 1편이었다. 시뮬레이션 전체 교육시간은 60분 미만 5편, 120분 미만 3편, 120분 이상 6편이었고, 전체 교육시간이 언급되지 않은 경우가 4편이었다. 시뮬레이션 교육 중 디브리핑이 이루어진 시간은 10분 미만 3편[S3,S8,S10], 30분 미만 5편[S5,S9, S11,S12,S17], 30분 이상 5편[S1,S2,S13,S14,S16]이었고, 디브리핑 시간이 보고되지 않은 경우 5편[S4,S6,S7,S15,S18]이었다.
3. 연구의 비뚤림 위험 평가결과
체계적 문헌고찰을 위해 선정된 18편의 연구를 대상으로 비뚤림 위험 평가를 수행하였다. ROB 2.0을 이용하여 5편[S1–S3, S6,S8]에 대한 비뚤림 위험 평가를 시행한 결과, 무작위 배정 과정에서 연구대상자가 등록되고 중재에 배정될 때까지 할당순서은폐가 되지 않아 1편[S8]에서 비뚤림 위험이 크게 나타났다. 의도된 개입으로 인한 편향에서 연구대상자와 중재 제공자들은 중재기간 동안 할당된 중재에 관한 내용이 보고되지 않아 일부 우려로 평가된 연구가 4편[S1–S3,S8]이었다. 결측치 발생으로 인한 편향에서는 중도탈락자나 결측치의 발생이 없어 5편[S1–S3,S6,S8] 모두 비뚤림 위험을 낮게 평가하였다. 결과 측정에서의 편향에서는 사전에 계획된 결과를 모두 측정하여 보고하였으며, 결과변수를 측정하기 위해 타당성이 검증된 도구를 사용하여 연구자가 아닌 2명 이상의 다른 평가자에 의해서 데이터가 수집되어 비뚤림 위험이 낮게 평가된 연구는 2편[S2,S6]이었다. 또한, 중재에 대한 결과평가자의 눈가림이 되지 않았거나 연구대상자의 자가 평가로 결과평가가 이루어져 눈가림이 되지 않아서 3편[S1,S3,S8]의 연구에서는 일부 우려로 평가하였다. 마지막으로 선택된 결과 보고에서의 편향에서는 결과변수 측정에서 필요한 분석만을 시행하였고, 선택적 결과보고를 하지 않아서 5편[S1–S3,S6,S8] 모두 비뚤림 위험을 낮게 평가하였다(Figure 2-A).
Risk of bias summary in RCT studies using ROB2 tools.
그리고 비동등성 대조군 연구는 RoBANS를 사용하여 13편[S4,S5,S7,S9–S18]에 대한 비뚤림 위험 평가를 시행하였다. 연구대상자 선정 시 동일 기관에서 동일한 대상자 모집 전략으로 연구 집단을 선정하였기 때문에 비뚤림을 낮게 평가하였다. 6편[S4,S5,S7,S9,S14,S17]의 연구에서는 교란변수를 통제하기 위하여 분석단계에서 통계적 보정을 사용하였거나 실험군과 대조군을 무작위 배정을 통해서 교란변수를 사전에 차단하여 비뚤림의 위험을 낮게 평가하였다. 중재에 대한 측정은 타당도와 신뢰도가 입증된 도구를 이용하여 2명 이상의 평가자에 의해 중재 측정이 이루어졌다. 또한, 평가자간 신뢰도 수준을 확인하면서 측정에 대한 객관화 및 표준화를 위한 노력이 이루어져 10편[S4,S5,S7,S9–S11,S13,S14,S17,S18]의 연구에서 비뚤림 위험을 낮게 평가하였다. 7편[S5,S9,S11,S12,S15,S16,S18]의 논문은 결과 평가에 대한 눈가림이 이루어지지 않았거나 눈가림 여부에 대한 보고가 없어 비뚤림 위험을 크게 평가하였다. 불완전한 자료 항목에서는 연구대상자 중 결측치와 중도 탈락자가 없거나 비록 중도 탈락자가 있더라도 탈락 사유가 명확하게 제시되어 있어서 비뚤림의 위험을 낮은 것으로 평가하였다(Figure 2-B).
Risk of bias summary in non-RCT studies using ROBANS tools.
본 연구에서의 측정자 간 일치도는 Cohen's kappa=0.93(95% CI: 0.87~0.95)로 나타났다. 일치하지 않은 부분은 2편[S2,S3]의 RCT 연구에서 있었다. 첫 번째로 일치하지 않은 부분[S2]은 결과 측정에서의 편향 부분에서 중재 시행에 대한 결과평가자의 눈가림에 있어서 한 명의 연구자는 ‘ Yes’로 판단하였고, 다른 한 명의 연구자는 ‘ No information’으로 판단하였다. 두 연구자는 일치하지 않은 부분에 대해 논의하였으며, 연구에 참여한 시뮬레이션 팀의 모든 구성원은 연구설계에 대한 브리핑을 받았고 촉진자와 강사의 역할을 교대로 수행했다는 점에서 눈가림이 되지 않은 것으로 판단하여 해당 영역의 평가결과는 ‘ Yes’로 결과를 일치시켰다. 그리고 두 번째로 일치하지 않은 부분[S3]은 ‘연구자가 받은 중재의 지식이 결과 평가에 영향을 줄 가능성이 있는가?’라는 질문에서 한 명의 연구자는 ‘ Probably No’, 다른 한 명의 연구자는 ‘ Probably Yes’로 판단하였다. 첫 번째 부분과 마찬가지로 두 연구자는 일치되지 않은 부분에 대해서 논의하였으며, 참가자는 연구참여자이면서 결과평가자이므로 결과 평가에 영향을 미칠 수 있을 것으로 판단하여 해당 영역의 평가결과를 ‘ Probably Yes’로 결과를 일치시켰다.
4. 전체 효과크기
본 연구에서 분석된 논문 15편을 대상으로 전체 효과크기에 대해 교정된 표준화된 평균차이(Hedges’ g)를 산출한 결과를 forest plot으로 제시하였다(Figure 3-A). 간호대학생을 대상으로 이루어진 시뮬레이션 교육에서 디브리핑 중재에 대한 임상수행능력의 전체 효과크기(Hedges’ g)는 1.06 (95% Cl: 0.73 ~1.39)으로 큰 효과크기를 보였으며, 통계적으로 유의하였다. 전체 효과크기에 대한 이질성은 총분산에서 연구 간 분산이 차지하는 비율이 I2=80%(Q=68.39, p<.01) 로 이질성이 높았다.
Forest plot of effect size by overall debriefing in simulation.
1) 연구설계별 효과크기
본 연구에서 분석된 논문 15편 중 간호대학생을 대상으로 이루어진 시뮬레이션 교육에서 디브리핑 중재에 관한 연구설계별 효과크기(Hedges’ g)는 RCT 1.43 (95% Cl: 0.57~2.29)로 큰 효과크기를 보였고, 전체 크기의 이질성은 I2=86.6%(Q=14.98, p=.01) 로 이질성이 높았으며 (Figure 3-B), non-RCT 0.96 (95% Cl: 0.62~1.31)으로 큰 효과크기를 보였고, 전체 크기의 이질성은 I2=76.9%(Q=47.66, p<.01) 로 이질성이 높았다(Figure 3-C).
Forest plot of effect size according to type of study (RCT).
Forest plot of effect size according to type of study (non-RCT).
5. 효과크기의 이질성 검증: 조절효과분석
연구의 이질성 검증 결과, 이질성이 큰 것(Q=68.39, p<.001, I2=80%) 으로 나타나 효과크기의 이질성에 대한 원인을 분석하기 위해서 사전에 선정한 조절변수, 즉, 학년, 디브리핑 중재 유형, 디브리핑 중재시간에 대한 메타 ANOVA를 실시하였다.
먼저 시뮬레이션 교육에서 디브리핑 중재를 받은 학년별 효과크기를 비교한 결과 각 그룹 간의 효과크기는 2학년 1.68, 3학년 0.91, 4학년 1.03으로 나타났으며, 세 그룹 간의 효과크기는 통계적으로 유의한 차이가 없었다 (Q=4.97, df=2, p=.08) (Figure 3-D). 두 번째로 실험군의 디브리핑 중재 유형별 효과크기를 비교하여 각 그룹 간의 효과크기는 교수자 주도 디브리핑 0.97, 동료 주도 디브리핑 0.80, 임상모델을 활용한 디브리핑 1.35, 비디오 활용 디브리핑 0.91로 나타났으며, 네 그룹 간의 효과크기는 통계적으로 유의한 차이가 없었다(Q=0.52, df=3, p=.91)(Figure 3-E). 마지막으로 디브리핑 중재시간별 효과크기를 비교하여 각 그룹 간의 효과크기는 10분 미만 1.53, 10분에서 20분 미만 0.75, 30분 이상 2.13으로 나타났고, 세 그룹 간의 효과크기는 통계적으로 유의한 차이가 있었다(Q=14.78, df=2, p<.01)(Figure 3-F).
Meta-ANOVA according to the grade.
Meta-ANOVA according to type of debriefing.
Meta-ANOVA according to time of debriefing.
6. 출판편향
Funnel plot 을 통해 분석된 15편의 출판편향과 연구결과의 타당성을 검증하기 위해 시각적으로 대칭정도를 확인하였으며, 효과크기가 가운데 점선을 중심으로 좌우 대칭이 아님을 확인할 수 있었다(Figure 4-A). 통계적으로 비대칭의 정도가 유의한지 판단하기 위해 Egger's regression test를 실시한 결과, bias=5.08 (t=3.17, df=13, p=.01)로 출판편향의 위험이 의심되는 것으로 나타났다(Figure 4-B). 따라서 출판편향의 보정을 위해 Trim-and-Fill 방법을 추가로 적용하여 분석하였다. 미 출판된 연구 5편을 가상의 효과크기로 투입하여 보정한 결과, 간호대학생을 대상으로 이루어진 디브리핑 중재의 임상수행능력에 대한 효과크기는 0.68(95% Cl: 0.27~1.09)로 나타나 보정 전보다 효과크기에 변화가 있음을 확인할 수 있으나 통계적으로 여전히 유의하였다(Figure 4-C). 이러한 출판 비뚤림은 메타분석 결과 해석에 큰 영향을 미치지 않는다고 볼 수 있다.
Funnel plot by results of before trim-and-fill.
Funnel plot by results of meta-regression.
Funnel plot by results of after trim-and-fill.
논 의
본 연구는 2022년 1월 6일까지 발표된 간호대학생을 대상으로 시뮬레이션 교육에서 이루어진 디브리핑의 임상수행능력을 중심으로 체계적 문헌고찰과 메타분석을 실시하고 그 결과를 통해 함의를 논의하고자 한다.
본 연구에서 체계적 고찰에 포함된 18편의 연구 중에서도 한국에서 이루어진 연구가 12편이었다. 간호대학생의 임상수행능력을 증진시키기 위하여 간호교육평가원에서는 간호대학생의 임상실습 중 일부를 시뮬레이션 실습으로 인정하였다[4]. 이후 각 대학에서는 시뮬레이션 교육을 도입하면서, 그 효과를 검증하기 위한 연구들이 증가함에 따라 우리나라에서 이루어진 연구가 많이 포함된 것으로 생각된다.
선행연구[22]에서와 같이 선정된 논문에서 연구참여자의 학년은 대부분 3~4학년으로 나타났다. 이는 시뮬레이션 교육이 간호대학생의 임상실습 시 부족한 부분을 보완하기 위해 활용되고 있는 교수학습방법으로 코로나19 팬데믹 동안 시행되기 어려운 임상실습의 대체방안으로 간호대학생들의 임상수행능력 함양을 위해 많이 사용되고 있음을 나타내는 것으로 볼 수 있다.
본 연구에서 고찰된 문헌의 질 평가 결과, 무작위 대조군 연구에서는 주로 의도된 중재로부터의 비뚤림 위험 발생에 대해 약간의 우려로 평가하였다. 이러한 비뚤림의 위험을 낮추기 위해서는 중재 기간 동안 연구대상자와 중재 제공자들에게 단순 무작위 방법을 적용함으로써 연구와 관련된 사람들로부터 할당된 중재에 대한 내용을 미리 알 수 없도록 하여 무작위 할당 일정을 확보하기 위한 조치를 취해야 한다[33]. 무작위 배정이 은폐되지 않으면 중재 제공자의 경우 중재 기간 동안 연구대상자에게 할당된 중재를 알고 있을 가능성이 크므로, 중재 제공 시 중재 그룹 간에 차이가 있을 수 있기 때문이다[26].
그리고 연구설계와 상관없이 결과 측정의 비뚤림 위험 항목에서 결과평가자에 대한 눈가림이 이루어지지 않았거나 연구대상자의 자가 보고식 평가로 결과 평가가 이루어져 비뚤림 위험 발생이 약간의 우려로 평가하였다. 결과평가자가 중재의 내용에 대해 알고 있다면, 결과 평가 시 편향이 개입될 수 있으며[32], 실제로 주관적인 결과 평가가 이루어진 연구에서의 추정 효과는 평균적으로 더 편향된 결과를 나타낸 것으로 보고하였다[35]. 이러한 비뚤림 위험을 낮추기 위해서는 결과평가자에 대한 눈가림이 이루어지거나 연구대상자에게 제공되는 중재에 직접 관여하지 않는 관찰자에 의한 결과 평가가 이루어져야 한다[33]. 결과 평가 시 이러한 관찰자를 이용하는 경우에는 결과 평가를 위한 교육이나 훈련이 이루어져 관찰자의 편향이 결과에 반영되지 않도록 주의해야 할 필요가 있다. 따라서 비뚤림 위험을 낮추기 위한 노력은 추후 메타분석 연구의 질 향상 및 근거 중심 실무를 위해 활용 가능한 최상의 근거를 제시하는데 기여할 것이다.
또한, 시뮬레이션 교육에서 디브리핑 효과 측정을 위해 사용된 도구는 연구자에 의해 직접 개발된 도구가 많았다. 특히 비 무작위 연구에서는 중재에 대한 측정, 즉 실행 비뚤림 위험을 낮추기 위한 노력으로 연구자에 의해 개발된 도구 사용 시에는 도구에 대한 타당성 검증에 대한 정보를 제시하거나 타당성 있고 신뢰할 수 있는 도구를 사용해야 한다[23]. 따라서 중재에 대한 측정을 위한 체계적인 도구 개발 및 도구의 타당도 검증을 위한 노력이 필요하다.
간호대학생의 임상수행능력을 향상시키기 위해 적용된 시뮬레이션 교육의 디브리핑 전체 효과크기는 1.06으로 큰 효과크기로 나타났다. 간호대학생을 대상으로 시뮬레이션 디브리핑에 대한 효과크기를 분석한 연구가 없어 직접적인 비교는 어렵지만 유사한 선행연구를 살펴보면, 임상수행능력 향상을 위해 간호사와 간호대학생의 시뮬레이션 기반 교육에 대한 효과크기는 1.37[23], 간호사의 시뮬레이션 기반 훈련에 대한 효과크기는 1.09[24], 간호사와 간호대학생을 대상으로 이루어진 응급 환자 간호 시뮬레이션 교육에 대한 효과크기는 1.40[25]로 큰 효과크기를 나타낸 선행연구들의 결과와 유사하였다. 그러나 간호사를 대상으로 시뮬레이션 디브리핑에 대한 효과크기는 0.31[11]로 작은 효과크기를 보여 본 연구결과와 차이가 있었다. 이는 간호대학생이 아닌 간호사의 학습 성과에 대한 시뮬레이션 디브리핑에 대한 효과크기를 파악한 연구이며, 분석된 논문의 수가 적었기 때문으로 생각된다. 분석되는 논문의 수가 적은 경우 결과가 부정확하여 근거로 제시하기에 부족할 수 있기 때문이다[36].
분석된 연구의 이질성은 큰 것(I2=80%) 으로 나타나 효과크기의 이질성을 체계적으로 분석하기 위해 학년, 디브리핑의 유형, 디브리핑 시간을 조절변수로 하여 분석한 결과, 디브리핑 시간이 효과크기에 영향을 주는 변수로 나타났다. 분석된 연구의 디브리핑 시간은 짧은 경우 3분에서 길게는 50분까지 디브리핑이 이루어졌으며, 디브리핑 시간이 30분 이상인 경우 효과크기가 2.13으로 큰 효과크기로 나타났다. 이상적인 디브리핑 소요시간에 대해서는 제시된 근거는 없지만 기간은 적어도 20분 이상 또는 시나리오 운영의 2~3배의 시간이 필요하다고 하였다[37,38]. 간호대학생들이 인식하는 이상적인 디브리핑 시간은 30분에서 60분이고[39], 국제 간호 협회에서는 임상 시뮬레이션과 학습을 위해서 시뮬레이션의 목적과 형태에 따라 디브리핑 소요시간은 달라야 하며, 깊은 사고와 임상적 추론이 요구되는 복잡한 시뮬레이션에서는 좀 더 많은 시간의 디브리핑이 요구된다[40]. 너무 긴 디브리핑 과정은 집중력 저하, 피로와 정보 과부하 등의 원인이 되므로[11], 시뮬레이션 교육을 위한 운영에 앞서 시뮬레이션 교육의 목표, 간호대학생의 시뮬레이션 경험 여부, 디브리핑 운영 계획 수립 및 시나리오 주제에 따른 디브리핑 방법을 모색하여 학습 성과 달성을 위해 적절한 디브리핑 시간을 사전에 계획할 필요가 있겠다.
디브리핑의 유형별 효과크기를 비교한 결과 교수자 주도 디브리핑 0.97, 동료 주도 디브리핑 0.80, 임상모델을 활용한 디브리핑 1.35, 비디오 활용 디브리핑 0.91로 모두 큰 효과크기를 보였다. 임상모델을 활용한 디브리핑 방법의 효과크기가 가장 컸는데, 분석된 논문에서 모두 Lasater의 Clinical judgment model을 활용하여 디브리핑이 이루어졌다. Lasater는 Tan-ner의 임상판단 모델의 인지, 해석, 반응, 성찰의 네 영역에 기초하여 임상판단력을 시뮬레이션 교육 시 적용, 평가하기 위해 임상판단력 루브릭(Lasater Clinical Judgment Rubric, LCJR)을 개발하였다. 이러한 임상판단력 루브릭을 이용한 디브리핑을 적용하여 질문할 경우 간호대학생은 분석, 합성, 평가할 수 있어 학습자의 경험학습에 도움이 되며[41], 간호대학생의 지식, 임상판단력, 자신감 및 임상수행능력을 향상시켰다[42,43]. 또한, 임상판단모델을 적용한 디브리핑 방법은 구조적인 디브리핑 방법으로 구조화된 질문이 있고, 피드백을 통하여 학습자가 학습 목표에 집중할 수 있도록 하며, 정보를 교환하는 과정인 피드백 과정을 통해 지식을 재구축하고, 비판적 사고를 고취 시킨다[37]. 그리고 체계적이고 구조화된 질문을 이용한 디브리핑은 학습자의 사고와 학습을 촉진시키고, 시뮬레이션 경험과 학생의 지식 간의 차이를 파악하여 지식과 실무를 연결할 수 있도록 도와주기 때문에[44], 효과적인 시뮬레이션 디브리핑 프로그램에 대한 개발 및 효과를 평가하기 위한 지속적인 노력이 요구된다.
출판 비뚤림은 통계적으로 유의하거나 임상적으로 긍정적인 연구결과가 통계적으로 유의하지 않거나 부정적인 연구결과에 비해 출판될 가능성이 커서 발생하는 비뚤림이다[45]. 출판편향의 위험이 의심되어 이를 보정하기 위해 Trim-and-Fill 방법을 이용하여 분석한 결과, 보정 전(Hedges’ g=1.06)보다 보정 후(Hedges’ g=0.68)의 효과크기에 변화가 있음을 확인할 수 있었다. 출판된 연구들을 대상으로 한 메타분석에서는 실제 효과크기에 비해 연구결과가 긍정적인 방향으로 과대 추정될 가능성이 크기 때문에[46] 메타분석 결과를 해석하는데 주의를 기울여야 하겠다.
본 연구의 제한점은 체계적 문헌 고찰과 메타 분석을 위해 검토 시작 전에 리뷰 계획서(review protocol)를 PROSPERO 에 등록하지 못하였다. 또 다른 제한점으로는 핵심질문(PICO)에서 중재방법을 시뮬레이션 교육 중 디브리핑을 주요 중재로 시행한 경우로 제한하였다. 시뮬레이션 교육과정에는 주로 디브리핑이 포함되어 교육이 이루어지기 때문에 추후에는 시뮬레이션 교육에서의 디브리핑 효과를 확인하고 비교하는 연구도 이루어져야 하겠다.
본 연구는 연구결과들의 통합을 통해서 시뮬레이션 디브리핑이 간호대학생들의 임상수행능력을 강화시키는데 효과적인 교육 방법임을 객관적으로 확인하였다는 데에 의의가 있다. 이에 본 연구결과를 바탕으로 시뮬레이션 디브리핑 프로그램 개발에 이론적 근거와 효과적인 디브리핑 전략을 위한 기초자료를 제공하며, 추후 관련 연구의 효과를 검증하는 연구가 이루어질 것으로 기대한다.
결 론
본 연구는 간호대학생을 대상으로 시뮬레이션 교육에서 이루어진 디브리핑의 임상수행능력에 대한 효과를 검증한 국내·외 연구를 체계적으로 고찰하고, 임상수행능력의 효과크기를 분석하였다. 그 결과 시뮬레이션 교육에서 이루어진 디브리핑은 간호대학생의 임상수행능력을 증진시키는데 효과적이었다. 조절효과분석을 통하여 이질성의 원인을 분석한 결과 디브리핑 시간이 시뮬레이션 디브리핑에 대한 효과크기의 이질성에 가장 큰 영향을 미치는 것으로 확인하였다. 따라서 간호대학생을 위한 시뮬레이션 교육 프로그램 계획 시 교육 주제와 목표에 따라 디브리핑 시간을 잘 고려한다면 효과적인 프로그램 운영에 도움이 될 것이다.
본 연구의 결과를 바탕으로 코로나19 발생 전과 후에 이루어진 시뮬레이션 교육에서의 디브리핑 효과의 차이를 비교·분석하는 고찰 연구를 제안한다. 또한, 시뮬레이션 교육에서 다루어지는 주제별로 디브리핑의 효과크기를 분석 ‧ 비교해보는 메타분석 연구도 시도해 볼 것을 제안한다.
Notes
CONFLICTS OF INTEREST
The authors declared no conflict of interest.
AUTHORSHIP
Study conception and design acquisition - Song, Y; Data collection - Park, S; Data analysis & Interpretation - Song, Y and Park, S; Drafting & Revision of the manuscript - Song, Y and Park, S.
References
Appendices
Appendix 1. List of Included Studies
S1. Aronson B, Bell A, Andrighetti T, Meyer M, Shepherd K, Bambini D. The effects of a deliberate practice debriefing during a response to rescue patient simulation with undergraduate nursing students. Nursing Education Perspectives. 2021; 42(4):235-237. https://doi.org/10.1097/01.NEP.0000000000000720
S2. Coppens I, Verhaeghe S, Van Hecke A, Beeckman D. The effectiveness of crisis resource management and team debriefing in resuscitation education of nursing students: a randomised controlled trial. Journal of Clinical Nursing. 2018;27 (1-2):77-85. https://doi.org/10.1111/jocn.13846
S3. Gaylle D. In-simulation debriefing increases therapeutic communication skills. Nurse Educator. 2019;44(6):295-299. https://doi.org/10.1097/NNE.0000000000000643
S4. Grant JS, Dawkins D, Molhook L, Keltner NL, vance DE. Comparing the effectiveness of video-assisted oral debriefing and oral debriefing alone on behaviors by undergraduate nursing students during high-fidelity simulation. Nurse Education in Practice. 2014;14(5):479-484. https://doi.org/10.1016/j.nepr.2014.05.003
S5. Ha EH. Effects of peer-led debriefing using simulation with case-based learning: written vs. observed debriefing. Nurse Education Today. 2020;84:104249. https://doi.org/10.1016/j.nedt.2019.104249
S6. Janicas RCSV, Narchi NZ. Evaluation of nursing students' learning using realistic scenarios with and without debriefing. Revista Latino-americana de Enfermagem. 2019;27:e3187. https://doi.org/10.1590/1518-8345.2936.3187
S7. Roh YS, Kelly M, Ha EH. Comparison of instructor-led versus peer-led debriefing in nursing students. Nursing & Health Sciences. 2016;18(2):238-245. https://doi.org/10.1111/nhs.12259
S8. Rossignol M. Effects of video-assisted debriefing compared with standard oral debriefing. Clinical Simulation in Nursing. 2017;13:145-153. https://doi.org/10.1016/j.ecns.2016.12.001
S9. Ryoo EN, Ha EH. The Importance of debriefing in simulation-based learning: comparison between debriefing and no debriefing. Computers, Informatics, Nursing. 2015;33(12): 538-545. https://doi.org/10.1097/CIN.0000000000000194
S10. Ko SJ, Choi EH. Effect of team debriefing in simulation-based cardiac arrest emergency nursing education. Korean Journal of Adult Nursing. 2017;29(6):667-676. https://doi.org/10.7475/kjan.2017.29.6.667
S11. Kim NY. The effects of debriefing utilizing the clinical judgment model on nursing students' knowledge, performance, teamwork, and clinical judgment in korean advanced life support training. [master's thesis]. Chungnam: Kongju National University; 2021, 1-80.
S12. Song CS, Lee HS, Yoon SJ. The effects of peer-led group debriefing utilizing video recording for simulation education on clinical performance, satisfaction on simulation session and debriefing. Journal of Learner-Centered Curriculum and Instruction. 2021;21(15):781-792. https://doi.org/10.22251/jlcci.2021.21.15.781
S13. Lee SH, Eom MR. The effects of structured debriefing methods in simulation based blood transfusion nursing education. Journal of Learner-Centered Curriculum and Instruction. 2019;19(9):1-21. https://doi.org/10.22251/jlcci.2019.19.9.1
S14. Jeong KI, Choi JY. Effect of debriefing based on the clinical judgment model on simulation based learning outcomes of end-of-life care for nursing students: a non-randomized controlled trial. Journal of Korean Academy of Nursing. 2017; 47(6):842-853. https://doi.org/10.4040/jkan.2017.47.6.842
S15. Choi SE, Kim HJ. Effect of structured debriefing on the learning outcomes of nursing students in simulation-based education. The Korea Institute of Information and Communication Engineering, 2018;22(9):1208-1213. https://doi.org/10.6109/jkiice.2018.22.9.1208
S16. Choi EH, Kwag YK. Problem solving & critical thinking between instructor and senior debriefing in simulation education for nursing students. Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology. 2016;6(4):191-200. https://doi.org/10.14257/AJMAHS.2016.04.07
S17. Choi EH, Lee EJ. Clinical practice and debriefing satisfaction after simulation debriefing with video. Journal of Korean Society for Simulation in Nursing. 2015;3(2):23-33.
S18. Ha EH, Song HS. The effects of structured self-debriefing using on the clinical competency, self-efficacy, and educational satisfaction in nursing students after simulation. Journal of Korean Academic Society of Nursing Education. 2015;21(4):445-454. https://doi.org/10.5977/jkasne.2015.21.4.445