동영상 촬영과 피드백을 이용한 실습교육이 보건의료전공 대학생의 술기수행능력에 미치는 효과: 메타분석
Abstract
Purpose
A meta-analysis was conducted to evaluate effectiveness of education programs using video recording and feedback in the improvement of competency in clinical skills for health care majors.
Methods
Six databases were searched and inclusion criteria were randomized controlled trials (RCTs) or non-randomized controlled trials (NRTs) reporting level of skill competency using numerical measurements. Data analysis and synthesis were performed using Comprehensive Meta-Analysis software and Revman program.
Results
Of 1,568 records, 11 studies met inclusion criteria. Statistically significant effectiveness of education programs using video recording and feedback was identified. A low risk of bias was detected among both RCTs and NRTs. Meta-analysis showed that the intervention groups had more effective improvements in skill competency (standardized mean difference [SMD]: 0.74; 95% CI: 0.33~1.16). Results of subgroup analysis showed higher effects when interventions dealt with one skill, used self-reflection with expert feedback, and included instruction from instructor in the education programs.
Conclusion
Findings suggest that schools for health care majors should actively adopt video and feedback based skill training allowing educators to design effective programs. Potential is higher for students to achieve higher competency when they train with one skill at a time, use of instruction and receive feedback from experts.
주요어: 메타분석, 학생, 동영상 촬영, 피드백. 술기
Key words: Meta-analysis, Students, Video recording, Feedback, Skills
서 론
1. 연구의 필요성
간호교육의 목표는 학생들이 간호대상자의 건강문제를 해결할 수 있도록 지식, 기술, 태도의 역량을 통합하여 추후 전문직 간호사로 성장하도록 도와주는 것이다. 이를 위해 교육과정은 이론 교육을 통해 간호의 과학적 근거를 습득하고, 실습교육을 통해 기술과 태도를 배양할 수 있어야 한다. 간호교육의 학습목표 성취와 학부교육의 필수요소 중 하나인 술기 역량강화에 있어 실습교육이 차지하는 비중과 중요성은 점차 더 커지고 있으며, 바람직한 실습교육은 학생들이 이론적 지식을 실제 임상상황에 적용할 수 있도록 학습하고 경험을 쌓는 것에 중점을 두어야 한다[ 1, 2]. 그러나 실습교육의 현실적인 여건은 실습지의 부족, 환자안전의 강조에 따른 환자에 대한 제한적인 접근, 제대로 실습교육을 시키기에 부족한 교수요원과 시간부족 등의 이유로 인해 학생들에게 주어지는 술기습득을 위한 직접적인 실습의 기회가 제한적이다. 이러한 상황은 학생들로 하여금 졸업 후 전문직의 한 사람으로 임상현장에 나갔을 때 자신감 저하를 야기하고, 부족한 자신감으로 인해 스트레스를 경험하며, 환자안전을 저해하거나 또는 많은 간호사의 이직으로 이어져서 임상현장에 부정적인 영향을 미치고 있다[ 1]. 최근 학부생들의 술기 교육에서 이러한 문제점을 해소하고 현장의 변화를 충족시킬 수 있는 교육의 성과 측면에서 효율적이고 효과적인 혁신적 실습교육 방법을 개발하고 구현하기 위해 능동적인 방식의 술기강화 실습교육이 다양하게 시도되고 있다[ 3, 4]. 그중 특히 동영상을 활용한 실습교육의 효과에 대해 긍정적인 결과[ 5- 7] 또는 부정적인 결과[ 8- 10]가 혼재되어 발표되고 있다. 학습자원으로 동영상 또는 멀티미디어 학습은 학생 개개인의 학습능력에 따라 속도조절, 반복학습 등의 학습이 가능하여 보다 깊이 있는 학습을 촉진하고 학생들의 스스로 학습이 가능하도록 돕는 장점이 있다. 그러나 동영상 기반 학습만으로는 교수자의 실시간 평가나 자신의 학습목표 달성에 대한 자가 평가를 제공하지 못한다는 단점 역시 지니고 있다[ 11]. 따라서 동영상을 활용한 실습교육의 이러한 단점을 보완하기 위해 실습교육, 특히 보건의료전문직의 핵심역량으로 가장 중요한 술기능력을 습득함에 있어 술기를 수행하는 모습에 대한 동영상 촬영과 피드백을 통합한 실습교육의 효과가 밝혀지고 있다[ 12- 14]. 임상 피드백은 "학생의 술기를 향상시키기 위한 목적으로 학생의 술기상태와 달성기준을 비교하여 제공하는 구체적인 정보"라고 정의된다[ 15]. 임상실습교육에서 강의, 동영상, 피드백 등을 혼합하여 사용한 교육방식이 학생들의 술기능력 향상에 효과적이며 피드백을 제공하지 않을 경우 학습자의 술기능력 향상을 기대하기 어려울 수도 있다[ 16]. 특히 강의 후 술기시범과 배운 내용을 연습해 보는 기존의 실습교육에서는 학생들이 자신의 술기수행 과정을 정확하게 자성할 기회가 없어서 술기능력 향상을 위한 실습방법으로 효율성이 부족하였다. 그러나 동영상 촬영을 이용한 실기교육은 술기를 수행하는 모습을 촬영한 후 그 모습을 즉각적으로 직접 관찰하고 피드백 함으로써 부족한 술기수행을 즉시에 파악하여 이를 개선할 수 있는 장점이 있어서 학습자의 술기역량을 향상하는데 도움이 될 수 있다[ 12]. 그러나 피드백이 제한적이거나 만족스럽지 못할 때 학습자로부터 비평의 초점이 되기도 하고, 시간적인 부담이나 제약이 있을 때에는 피드백이 학습자나 교수자에게 스트레스로 작용하여 그 교육적 가치에 의문의 여지가 있으며, 피드백의 효과도 긍정[ 13, 17], 또는 부정[ 18]으로 상이하게 나타나고 있다. 최근 한 연구에 따르면 학생의 자가 조절력이 피드백 메시지와 상호 작용하여 학습을 도울 수도 방해할 수도 있는 것으로 나타났다[ 19]. 환자안전에 대한 강조와 환자 및 보호자의 의료에 대한 기대가 높아지고 있는 임상현장에 부응하여 안전하고 숙련된 술기역량을 갖춘 의료인 배출이 필수적이다. 이를 위해 동영상 촬영을 이용한 실습교육과 그 효과를 배가하기 위해 피드백을 동시에 사용하고는 있지만 동영상 촬영을 이용한 피드백 실습교육의 적용방식이 다양하여 결과에 차이를 보이고 있다[ 12- 14]. 그러므로 메타분석을 통해 추후 학교와 임상에서 동영상 촬영을 이용한 피드백 실습교육의 바람직한 방향을 제안할 필요가 있다고 판단하였다. 이에 본 연구결과는 술기역량의 향상을 위한 가장 효과적인 중재요소와 방법을 규명하는 자료로 이용될 수 있을 것이다. 따라서 본 연구는 동영상 촬영을 이용한 피드백 실습교육이 보건의료전공 대학생의 술기역량에 미치는 효과를 검증하기 위해 메타분석을 이용하여 이러한 실습교육의 효과크기를 분석하고, 술기강화 실습교육 적용방식에 따른 효과크기를 분석, 비교하고자 한다. 이를 통해 동영상 촬영을 이용한 피드백 실습교육의 효과에 대한 연구결과들을 종합함으로써 술기능력을 향상시키기 위해 가장 효과적인 동영상 촬영과 피드백 활용 실습교육의 방법을 규명하고 앞으로 실습교육에서 이러한 교육방법을 이용하는데 도움이 되는 기초자료를 제시하고자 한다.
2. 연구목적
본 연구의 목적은 보건의료전공 대학생의 술기능력을 향상시키기 위해 동영상 촬영과 피드백을 이용한 실습교육을 적용한 중재연구들을 대상으로 메타분석을 실시하여 동영상 촬영과 피드백 활용 실습교육의 효과를 검증하고자 함이며 이를 위한 구체적인 목적은 다음과 같다.
• 동영상 촬영과 피드백을 이용한 실습교육이 보건의료 전공 대학생의 술기수행능력에 미치는 효과크기를 산출하고 그 통계적 유의성을 검정한다.
• 동영상 촬영과 피드백을 이용한 실습교육의 중재 특성에 따른 효과크기를 산출하고 그 통계적 유의성을 검정한다.
연 구 방 법
1. 연구설계
본 연구는 간호학과 의학을 포함한 보건의료전문직 대학생을 대상으로 시행된 동영상 촬영과 피드백을 이용한 실습교육에 대한 중재연구의 효과를 통합하고 이러한 중재들이 학생들의 술기 수행능력의 향상에 미치는 효과를 확인하는 메타분석 연구이다.
2. 자료의 선정기준
본 연구는 Preferred Reporting for Systematic Reviews and Meta-Analysis (PRISMA)에서 제시한 연구지침에 따라 수행하였다[ 20].
1) 선정기준
핵심질문 전략인 PICO-SD (Participants, Intervention, Comparison, Outcomes, Study Design)을 활용한 문헌의 선택, 배제기준에 따라 데이터베이스 검색 후 문헌을 검토하였다. 연구대상(P)은 간호학, 의학을 포함하는 보건의료전문직 대학생이고, 중재(I)는 동영상 촬영과 피드백을 이용한 실습교육을 대상으로 하였다. 동영상의 유형은 캠코더나 스마트폰(모바일 폰 포함) 등을 사용하여 제작한 비디오 영상물을 포함하며, 피드백은 연구자나 전문 실습 강사가 제공하는 피드백과 학생 스스로 본인의 술기를 평가한 내용을 포함하였다. 비교대상(C)은 보건의료전문직 대학생에게 제공된 통상적인 실습교육으로 동영상 촬영과 피드백을 활용하지 않은 실습교육을 받은 집단을 비교대상으로 하였다. 결과(O)는 술기수행능력으로 체크리스트 등을 활용하여 객관적 관찰을 통해 평가한 정량적 점수를 결과 값으로 선택하였다. 마지막으로 연구설계(SD)는 반드시 대조군을 포함한 중재연구로서 무작위 대조군 연구(Randomized Controlled Trials, RCTs), 비무작위 대조군 연구(Non-randomized Controlled Trials, NRTs)를 포함하였다.
2) 배재기준
본 연구의 메타분석을 위한 배재기준은 1)보건의료전공 대학생 대상이 아닌 연구, 2)동영상 촬영과 피드백을 둘 다 이용한 실습교육이 아닌 연구, 3)대조군이 없는 연구(질적 연구, 종설, 관찰연구 등), 4)결과로 술기수행능력을 포함하지 않았거나 객관적 관찰을 통한 정량적 방법으로 측정된 결과 값을 제시하지 않은 논문, 5) 출판되지 않은 학위논문이나 연구보고서 등은 제외하였다.
3. 자료검색 및 선정
1) 자료검색
문헌검색은 기한의 제한을 두지 않고 최종 검색일인 2017년 12월 7일 이전까지의 검색 가능한 논문을 대상으로 하였다. 검색에 활용된 국외 데이터베이스는 Medline (Ovid), Embase, Cochrane, Cinahl을 포함하고 국내 데이터베이스는 Koreamed와 RISS (Research Information Sharing Service)를 통해 논문을 검색하였다. 주요용어의 text word와 MeSH 용어를 Boolean 연산자(AND, OR)를 이용하여 검색식을 수립하였고 전문가의 검증을 통해 체계성을 확립하였다. 검색식에 사용된 핵심어로 대상자(P)인 보건의료 전공 대학생에 대해서는(‘Education, Medical’ OR ‘Education, Nursing’ OR ‘Education, Health Student’)을 활용하였다. 중재(I)인 술기교육에 대해서는(‘Clinical education’ OR ‘Clinical Clerkship’)을 활용하였고 동영상 촬영에 대해서는(‘Video Recording’ OR ‘Videotape Recording’ OR ‘Smartphone’ OR ‘Cellular phone’ OR ‘Mobile phone’) 또한 피드백에 대해서는(‘Feedback’)을 활용하였다. 국내 데이터베이스 검색을 위한 한국어 핵심어로 대상자(P)인 보건의료 전공 대학생에 대해서는(‘의과대학생’ OR ‘간호학생’ OR ‘보건대학생’)을 활용하였다. 중재(I)인 술기교육에 대해서는(‘술기’ OR ‘스킬’)을 활용하였고 동영상 촬영에 대해서는(‘비디오’ OR ‘동영상’ OR ‘스마트폰’ OR ‘모바일폰’ OR ‘휴대폰’) 또한 피드백에 대해서는(‘피드백’)을 활용하였다. 언어는 영어와 한국어로 발표된 논문을 연구에 포함시켰다.
2) 자료의 선별
2명의 연구자가 독립적으로 수집된 문헌들을 검토하였고 의견의 불일치가 있는 문헌에 대해서는 논의를 통해 합의점을 찾았으며 필요시 제3의 연구자에게 자문을 구하였다. 엔드노트(ENDNOTE X7)를 이용하여 데이터베이스에서 검색된 문헌들을 관리하였고 중복문헌을 검사하였다. 먼저 논문 제목과 초록을 검토하였고 이후 걸러진 논문에 대해서 전문(full text)을 구해 검토하여 선정기준에 부합되는지를 판단하였다. 각각의 단계별로 제외된 문헌은 연구자에 의해 관리되었고 제외이유에 대해 기록을 남겼다. 선정된 논문들은 Cochrane Collaboration 모델[ 21]에서 제시된 체계적인 자료추출 양식에 따라 연구대상자, 중재의 유형, 결과변수 측정도구, 결과에 대한 자료를 추출하였다.
3) 문헌의 질평가
문헌의 질평가를 위해 2개의 도구가 사용되었고 2명의 연구자가 독립적으로 11개의 최종문헌을 평가하였다. 의견의 불일치가 있는 문헌에 대해서는 논의와 함께 제 3의 연구자의 의견을 반영하여 일치된 결과를 도출하였다. 무작위 대조군 연구(RCTs)에 대해서는 Cochrane Collaboration의 risk of bias (ROB) 도구를 사용하였고 비무작위 대조군연구(NRTs)에 대해서는 한국보건의료연구원의 ROB assessment tool for nonrandomized studies (ROBANS) 도구를 사용하여 문헌의 질평가를 실시하였다[ 22].
4. 자료분석
동영상 촬영과 피드백을 사용한 교육중재의 술기능력에 대한 효과크기 및 동질성은 Comprehensive Meta-Analysis (CMA 3.0)을 이용하여 분석하였다. 술기능력에 대한 결과변수는 체크리스트 등의 측정도구로 측정한 다양한 결과값을 표준화하기 위해 표준화된 평균차(Standardized Mean Difference, SMD)와 95% Confidence Interval (CI)가 계산되었다. 논문의 이질성은 I2 값으로 판단되었고 50% 이상일 경우 변량효과모형(random effects model)을 적용하여 효과크기를 산출하였다. 연구의 특성에 따른 효과의 차이와 논문들의 이질성의 원인을 알아보고자 하위그룹 분석을 실시하였다. 하위그룹분석의 기준은 1)피드백 유형(자가 피드백 vs 전문가 피드백 vs 자가 피드백과 전문가들의 피드백 동시에 적용 vs 자가 피드백과 동료피드백 적용), 2)중재 당 술기항목 수(단일의 술기에 대한 교육 중재 vs 복수의 술기에 대한 교육중재), 3)교육 프로그램의 구성(자율학습 vs 교수자의 지도[강의, 1대1 지도, Q&A 등]를 포함하는 프로그램), 4)연구참여자 특성(간호학생 vs 의학생 vs 그 외 다른 보건의료 전공학생)이다. 마지막으로 출판편향(publication bias)의 검증을 위해 funnel plot과 함께 Egger’s 회귀분석(Egger’s regression test)과 안전계수(Fail- Safe Number, FSN)를 이용한 통계적 분석을 시행하였다.
연 구 결 과
1. 자료의 선정
자료선정기준에 따라 메타분석에 포함된 연구는 총 11편으로 자료선정과정은 Figure 1에 제시되어 있다. 6개의 데이터베이스에서 1,568문헌이 추출되었고 수작업을 통해 2개의 문헌이 추가되었다. 232개의 중복 문헌을 제외하고 총 1,338개 문헌의 초록과 제목을 검토하는 1차 선별과정이 이루어졌다. 이중 연구대상자가 선정기준에 부합하지 않은 연구, 결과변수로 술기수행능력을 측정하지 않은 연구, 연구설계가 선정기준에 부합하지 않은 대조군을 포함한 중재연구가 아닌 연구논문 총 1262편이 제외되었다. 이후 76개의 문헌에 대한 원문검토가 이루어졌고 총 65편의 문헌이 제외되었다. 이 중 37편의 문헌이 중재에 대한 선정기준에 부합하지 않았고 24편의 논문은 대조군을 포함하는 실험연구가 아니었으며 4개의 문헌은 메타분석에 적합한 결과값을 보고하지 않았다( Figure 1).
2. 메타분석에 포함된 연구의 특성
메타분석에 포함된 11편의 연구의 특징은 Table 1과 같다. 11편중 RCT 연구는 4편이었고 그 외 유사실험연구는 7편이었다. 모든 논문은 학술지에 게재된 논문으로 2012년 이후에 발표된 것이었다. 간호학전공 대학생을 대상으로 한 연구가 7편(53.8%), 의학전공 대학생을 대상으로 한 연구가 2편, 물리치료학 전공 대학생 연구가 2편이었다. 수행국가는 우리나라에서 시행한 연구가 7편, 호주 2편, 영국과 캐나다에서 수행한 연구가 각각 1편이었다. 중재내용별로 살펴보면 6편(54.5%)의 연구에서는 자기주도 학습형 술기교육으로 교수자의 참여가 없었고 나머지 5편의 연구에서는 일대일 교육, 강의, 시범설명 등 교수자의 참여가 있었다. 교육 내용으로는 1가지 술기에 대한 교육 중재를 실시한 연구가 6편(54.5%)이었고 그 외의 논문에서는 교육중재 당 2~11개의 복수의 술기에 대한 교육이 제공되었다. 1가지 술기에 대한 교육 중재를 사용한 경우 2주간 시행된 1편의 문헌을 제외하고 1일 또는 2일 이내의 단기간 교육이 시행되었다. 2가지 이상의 복수의 술기에 대한 교육의 경우 중재기간이 5일에서 15주이었다. 피드백의 경우 자가 피드백만 사용한 연구가 3편, 전문가와 자가 피드백을 사용한 연구가 4편, 전문가 피드백 없이 동료와의 짐단 토의를 통한 피드백과 함께 자가 피드백을 제공한 연구가 4편이었다.
3. 질 평가 결과
4편의 RCT에 대한 질 평가 결과 전반적으로 높은 수준인 것으로 확인되었다( Appendix 1). 1편의 논문에서 배정은폐와 눈가림영역에서 비뚤림 위험이 높게 나타났다. 또한 1편의 논문에서 중도탈락자에 의해 생길 수 있는 비뚤림 위험이 있는 것으로 나타났다. 7편의 NRT 연구의 질평가 결과 전반적으로 연구방법론의 질이 높은 수준으로 확인되었다. 교란변수, 중재측정, 불완전한 자료, 선택적 결과보고 영역에서 대부분의 연구에서 낮은 비뚤림 위험을 보였다. 그러나 대상자 선정 영역의 경우 1편의 연구에서 대상자 선정방법에 대한 정확한 보고가 없었다. 또한 결과평가에 대한 눈가림 영역의 경우 3편의 연구에서 결과평가 자료수집자에 대한 눈가림에 대한 보고가 없거나 눈가림이 이루어지지 않았다( Appendix 1). 또한, 포함된 11편 중 3편의 문헌에서 이해의 상충이 없음을 보고하였다.
4. 출판편향에 대한 검정
출판편향을 검정하기 위해 Funnel plot의 대칭성을 확인하고 안전계수(FSN), Egger’s 회귀분석을 시행하였다( Figure 2). 육안으로 확인한 Funnel plot은 비교적 대칭적으로 확인되었고 Egger’s regression test 결과 출판편향이 없는 것으로 나타났다( p=.995). 안전계수의 경우 본 메타분석의 결과를 기각하기 위해 필요한 논문수는 250편으로 확인되었다.
5. 동영상 촬영과 피드백을 이용한 실습교육중재의 전체 효과크기
총 11편 연구를 대상으로 동영상 촬영과 피드백을 사용한 중재가 학생들의 술기능력에 미치는 효과크기를 분석하였다( Figure 3). 연구 논문들의 동질성을 확인한 결과 동질하지 않은 것으로 확인되어(I 2=86.0%) 랜덤효과모형을 사용하였다. 대조군과 비교한 결과 실험군학생의 술기능력향상에 대해 통계적으로 유의한 차이가 확인되었다(SMD=0.74, 95% Confidence Interval [CI]: 0.33~1.16). 연구설계별 효과크기를 알아보기 위해 4편의 RCT와 7편의 NRT 각각의 효과크기를 계산하였다. 7편의 NRT에 대한 메타분석 결과 실험군과 대조군의 통계적으로 유의한 차이가 확인되었다(SMD=0.82, 95% CI: 0.24~1.39). 4편의 RCT 연구의 효과크기에 대한 분석에서도 통계적으로 유의한 차이가 확인되었다(SMD=0.57, 95% CI: 0.23~0.91).
6. 하위그룹분석
1) 피드백 유형
중재 관련 특성 중 피드백 유형에 대한 하위그룹 분석을 통해 효과크기를 계산 하였다( Figure 4). 자가 피드백과 전문가 피드백을 같이 사용한 연구는 4편으로 효과크기는 1.05 (95% CI: 0.14~1.97)이었고 통계적으로 유의하였다. 그리고 자가 피드백과 동료피드백을 함께 사용한 연구는 4편이었으며 효과크기는 0.45 (95% CI: 0.10~0.79)로 확인되었으며 통계적으로 유의하였다. 자가 피드백만 사용한 연구는 3편이고 효과크기는 0.71 (95% CI: -0.07~1.50)로 통계적으로 유의하지 않았다.
2) 중재 당 술기항목 수
중재 관련 특성 중 중재 당 술기항목 수에 대한 하위그룹 분석을 통해 효과크기를 계산하였다( Figure 4). 한 가지 술기만 적용한 연구는 총 6편으로 효과크기는 0.85 (95% CI: 0.16~1.54)로 통계적으로 유의하였다. 복수의 술기를 장기간 적용한 중재연구는 5편으로 효과크기는 0.62 (95% CI: 0.15~1.09)로 통계적으로 유의하였다.
3) 교육 프로그램의 구성
중재 관련 특성 중 교육 프로그램의 구성에 대한 하위그룹 분석을 통해 효과크기를 계산하였다( Figure 4). 자기주도형 학습을 이용한 연구는 6편으로 효과크기는 0.61 (95% CI: 0.18~1.05)로 통계적으로 유의하였다. 술기 교육 프로그램에서 일대일 지도, Q & A 시간이나 강의 등을 통한 교수자의 지도를 포함시킨 논문은 5편이고 산출된 효과크기는 0.90 (95% CI: 0.09~1.70)로 통계적으로 유의하였다.
4) 연구참여자 특성
중재 관련 특성 중 대상자의 전공에 따른 하위그룹 분석을 통해 효과크기를 계산하였다( Figure 4). 의학전공 대상의 논문은 2편으로 산출된 효과크기는 0.67 (95% CI: 0.14~1.20), 간호학 전공은 7편이고 산출된 효과크기는 0.82 (95% CI: 0.24~1.39)이었고 모두 통계적으로 유의하였다. 물리치료전공 대상 연구는 2편으로 산출된 효과크기는 0.50 (95% CI: 0.07~0.94)이었으며 통계적으로 유의하였다.
논 의
본 연구는 동영상 촬영과 피드백을 활용한 실습교육이 보건의료전공 대학생의 술기능력 향상에 미치는 효과에 대해 메타분석 하여 그 효과를 규명하였다. 분석에 포함된 11편의 연구는 모두 2013년 이후에 발표된 것이며, 이중 7편(63.6%)이 국내 연구였고 모두 간호학전공 대학생을 대상으로 한 연구였다. 이는 현재 우리나라 간호교육기관 수가 204개이고[ 23], 2008년에 간호사 면허를 취득한 간호사 국가고시 합격자수가 11,333명이던 것이 2017년에 19,473명으로 10년 동안 71.8%가 증가한 것[ 24]과 관련될 것이다. 이처럼 급속하게 증가한 간호대학생의 술기교육을 제대로 교육하기에 충분한 교수인력과 환경이 학생 수에 비례하여 충족되지 못함과 동시에 최근 환자안전이 더욱 강조됨으로 인해 직접 술기교육의 어려움이 높아지고 있다[ 3]. 이로 인해 이와 같은 동영상 촬영과 피드백을 활용한 술기교육의 필요성이 국내에서 점차 증가하고 있기 때문인 것으로 분석된다. 또한 우리나라의 경우 한국간호교육평가원에서 명시하는 핵심기본간호술의 교육의 일환으로 학생들에게 일정시간 자율실습(open lab)의 기회가 부여된다. 이러한 자율실습의 효율성과 효과성을 높이기 위해 최근 학생의 행위를 스마트폰으로 촬영하고 이를 이용한 학습이 활발히 이루어지고 있다[ 12, 14]. 스마트폰을 이용한 동영상 촬영과 피드백 교육의 효과를 확인한 국내 연구가 많이 포함되어 있는 것은 우리나라 스마트폰 가입자 수 증가와 비례하여 이를 활용한 교육이 증가하고 있음을 반영하는 것으로 생각된다. 포함된 11편의 논문의 질 평가 결과를 살펴보면, RCT의 경우 모든 연구에서 무작위화의 수행과 함께 방법에 대한 보고가 이루어진 반면 배정은폐나 연구참여자 및 연구자에 대한 눈가림에 대한 구체적인 보고는 제대로 이루어지지 않고 있었다. 간호교육에서 시뮬레이션 적용효과를 메타 분석한 연구의 질 평가 결과[ 26], 배정은폐와 눈가림을 보고하지 않은 연구가 상당수 있음을 밝히고 있어 본 연구결과와 유사하다. 이는 연구 윤리에 대한 심의를 받기 위해서는 대상자에게 연구참여 동의를 받아야 하고 학생실습 교육의 중재효과를 비교하기 위해서는 중재의 이질성을 줄이는 것이 바람직하므로 거의 대부분의 연구에서 같은 학교에 재학 중인 학생들을 선정하여 실험군과 대조군으로 배정하였기에 철저하게 눈가림하는데 한계가 있을 것으로 추정된다. 특히 술기평가의 경우, 평가자 눈가림이 중요한데 RCT와 NRT의 일부 연구들에서 이에 대한 구체적인 언급이 없거나 눈가림 수행에 대한 어려움을 보고하였다. 술기 평가는 전문가의 평가가 요구되는 특성상 한정된 인력으로 연구를 진행해야 하는 현실적인 여건의 한계가 있었을 것으로 이해되나 추후 철저한 평가자 눈가림을 통해 술기평가에 대한 정확한 측정으로 결과에 대한 신뢰도를 높이고, Consolidated Standards of Reporting Trials (CONSORT)와 같은 연구지침을 준수하여 연구를 진행하고 보고하도록 노력해야 할 것이다. 본 연구에서 총 11편의 연구를 메타분석 한 결과, 동영상 촬영과 피드백을 사용한 중재가 학생들의 술기능력향상에 효과가 있는 것으로 나타났다. 동영상 촬영과 피드백을 이용한 실습교육의 효과를 분석한 메타분석 논문이 없어 본 연구결과를 직접적으로 비교하기는 어렵지만, 시뮬레이션을 활용하여 실습교육을 제공한 결과 임상술기가 향상됨을 메타분석으로 확인한 연구결과와 유사하다[ 25- 27]. 본 연구에 포함한 동영상 촬영과 피드백을 이용한 실습교육과 이들 선행연구에 포함된 시뮬레이션 실습교육은 동영상을 활용하는 방식과 목적이 다르지만, 시뮬레이션 실습의 핵심요소인 디브리핑 역시 피드백을 제공하는 것으로 이러한 피드백이 학습효과에 필수적이고, 가장 중요한 영향을 미칠 수 있으므로[ 26] 적극적으로 활용해야 할 것이다. 특히 국내에서 빠른 속도로 증가된 간호교육기관은 경쟁적으로 임상실습현장을 확보해야 하고, 환자안전을 보장하기 위해 관찰위주의 술기실습으로 제한되고 있는 임상상황 속에서 역량기반 간호교육을 강조하는 현실에 직면해 있다[ 26]. 이러한 현실에서 술기역량을 향상시키기 위한 방법으로 술기를 수행하는 모습을 촬영한 후 그 모습을 직접 관찰하고 피드백 함으로써 부족한 술기수행을 즉시에 파악하여 개선할 수 있는 동영상 촬영과 피드백을 이용한 실습교육을 앞으로 더욱 권장할 필요가 있다. 중재특성에 따른 하위그룹 분석결과 자가 피드백보다 전문가의 피드백이 술기능력에 대한 효과크기가 더 큰 것으로 확인되었다. 이는 시뮬레이션 기반 술기교육을 위한 피드백의 효과에 대한 메타분석 결과 피드백이 중간 정도의 효과가 있음을 확인하였고 강사의 피드백을 포함하였을 때 효과가 더 좋았음을 제시한 결과와 일치한다[ 28]. 교수진은 일반적으로 기술습득을 감독하고 직접 관찰함으로써 술기능력 향상에 도움을 제공할 수 있다. 또한 학생의 자기조절의 맥락에서 자가 피드백을 하는 것의 결과는 피드백 메시지와 상호작용하여 학습을 도울수도 있지만 방해할 수도 있다고 하였다[ 19]. 본 연구에서는 자가 피드백도 중간정도의 효과크기를 보여서 술기능력 향상에 유익함을 입증하였으나 동영상 촬영과 피드백을 통해 잘못된 부분을 눈으로 확인하고 부족한 부분을 지적받는 과정이 학생들의 수행자신감 향상으로까지는 연결되지 않는다는 점을 고려할 때[ 14] 피드백을 제공하는 방법에 따른 학습효과의 차이를 지속적으로 연구할 필요가 있다고 본다. 또한 한 중재에서 한 가지 술기만 교육했을 때 더 큰 효과크기가 확인되었다. 동영상을 활용한 실습교육은 교수자의 면대면 실습교육보다는 아무래도 직접적인 개입이 적기 때문에 술기 숙련도가 부족한 학생 입장에서는 여러 가지 술기를 동시에 배우는 것보다는 한 가지 술기의 습득을 목표로 하여 학습하는 것이 학습몰입도가 높을 것이다. 이는 학생들에게 메타 인식과 과업 몰입을 증가시킬 수 있는 전략을 선택하여 학습목표에 따라 보다 적극적으로 실습에 참여할 수 있도록 교육 프로그램을 향상시킬 것을 언급한 것[ 29]과도 일맥상통한다. 또한 중재 당 술기 항목 수는 중재기간과도 관련이 있으며 이는 학생의 술기능력에 대한 평가 점수에 영향을 줄 것이다. 복수의 술기를 중재에 포함시키기 위해 장기간 시행되어야 하며 모든 교육이 끝나고 평가하는 중재연구의 특성상 평가되는 모든 술기에 높은 점수를 획득하기는 어려움이 있을 것이다. 특히 장기간의 자기주도형 학습의 경우 학생들의 자발적이고 지속적으로 반복적인 연습을 가능하게 하는 전략이 필요할 것이다. 어느 정도의 교수자의 개입이 프로그램의 구성에 포함되었을 때 더 큰 효과크기가 있음을 확인하였다. 이는 최근 혼합형 학습(blended learning)이 교육에서 부각되고 있고 그에 따라 학부 간호교육의 임상술기 교육에 온라인 또는 혼합형 학습과 면대면 학습의 효과를 평가하는 체계적 고찰[ 3]이 시도되었는데 그 결과가 본 연구를 뒷받침한다. 이 선행연구에서는 근거가 충분하지는 않았으나 온라인 학습만 제공한 것과 비교할 때 술기수행과 습득에서 혼합형 학습이 유의한 차이를 보임을 확인하였고, 이러한 제한된 증거는 추후 학부 간호교육의 임상술기 교육에서 혼합형 학습 접근법의 바람직한 적용을 위해 지속적으로 연구할 필요가 있다고 제안하였다[ 3]. 따라서 학생들의 술기 역량 강화를 위해 동영상을 활용한 피드백 실습교육을 적용할 때에도 사전에 간략하게라도 교수자가 진행하는 강의나 질의응답 시간을 포함하는 것이 더 효과적일 것이다. 본 연구는 동영상 촬영과 피드백을 이용한 실습교육의 효과에 대해 개별적으로 보고한 연구들의 결과를 메타분석을 통해 종합함으로써 변화하는 대학교육과 임상현장에 부응하여 보건의료 전문직의 필수 역량인 술기능력을 향상시키기 위해 실습교육에서 효과적으로 이 교육방법을 활용할 수 있도록 하는데 도움을 제공하였다는데 의의가 있다. 본 연구는 PRISMA에서 제시한 연구지침에 따라 메타분석을 진행하였으나 다음과 같은 제한점을 지니고 있다. 먼저, 문헌을 데이터베이스를 이용하여 검색하였기 때문에 미발표 연구가 제외되었을 가능성이 있으며, 또한 미출간된 학위논문이나 연구보고서 등의 회색 문헌이 제외되어 미출간된 자료에 포함된 정보 반영에 제한이 있다. 또한 영어와 한국어로 발표된 논문만을 포함하였기 때문에 두 언어를 사용하는 언어권의 정보가 과다하게 반영되었을 가능성이 있다. 둘째, 메타분석의 효과크기 분석에 필요한 결과 값이 없는 연구는 배제하였으므로 동영상 촬영을 활용한 피드백 실습교육의 효과가 과대 또는 과소 분석되었을 가능성이 있으므로 결과 해석에 주의가 필요하다. 마지막으로 보건의료전문직의 주요 핵심역량 중 술기역량에 미치는 동영상 촬영과 피드백 실습교육의 효과에 관심을 두었기에 동영상 촬영을 활용한 피드백 실습교육이 다른 역량에 미치는 효과는 결과변수에 포함하지 않았으므로 다른 결과변수의 효과에 대한 추후 메타분석 연구가 필요하다.
결 론
본 연구는 메타분석을 통해 동영상 촬영과 피드백을 이용한 실습교육 중재가 보건의료전공 학생들의 술기능력에 미치는 효과크기에 대해 국내외 연구를 대상으로 알아보았다. 동영상 촬영과 피드백을 이용한 실습교육중재에 대한 통합된 결과는 기존의 실습교육보다 더욱 효과적으로 학생들의 술기능력을 향상시킬 수 있음을 보여주었다. 최근 보건의료전공에서 술기역량 강화를 위한 임상술기 교육의 중요성이 강조되는 현실을 고려할 때 동영상 촬영과 피드백을 술기교육에 사용하는데 본 연구가 의미 있는 근거로 활용될 수 있을 것이다. 또한 전문가의 피드백을 활용하고, 한 중재에 단일의 술기만을 포함하며, 교수자의 지도가 중재에 포함되었을 때 더욱 긍정적인 효과가 있음을 보고하고 있으므로 추후 이러한 요소들을 실습교육에 반영할 필요가 있음을 제시하였다. 본 연구에서는 실습교육중재에 대한 무작위 대조군 연구의 수행에 대한 현실적인 제한으로 인해 비무작위 대조군 연구들이 포함되었다. 그러므로 추후 잘 설계된 무작위 대조군연구의 추가적 수행을 통한 결과값의 신뢰도 향상과 더불어 본 연구에서 살펴보지 못한 다른 역량에 대한 메타분석도 진행되어야 할 것이다.
Figure 1.
Flow diagram of study selection. 
Figure 2.
Funnel plot for publication bias. 
Figure 3.
Forest plots of the effects of education program using video recording and with feedback on skill competency. 
Figure 4.
Subgroup analysis by characteristics of interventions. 
Table 1.
Summary of Included Studies in the Meta-analysis
|
First author (year) |
Majors/sample (n) |
Country |
Intervention
|
Control group |
Outcome measurements (Skill competency) |
|
Program |
Education strategies |
Feedback |
Skill |
Duration / session |
|
RCTs
|
|
|
|
|
|
|
|
|
|
|
|
Maloney_1 (2013) |
Physiotherapy |
Australia |
Student self video (SSV) of clinical performance |
1. Unsupervised open lab |
Tutor's feedback and self reflection |
Complex clinical skill (2 skills) |
2 weeks / - |
Pre-recorded video tutorial (PVT) |
Detailed assessment rubric |
|
E : 13 |
2. Frequent tasks to submit self-filmed video |
|
C : 15 |
|
Maloney_2 (2013) |
Physiotherapy |
Australia |
Student self video (SSV) of clinical performance |
1. Tutoring |
Peer feedback and self reflection |
Complex clinical skill (2 skills) |
2 weeks / - |
Regular practical tutoring |
Examination criteria for OSCE |
|
E:26 |
2. Supplemented self-video task aimed at promoting reflection on performance |
|
C:30 |
|
Nesbitt (2015) |
Medicine |
The UK |
Unsupervised video enhanced feedback (UVF) |
1. A real-time video recording of students' performance |
Self and expert feedback |
Suturing |
1 day / 2 session |
A standard conventional training |
Objective structured assessment of technical skill |
|
E : 11 |
|
C : 11 |
2. One to one technical skills feedback on their performance by an expert |
|
|
3. A video of expert performance |
|
|
4. A video of lecture |
|
Sainsbury (2016) |
Medicine |
Canada |
Learning direct laryngoscopy with video feedback |
1. Tutoring |
Real time feedback from instructor and self reflection |
Intubation |
2 weeks / - |
Conventional Macintosh direct laryngoscope |
Intubation success rate |
|
E:23 |
2. Video recording of students' performance |
|
C:19 |
|
|
NRTs
|
|
|
|
|
|
|
|
|
|
|
|
Song (2015) |
Nursing |
South Korea |
Self evaluation method using video recording |
1. Unsupervised open lab |
Self feedback |
Fundamental nursing skills (4 skills) |
8 weeks / 8 sessions |
Traditional training |
Standardized Checklist by KABONE |
|
E:35 |
2. Video recording of students' performance |
|
C:35 |
|
Park (2016) |
Nursing |
South Korea |
Clinical convergence self directedness practice learning program |
1. Unsupervised open lab |
Self debriefing |
Fundamental nursing skills (8 skills) |
5 days / - |
Conventional self-practice |
Standardized Checklist by KABONE |
|
E:40 |
2. Video recording of students' performance |
|
C:40 |
|
Chae (2016) |
Nursing |
South Korea |
Educational program for core fundamental nursing skills using recording video with smartphone and formative feedback |
1. Q&A with lecturer |
Self and lecturer feedback |
Suction |
1 day / - |
Traditional self-directed practice |
Standardized Checklist by KABONE |
|
E:27 |
2. Unsupervised open lab |
|
C:27 |
3. Video recording of students' performance using smartphone |
|
Lee & Kwon (2016) |
Nursing |
South Korea |
Self directed fundamental nursing practice using smartphone videos |
1. Unsupervised open lab |
Peer and self feedback |
Nelaton catheterization |
2 days / 2 sessions |
Traditional training |
Standardized Checklist by KABONE |
|
E:40 |
2. Smartphone video recording of students' performance |
|
C:40 |
|
Lee & Shin (2016) |
Nursing |
South Korea |
Self directed practice using smartphone videos |
1. Unsupervised open lab |
Self and peer feedback |
Wearing protective equipment |
1 day / 1 session |
Conventional self-practice |
Standardized Checklist by KABONE |
|
E:29 |
2. Smartphone video recording of students' performance |
|
C:29 |
|
Jang & Park (2017) |
Nursing |
South Korea |
Self evaluation using smartphone recording |
1. Unsupervised open lab |
Self reflection |
Foley catheterization |
1 day / 1 session |
Conventional self-practice |
Standardized Checklist by KABONE |
|
E:41 |
2. Smartphone video recording of students' performance |
|
C:41 |
|
Kim & Lee (2017) |
Nursing |
South Korea |
Core basic nursing education using cellular phone video recordings |
1. Lecture with expert's demonstration |
Self and peer feedback undefined |
Fundamental nursing skills (10 skills) |
15 weeks / - |
Traditional method and open lab |
Structured assessment checklist |
|
E:60 |
2. Video recording of students' performance |
|
C:67 |
REFERENCES
1. Suwan N, Kasatpibal N, Sawasdisingha P. Effects of studentcentered teaching on knowledge, practice, and satisfaction of clean techniques among second year nursing students. Singapore Nursing Journal 2013; 40(4):30-37.
2. Choi SH, So HS, Choi JY, Yoo SH, Yun SY, Kim MH, et al. Comparison of blended practicum combined E-learning between cooperative and individual learning on learning outcomes. The Journal of Korean Academic Society of Nursing Education 2014; 20(2):341-349. https://doi.org/10.5977/jkasne.2014.20.2.341
 3. McCutcheon K, Lohan M, Traynor M, Martin D. A systematic review evaluating the impact of online or blended learning vs. face-to-face learning of clinical skills in undergraduate nurse education. Journal of Advanced Nursing 2015; 71(2):255-270. https://doi.org/10.1111/jan.12509
 4. Song KA, Park HJ, Yeom HA, Lee JE, Joo GE, Kim HJ. The development and evaluation of a new educational program, introduction to clinical nursing, for third year nursing students. Journal of Korean Academy of Fundamentals of Nursing 2012; 19(3):322-333. https://doi.org/10.7739/jkafn.2012.19.3.322
5. Hyun KS, Kang HS, Kim WO, Park S, Lee J, Sok S. Development of a multimedia learning DM diet education program using standardized patients and analysis of its effects on clinical competency and learning satisfaction for nursing students. Journal of Korean Academy of Nursing 2009; 39(2):249-258. https://doi.org/10.4040/jkan.2009.39.2.249
7. Cardoso AF, Moreli L, Braga FT, Vasques CI, Santos CB, Carvalho EC. Effect of a video on developing skills in undergraduate nursing students for the management of totally implantable central venous access ports. Nurse Education Today 2012; 32(6):709-713. https://doi.org/10.1016/j.nedt.2011.09.012
8. Cheon EY. The effects of video-aided peer feedback on enhancing nursing students' understanding of foley catheterization. The Journal of Korean Academic Society of Nursing Education 2013; 19(1):43-51. https://doi.org/10.5977/jkasne.2013.19.1.43
9. Song SR, Kim YJ. Effect of a self-evaluation method using video recording on competency in nursing skills, self-directed learning ability, and academic self-efficacy. Journal of Korean Academy of Fundamentals Nursing 2015; 22(4):416-423. https://doi.org/10.7739/jkafn.2015.22.4.416
10. Landes CA, Hoefer S, Schuebel F, Ballon A, Teiler A, Tran A, et al. Long-term prospective teaching effectivity of practical skills training and a first OSCE in cranio maxillofacial surgery for dental students. Journal of Cranio-Maxillofacial Surgery 2014; 42(5):e97-e104. https://doi.org/10.1016/j.jcms.2013.07.004
12. Kim MG, Lee HS. Effects of core basic nursing education using cellular phone video recordings on self-confidence in performance, achievement, and practice satisfaction. Journal of Korean Academy of Fundamentals of Nursing 2017; 24(2):128-137. https://doi.org/10.7739/jkafn.2017.24.2.128
13. Sainsbury JE, Telgarsky B, Parotto M, Niazi A, Wong DT, Cooper RM. The effect of verbal and video feedback on learning direct laryngoscopy among novice laryngoscopists: A randomized pilot study. Canadian Journal of Anesthesia 2017; 64(3):252-259. https://doi.org/10.1007/s12630-016-0792-x
14. Lee SG, Shin YH. Effects of self-directed feedback practice using smartphone videos on basic nursing skills, confidence in performance and learning satisfaction. Journal of Korean Academy of Nursing 2016; 46(2):283-292. https://doi.org/10.4040/jkan.2016.46.2.283
16. Mahmood T, Darzi A. The learning curve for a colonoscopy simulator in the absence of any feedback: No feedback, no learning. Surgical Endoscopy 2004; 18(8):1224-1230. https://doi.org/10.1007/s00464-003-9143-4
17. Mpotos N, De Wever B, Calle PA, Valcke MA, Peersman W, Monsieurs KG. Acquiring basic life support skills in a selflearning station: Video alone is not enough. European Journal of Emergency Medicine 2013; 20(5):315-321. https://doi.org/10.1097/MEJ.0b013e328358490a
18. Backstein D, Agnidis Z, Sadhu R, MacRae H. Effectiveness of repeated video feedback in the acquisition of a surgical technical skill. Canadian Journal of Surgery 2005; 48(3):195-200.  19. Watling C, Driessen E, van der Vleuten CPM, Vanstone M, Lingard L. Understanding responses to feedback: The potential and limitations of regulatory focus theory. Medical Education 2012; 46(6):593-603. https://doi.org/10.1111/j.1365-2923.2012.04209.x
20. Moher D, Liberati A, Tetzlaff J, Altman DG. Preferred reporting items for systematic reviews and meta-analyses: The PRISMA statement. BMJ: British Medical Journal 2009; 339: b2535. https://doi.org/10.1136/bmj.b2535
21. Higgins JPT, Green S. Cochrane Handbook for Systematic Reviews of Interventions. Chichester, UK: Wiley-Blackwell; 2011.
22. Kim SY, Park JE, Seo HJ, Lee YJ, Jang BH, Son HJ, et al. NECA's guidance for undertaking systematic reviews and meta-analyses for intervention. Seoul, Korea: National Evidence-based Healthcare Collaborating Agency; 2011.
28. Hatala R, Cook DA, Zendejas B, Hamstra SJ, Brydges R. Feedback for simulation-based procedural skills training: A metaanalysis and critical narrative synthesis. Advanced in Health Sciences Education 2014; 19(2):251-272. https://doi.org/10.1007/s10459-013-9462-8
29. Gardner AK, Jabbour IJ, Williams BH, Huerta S. Different goals, different pathways: The role of metacognition and task engagement in surgical skill acquisition. Journal of Surgical Education 2016; 73(1):61-65. https://doi.org/10.1016/j.jsurg.2015.08.007
Appendices
Appendix 1.
Quality Assessment of Included Studies by Study Design
|
Author (year) |
Selection bias |
Performance bias |
Detection bias |
Attrition bias |
Reporting bias |
|
RCTs |
Sequence generation |
Allocation concealment |
Blinding of participants and personnel |
Blinding of outcome assessment |
Incomplete outcome data |
Selective outcome reporting |
|
Maloney_1 (2013) |
O |
O |
O |
O |
V |
O |
|
Maloney_2 (2013) |
O |
O |
O |
O |
O |
O |
|
Nesbitt (2015) |
O |
O |
O |
O |
O |
O |
|
Sainsbury (2016) |
O |
V |
V |
X |
O |
O |
|
Non-RCTs |
Selection of participants |
Confounding variables |
Measurement of exposure |
Blinding of outcome assessment |
Incomplete outcome bias |
Selective reporting |
|
Song (2015) |
V |
O |
O |
V |
O |
O |
|
Park (2016) |
O |
O |
O |
X |
O |
O |
|
Chae (2016) |
O |
O |
O |
O |
O |
O |
|
Lee & Kwon (2016) |
O |
O |
O |
O |
O |
O |
|
Lee & Shin (2016) |
O |
O |
O |
O |
O |
O |
|
Jang & Park (2017) |
O |
O |
O |
O |
O |
O |
|
Kim & Lee (2017) |
O |
O |
O |
X |
O |
O |
Appendix 2.
List of studies included in a Meta-analysis
1. Maloney S, Storr M, Paynter S, Morgan P, Ilic D. Investigating the efficacy of practical skill teaching: A pilot-study comparing three educational methods. Advances in Health Sciences Education. 2013;18(1):71-80. https://doi.org/10.1007/s10459-012-9355-2
2. Maloney S, Storr M, Morgan P, Ilic D. The effect of student selfvideo of performance on clinical skill competency: A randomised controlled trial. Advances in Health Sciences Education. 2013;18(1):81-89. https://doi.org/10.1007/s10459-012-9356-1
3. Nesbitt CI, Phillips AW, Searle RF, Stansby G. Randomized trial to assess the effect of supervised and unsupervised video feedback on teaching practical skills. Journal of Surgical Education. 2015;72(4):697-703. https://doi.org/10.1016/j.jsurg.2014.12.013
4. Sainsbury JE, Telgarsky B, Parotto M, Niazi A, Wong DT, Cooper RM. The effect of verbal and video feedback on learning direct laryngoscopy among novice laryngoscopists: A randomized pilot study. Canadian Journal of Anesthesia. 2017;64(3): 252-259. https://doi.org/10.1007/s12630-016-0792-x
5. Song SR, Kim YJ. Effect of a self-evaluation method using video recording on competency in nursing skills, self-directed learning ability, and academic self-efficacy. Journal of Korean Academy of Fundamentals of Nursing. 2015;22(4):416-423. https://doi.org/10.7739/jkafn.2015.22.4.416
6. Park JH. The effects of clinical convergence self-directedness practice learning program on self-directedness and competency in fundamental nursing skills in undergraduate nursing students. Journal of the Korea Convergence Society. 2016;7(4):51-58. https://doi.org/10.15207/JKCS.2016.7.4.051
7. Chae YJ, Ha YM. Effectiveness of education program for core fundamental nursing skills using recording video with smartphone and formative feedback. Journal of Digital Convergence. 2016;14(6):285-294. https://doi.org/10.14400/JDC.2016.14.6.285
8. Lee SS, Kwon MK. Effects of self-directed fundamental nursing practice using smartphone videos on self-efficacy, practice satisfaction, and skill competency. Journal of Korean Academic Society of Nursing Education. 2016;22(3):255-263. https://doi.org/10.5977/jkasne.2016.22.2.255
9. Lee SG, Shin YH. Effects of self-directed feedback practice using smartphone videos on basic nursing skills, confidence in performance and learning satisfaction. Journal of Korean Academy of Nursing. 2016;46(2):283-292. https://doi.org/10.4040/jkan.2016.46.2.283
10. Chang E, Park S. Effects of self-evaluation using smartphone recording on nursing students' competency in nursing skills, satisfaction, and learning motivations: Focusing on foley catheterization. Journal of Korean Academy of Fundamentals of Nursing, 2017;24(2):118-127. https://doi.org/10.7739/jkafn.2017.24.2.118
11. Kim MG, Lee HS. Effects of core basic nursing education using cellular phone video recordings on self-confidence in performance, achievement, and practice satisfaction. Journal of Korean Academy of Fundamentals of Nursing, 2017;24(2):128-137. https://doi.org/10.7739/jkafn.2017.24.2.128
|
|
PDF Links
PubReader
ePub Link
XML Download
Full text via DOI
Download Citation 
Print 
