| Home | E-Submission | Sitemap | Contact Us |  
top_img
J Korean Acad Fundam Nurs > Volume 22(2); 2015 > Article
수업디자인 모형을 적용한 기본간호학실습 수업 개선의 실행연구*

Abstract

Purpose:

The purpose of this study was to improve the quality of fundamental nursing practice course.

Methods:

Participants were 132 students who took the fundamental nursing practice course at D university in N city. The study included processes of planning, action, observation, and reflection. Quantitative data were analyzed using SPSS 20.0 program and qualitative data were evaluated through content analysis.

Results:

The 12-step designing college courses model by Fink was applied in the planning. In the acting stage, the course was conducted according to the instruction in designing the course, students wrote reflective journals and the professor gave feedback to the reflective journal and the class observation journal was used for lessons. In the observation stage, the course evaluation was surveyed and analyzed, evaluations were positive with 47.1% of students positively evaluating the teaching strategy. In the reflecting stage, outcomes in course improvement were reflected on and, the number of students at the lower level-of-achievement decreased.

Conclusion:

Action research was a useful research method that could capture the quality improvement process in college courses. Expression of effort and passion to improve quality of education through action research in various ways and to share quality improvement strategies for nursing education are important.

서 론

연구의 필요성

실행연구는 연구자인 행위 당사자가 주체가 되어 자신의 개인· 사회적 삶을 탐구하여 계속적으로 개선하려고 하는 과정지향적 탐구 패러다임으로, 객관성이나 이론 정립에 대한 관심보다 실천의 개선에 관심을 가지며 반성적 실천의 자기순환과정을 강조한다는 점에서 실천 분야에 종사하는 모든 사람들에게 적합한 연구방식이다[1]. 교육현장에서 실행연구란 교사나 교수가 연구자가 되어 수업방법의 개선 및 개발을 연구하는 과정이다. 실행연구의 두 축은 실천행위에 대한 ‘성찰’과 ‘탐구’로, ‘성찰’은 돌아봄의 의미에서 지나간 교육활동을 성찰하는 교사의 태도를 말하는 것이고 '탐구‘란 스스로의 교육행위 및 교육현장을 분석함에 있어 연구기법을 적용한다는 것이다. 성찰과 탐구의 공통점은 교육활동의 개선에 초점을 맞춘 행위이며, 현장의 교육활동 데이터를 연구의 형식으로 분석함으로 기존 이론의 현장 적합성을 검증하거나 새로운 이론 형성에 기여하여 궁극적으로 교육현장을 개선해 나가는 것이다[2].
국내 교육학분야에서는 1990년대 후반 이후 부터 실행연구가 나오기 시작하여 큰 호응을 얻었고 2000년대 이후 실행연구는 교실 수업과 대학수업 개선을 위해 진행되었다. 대학에서의 실행연구는 주로 신규과목 개발[3], 수업개선[4,5]에서 이루어졌다. 하지만 국내 간호교육 분야에서 실행연구는 간호대학생을 위한 액션러닝 기반 간호전문직 수업 운영 효과를 분석한 연구[6]만이 보고 되었다. 성과중심 교육체제로의 전환시점에서 지속적인 프로그램 개선을 위하여 간호교육학에서 실행연구는 매우 필요한 연구방법으로 연구의 수행과정 및 결과에 대한 수혜가 연구자인 교수들과 학생들에게 직접 돌아가는 장점이 있다[3].
2012년부터 진행되고 있는 2주기 간호교육인증평가의 목적은 성과중심의 교육체제를 바탕으로 지속적인 간호교육 프로그램 개선을 통해 간호교육의 질을 관리하는데 있다[7]. 이를 위해서는 간호교육 과정 내에서는 내외부의 교육개선에 대한 요구를 수렴하여 교육과정과 학과운영 개선에 반영하여 지속적인 교육과정 개선을 위하여 노력해야 하며, 교수는 학업 성취와 교수학습 효과의 향상을 위하여 교과목의 특성에 맞게 강의법 이외에 다양한 교수학습 방법을 적용하여 지속적인 교수학습 방법 개선을 위해 노력해야 한다[7]. 실행연구는 이러한 교육과정의 개선이나 교수의 교수학습 방법 개선을 위한 연구방법론으로, 교육현장과 교육행위를 분석하여 교육성과를 향상시키는 교육의 질 관리 과정을 구체적으로 표출할 수 있다.
Fink [8]는 교수 중심의 수업보다는 학생들의 ‘의미 있는 학습경험’에 기반한 수업 디자인 모형을 제안하였다. ‘의미 있는 학습경험’은 학생들이 전공과 관련한 기초지식, 적용, 통합, 인간적 차원, 돌봄, 학습방법 습득 등을 학습경험으로 성취해 가면서 이루는 것이다. ‘의미 있는 학습경험’이 가능하도록 하기 위해서 교육자는 수업 모형을 설계하기 위해 12단계를 거쳐야 하며, 3가지 핵심요소인 학습목표, 교수-학습활동, 피드백과 평가가 상호적이고 역동적인 관계를 갖도록 해야 한다[8]. 이러한 수업디자인은 교수들이 큰 부담 없이 자신의 수업분석을 시도하는데 있어 단독 또는 동료 교수와의 상호 협력만으로 효율적으로 사용할 수 있는 방법이다[4].
Fink [8]의 12단계 수업디자인 모형은 간호학생들의 의미있는 학습경험을 위하여 수업을 디자인할 때 더욱 유용하다. 의미 있는 학습경험을 통해 간호학 실습을 처음 수강하는 학생들이 실습에 대한 긴장감이나 두려움 대신 기대감과 자신감을 갖도록 수업디자인을 계획할 수 있다.
이에 본 연구는 기본간호학실습을 담당하는 교수가 자신의 수업의 질을 향상시키고자 Fink [8]의 12단계 수업디자인 모형을 적용하여 수업개선의 효과를 파악하고 나아가 간호 교육에서 실행연구의 유용성에 대해 고찰해보고자 한다.

연구의 목적

본 연구의 목적은 기본간호학실습 교과목에서 Fink [8]의 수업디자인 모형을 적용하여 수업개선을 시도하는 것이며 구체적 목적은 다음과 같다.
  • 첫째, 수업디자인 모형을 단계별로 적용하여 수업을 계획한다.

  • 둘째, 수업디자인에 따라 수업을 실행한다.

  • 셋째, 수업개선의 성과를 관찰한다.

  • 넷째, 성과를 검토하며 반성적 성찰을 실시한다.

연구 방법

연구 설계

본 연구는 수업개선을 위한 실행연구로 Zuber-Skerritt와 Fletcher [9]의 실행연구의 개념적 모형 중 연구수행단계를 적용하여 계획단계, 실행단계, 평가단계, 성찰단계의 과정으로 수행하였다(Figure 1).

연구 참여자 및 연구기간

연구 참여자는 본 연구자와 본 연구자에게 기본간호학실습을 수강한 132명으로 J도 N시에 위치한 D 대학교의 간호학과 2학년 학생이며, 연구기간은 2014년 2월~7월까지였다. 본 연구자는 이 과목을 1년 동안 강의하였으며 교수로서의 수업 개선을 위해 본 연구를 계획하였다. 연구에 참여한 학생들의 윤리적 고려를 위해 D 대학교 생명윤리위원회에 심의를 거쳐 승인(1040708-201403-SB-003-01)을 받았다. 본 연구는 「초·중등교육법」 제2조 및 「고등교육법」 제2조에 따른 학교와 보건복지부장관이 정하여 고시하는 교육기관에서 통상적인 교육실무와 관련된 연구로 서면동의가 면제되었으며, 교수는 학기의 수업을 시작하는 첫 시간에 학생들에게 교수로서 수업 개선을 위해 실행연구를 수행함과 관찰일지로 자유롭게 참여할 수 있음을 설명하였다.

연구 진행 과정

본 연구는 1주기의 계획, 실행, 관찰, 성찰의 단계로 진행되었으며 진행과정과 활동의 개요는 <Table 1>과 같다.

● 계획단계

문제점 파악을 위하여 본 연구자의 전년도 기본간호학실습 강의평가를 분석하고 동일교과목을 가르치는 타 대학 교수들과 전화면담을 실시하였으며, 기본간호학실습 수행능력을 주제로 문헌고찰을 실시한 후, Fink [8]의 모형에 따른 수업 디자인 과정을 적용한 강의디자인을 수립하였다.

● 실행단계

강의 디자인에 따라 수업을 진행하였으며, 수업에 참여한 모든 학생들은 실습성찰일지를 작성하여 매 수업 후 제출하였고 교수는 제출된 일지에 피드백을 하였다. 각 반에서 2명의 학생은 수업관찰일지를 작성하였고 교수는 이를 분석하고 수업에 적용하며 수업운영일지를 작성하였다.
  • 학생의 실습성찰일지는 1과 2로 구성되었다. 실습성찰일지 1에서는 강의에서 배운 절차와 이론적 근거를 기술하도록 하였다. 실습성찰일지 2는 5개의 성찰적 질문으로 구성되었는데 구체적 내용은 ‘배운 내용 중 가장 중요하다고 생각되는 것은 무엇인가요?’, ‘왜 그렇다고 생각하나요?’, ‘배운 내용은 임상에서 어떤 의미가 있을 것 같나요?’, ‘어떤 것이 어려웠나요?’, ‘실습을 하면서 어떤 결심을 하게 되었나요?’이었다.

  • 학생의 수업관찰일지는 매주 2명의 학생들이 교수의 강의에 대하여 작성하였다. 관찰일지는 5개의 문항으로 구성되 었는데 구체적 내용은 ‘강의에 임하는 학생들의 태도는 어떠했는가?’, ‘학생들은 수업목표를 달성하였는가?’, ‘교수는 강의시간에 무엇을 잘 했는가?’, ‘교수는 어떤 점을 좀 더 보완해야 할까?’, ‘학습의 심화를 위해 건의하고 싶은 내용이 있는가?’ 이었다.

  • 교수의 수업운영일지는 교수가 수업 후 작성하는 일지로 4개 문항으로 구성되었다. 구체적 내용은 ‘나는 이번 주 강의에서 무엇을 했는가?’, ‘나는 강의시간에 무엇을 잘 했는가?’, ‘나는 수업에서 어떤 점을 좀 더 보완해야 할까?’ ‘나는 다음에 어떻게 다르게 할 것인가?’, ‘다음 수업에는 어떻게 할 것인가?’ 이었다.

  • 넷째, 성과를 검토하며 반성적 성찰을 실시한다.

● 관찰단계

학기 중에는 학생들에게 수업운영에 대한 의견을 묻는 개방형 설문조사를 2회 실시하였으며, 학기말에는 학생들의 강의평가가 있었다.
  • 개방형 설문조사 문항의 내용은 ‘지금까지의 수업 중 좋았거나 도움 되었던 점, 또는 개선이 필요하다고 생각되는 점을 적어주세요’ 이었다.

  • 학생들의 강의평가는 12문항으로 강의계획서의 체계적 제시, 강의진행과 강의계획서와의 일치성, 엄정한 출석관리 및 수업시간 준수, 교재의 선택의 적합성과 전달의 명확성, 학생들의 반응 수용 정도, 수업 집중 유도와 강의 속도 조절, 다양한 수업방법과 시청각 기자재 활용, 성적평가 항목과 기준의 설정 및 제시, 공정한 평가, 시험 문항의 적절성과 강의내용과의 적합성, 과제물 및 실습에 대한 피드백, 강좌의 유익성 등이었다.

● 성찰단계

연구자인 교수가 학생들의 수행능력을 2013년도와 비교하며 성찰을 실시하였다.

자료 분석 방법

자료 분석은 SPSS WIN 20.0 프로그램을 사용하였다. 학생들의 강의평가는 평균과 표준편차로 분석하였고 질적 자료인 개방형 설문조사는 실수와 백분율, 내용분석을 시행하였다.

연구 결과

계획단계

● 문제점 파악을 위한 현장 자료수집과 분석

본 연구자의 전년도(2013년) 교과목 강의평가 중 기본간호실습 교과목 강의평가를 수집하여 각 문항별로 평균과 표준편차를 비교 분석하였다. 본 연구가 시행되는 대학의 강의평가 문항은 자가평가를 제외한 12문항이었으며, 본 연구자의 강의평가점수는 5점 만점에 4.25점이었다. 이 중 ‘성적평가 항목과 기준의 설정 및 제시, 공정한 평가(4.14점)’, ‘시험의 문항의 적절성과 강의내용과의 적합성(4.15점)’, ‘과제와 실습의 수업목표 달성 적합성(4.20점)’, ‘과제물 및 실습에 대한 피드백(4.15점)’에 대한 항목 점수가 평균보다 낮았다. 이를 통해 파악된 본 연구자의 문제점은 학생들에게 수행평가의 구체적 항목과 기준에 대한 명확한 제시 및 공정한 평가에 대한 학생 인식의 부족, 수행평가에 대한 타당한 설명의 부족, 과제의 수업목표 기여도에 대한 설명의 부족, 과제 및 수행평가에 대한 피드백의 부족 등이었다.
타 대학에서 기본간호학실습을 담당하는 교수 2명에게 ‘실습시간 운영은 어떻게 하는가’, ‘수행평가는 어떻게 하는가’라는 질문으로 전화면담을 실시하였다. 전화면담을 통해 자율실습의 태도 점수, 분반 당 자율실습시간 지정, 예비 간호사로서의 복장과 태도 준비 등에 대한 아이디어를 얻을 수 있었다.

● 문헌고찰 활동

2014년 2월 7일에 학술연구정보서비스(http://www.riss.kr)에서 ‘기본간호학실습’을 주제어로 검색한 결과 학위논문 27개, 국내 학술지 98개 문헌이 검색되었으며, 그중 2000년 이후에 출간된 논문만 선정한 결과 학위논문 4편(박사1, 석사3), 학술지 16편이였다. ‘기본간호학실습’ 관련 학술지 16편을 분석한 결과 교과과정에 관한 논문 1편, 교육방법과 효과에 관한 논문 9편, 교육현황 관련 논문 3편, 교육평가 관련 논문 2편, 인식 및 태도관련 논문 2편이었고 이 중 1편이 교육현황과 교육평가에 관련된 주제로 중복 포함되었다.
간호수행능력에 영향을 주는 교육방법으로는 표준화환자를 이용한 학습방법[10,11], 실습실 개방[12], 웹 기반 학습[13,14] 등이 있었고 간호학생의 기본간호수행능력에 영향을 미치는 요인은 학습만족도, 의사소통능력, 자기주도성의 순이었다[15]. 동영상 사전교육은 기본간호학실습 학습동기와 자기 주도성을 높였으며[16], e-Learning 학습방법은 간호학생의 자신감을 증진시켰고[17], S-PBL은 간호학생의 비판적 사고성향과 자기효능감 향상에 효과적이었다[18]. 또한 역할극을 활용한 평가방법은 학습동기, 자기주도적 학습능력, 문제해결과정과 상관관계가 있었다[19].
문헌고찰 결과 본 연구자의 상황에서 수행능력 향상을 위해 적용 가능한 방법으로 학습만족도를 높이기 위한 활동, 자율실습실 운영, 동영상 활용, 역할극 활용한 평가방법 등이 있었고 이를 수업디자인 수립에 적극 수용하기로 결정하였다.

● 실행안 수립: Fink [8]의 모형에 따른 수업 디자인 과정을 적용한 강의디자인 수립

교수는 모든 교수 학습방법이나 활동들을 학생들에게 ‘의미있는 학습 경험’이 되도록 수업을 설계해야 한다[8]. Fink [8]가 제시한 12단계의 과정에 따라 기본간호학실습 교과목의 강의디자인을 다음과 같이 수립하였다.

<1단계> 중요한 상황 요소 파악하기

‘기본간호학실습’은 학생들이 간호학에서 처음 접하는 전공실습교과목이면서 임상실습을 나가기 전에 기본간호수기술을 습득하는 교과목으로 한국간호교육평가원의 2주기 간호교육인증평가 항목에 ‘핵심기본간호술’ 평가가 포함되면서 그 중요성이 강조되고 있다. 본 교과목은 ‘기본간호’ 이론 교과목과 연계하여 실습을 하게 되며 프로그램 학습성과 ‘대상자의 간호상황에 적합한 핵심간호술을 수행할 수 있다’를 달성해야 한다.
  • 학습대상: 간호학과 2학년 1학기 학생들로 강좌당 25명 이하이며, 1학점(2시간/주)

  • 교과목 학습목표: 본 교과목을 이수한 학생들은 과학적 지식을 기반으로 대상자의 기본요구에 대한 간호술과 치료적 간호중재를 수행한다.

  • 학습특성: 기본간호학 이론을 배운 후 그 내용을 실습할 수 있도록 연계된 수업내용을 구성한다.

<2단계> 의미 있는 학습목표 세우기

간호중재의 과학적 원리와 근거를 토대로 하여 실험실이라는 모의 간호 상황에서 간호대상자의 기본욕구를 충족시키는데 필요한 기본간호술과 간호사로서의 태도를 습득하고 수행하는 교과목이다. 기본간호학 이론을 담당하는 교수와 협력하여 이론에서 습득한 지식을 바탕으로 직접 수행해 볼 수 있도록 학습목표를 설정하였으며 구체적 학습목표는 다음과 같이 제시한다.
  • 안전하고 안락한 병실환경을 유지할 수 있다.

  • 안전을 위해 억제대를 유형별로 적용할 수 있다.

  • 내· 외과적 무균술을 수행할 수 있다.

  • 활력징후를 측정할 수 있다.

  • 간호수행 후 수행과정과 결과를 기록할 수 있다.

  • 수동 관절가동범위운동을 수행할 수 있다.

  • 치료적 체위를 유지하고 변경할 수 있다.

<3단계> 피드백과 평가 절차 구성하기

학업성취도 평가는 다양한 자료에 근거해서 산출할 수 있도록 구성한다. 학생들의 수행능력의 함양을 위해 지필고사 없이 수행평가 중심으로 구성한다.
  • 피드백은 매 수업 후 개별과제로 실습성찰일지를 작성, 제출하게 하고 이에 대해 1주 이내 피드백 하여 돌려준다. 실습성찰일지는 1학기 분량을 한 권으로 묶어 학생의 변화를 지속적으로 파악한다. 피드백을 할 때는 객관적으로 하고 개별적인 격려를 포함한다.

  • 조별과제에 대한 피드백은 1차 과제 제출 후에 제공하고 학생들에게는 피드백에 근거하여 조별과제를 수정하여 최종 제출 하도록 한다.

  • 평가절차는 수행평가 3회로 구성하고 70% 이하일 경우 재시험을 실시한다. 1, 2차는 개별평가로 핵심간호술기의 내용으로 구성하고, 3차는 1차와 2차 때 평가하지 않은 1학기 학습내용으로 구성하여 조별평가를 하도록 한다.

<4단계> 교수-학습 활동 만들기

의미 있는 학습경험을 위하여 첫째, 학생들이 매주 실습 후 개인과제로 제출하는 실습성찰일지를 소통의 장으로 활용한다. 학생들은 수업 후 실습성찰일지를 작성하여 제출하고 교수는 학생들의 성찰내용에 피드백을 작성하여 다음 실습 전에 돌려준다. 효과적인 피드백을 위해 즉각적이고 개별적이며 전문적 간호용어로 피드백 한다. 둘째, 역할극을 활용한 평가 방법을 적용한다. 학생들은 조별로 수업 중에 배운 간호 수기술을 적용할 임상상황을 시나리오로 구성하고 3차 수행평가에서 조별로 역할극을 수행한다. 시나리오의 적합성과 타당성을 높이기 위하여 교수의 피드백을 통해 과제를 완성하도록 한다. 각 조는 4∼5인으로 구성되며 역할극의 내용에 따라 학생들은 환자, 간호사, 의사, 보호자의 역할을 자율적으로 배정하여 수행하도록 한다. 역할극 상황은 녹화하여 평가 시 참고 자료로 사용하고 각 조의 개인이 소유할 수 있도록 한다. 셋째, 자율실습실을 운영하되, 학생들의 자율실습 참여 상황을 ‘자율실습기록지’에 기록하도록 하고 이를 확인하여 평가에 반영한다.

<5단계> 주요 요소들을 통합시키기

2, 3, 4단계 구성 요소를 통합해서 의미 있는 학습이 이루어질 수 있도록 다음과 같이 수업의 개요를 구성한다.
  • 수행평가는 총 3회로 구성하되 수행평가의 내용은 학습내용과 연계된 핵심기본간호술 평가항목 중 ‘격리실 출입 시 보호 장구 착용 및 폐기물 관리’, ‘활력징후 측정’을 포함하며, 핵심기본간호술 관련 평가항목은 개별 평가를 실시하고(2회) 그 외 내용은 조별평가로 실시한다. 1차 수행평가는 무균술(내· 외과적), 2차 수행평가는 활력징후, 3차 수행평가는 통합 수기술(조별 역할극)로 구성한다. 각 수행평가 점수의 70%이하의 점수를 성취한 학생은 성취 수준 미달성 학생으로 분류하여 재시험을 실시한다.

  • 과제는 개인과제와 조별 과제로 구성하여, 개인과제는 매 수업 후 성찰일지를 작성하는 것이며 조별과제는 3차 수행평가를 위한 역할극 시나리오를 구성하는 것으로 1차 제출 후 교수의 피드백을 받아 수정하여 최종 과제를 제출하도록 한다.

  • 실습을 통해 간호사로서의 기본태도를 형성할 수 있도록 실습에 임하는 복장관리와 자율실습 참여정도를 평가에 포함한다.

<6단계> 수업에 대한 구조 만들기

학생이 실습에 대한 학습경험을 의미 있게 만들어 갈 수 있도록 각 주제에 대한 수업의 기본구조는 다음과 같이 만든다.
  • 4주(내과적 무균술, 격리술)와 5주(외과적 무균술, 역격리술)의 내용에 대해 1차 수행평가(개별)를 실시한다.

  • 9주(체온, 맥박, 호흡 및 기록)와 10주(혈압측정 및 기록)의 내용에 대해 2차 수행평가(개별)를 실시한다.

  • 2주(병실환경), 3주(지지대 사용 및 체험), 6주(멸균영역유지), 12주(ROM), 13주(치료적 체위)의 학습내용 중 2개를 무작위로 선정하여 3차 수행평가(조별)를 실시한다.

<7단계> 효과적인 교수 전략 선택하기

기본간호학실습 수행능력을 향상시키기 위한 효과적인 교수 전략은 다음과 같이 선택한다.
  • 교수는 학습목표와 개요를 설명하고 배경지식을 질문하여 학생들의 기본지식을 확인한다.

  • 학생들은 동영상을 시청한 후, 교수의 시범을 본다.

  • 학생들은 동영상과 교수의 시범, 교과서의 그림, 수행의 절차를 토대로 조별 수행한다.

  • 교수는 각 조별로 순회하며 올바르게 수행하도록 지도하고 학생들의 질문에 설명한다.

  • 학생들의 개별수행이 이루어진 후, 조별로 대표학생을 선정하여 다른 학생들 앞에서 수행한다.

  • 대표학생이 수행할 때에는 각 조 학생들은 수행 평가지를 가지고 학생의 수행을 평가해 본다.

  • 수업 마지막에는 자주 틀린 절차들을 다시 한 번 강조 설명한 후에 마무리 한다. 학생들은 수업 후 조원들(4∼5명)과 시간을 맞추어 1시간씩 자율실습을 한다.

<8단계> 전체 학습활동 만들기

지금까지의 단계를 종합하여 15주의 전체적인 학습활동을 계획한다.

<9단계> 평가 체계

기본간호학실습 평가체계는 수행평가 중심이므로 수행평가 3회에 60%를 배정하고, 과제는 20%, 출석 10%, 태도는 10%를 배정한다.
  • 수행평가는 총 3회로 각각 20%를 반영하도록 하며, 1차 수행평가는 활력징후, 2차 수행평가는 무균술(내· 외과적), 3차 수행평가는 통합 수기술(조별 역할극)로 구성한다.

  • 과제는 두 종류로 개인과제 10%와 조별과제 10%이다. 개인과제는 매 수업 후 실습성찰일지를 제출하는 것이며, 조별 과제는 3차 수행평가를 위한 역할극 시나리오 제출이다.

  • 출석은 10%로 본 연구가 시행되는 대학의 기준에 따라 관리한다.

  • 태도는 실습에 임하는 복장관리 5%, 자율실습 참여 5%로 구성하고 학기당 10시간 이상 자율실습에 참여하도록 한다.

<10단계> 발생 가능한 문제점

수업 운영상 가능한 문제점은 개별수행평가가 시간이 많이 걸릴 것으로 예상되므로 수행평가 시간은 학생들과 합의하여 미리 확보하고, 수행평가에 대한 계획을 수립하여 학생들에게 충분히 공지한다. 실습조교의 자율실습 지도 부족 상황에 대한 대안을 마련한다.

<11단계> 강의계획서 쓰기

지금까지의 내용을 종합하여 강의계획서를 작성하고 강의계획서 뒤에는 2장의 실습성찰일지의 형식을 첨가한다.

<12단계> 수업 평가 계획

매 강의에 대한 평가로 학생들의 실습성찰일지와 수업관찰일지를 피드백 받아 분석할 것이며, 이를 연구자는 수업성찰일지로 기록하며 수업 계획을 개선 보완해 나갈 것이다. 강의에 대한 중간평가와 총괄평가는 1차 수행평가와 3차 수행평가 시에 각각 실시하고, 교과목의 각 학습주제에 대한 자가평가는 총괄평가 때 실시할 것이다. 학생들은 교과목 성적을 조회하기 전에 교과목에 대한 강의평가를 할 것이다.

실행단계

기본간호학 실습은 강의계획서에 따라 2014년 3월 3일부터 6월 13일까지, 총 15주 동안 5개 분반을 동일한 학습주제로 운영하였다.
매 강의 후 각반의 모든 학생들은 실습성찰일지를, 각 반에서 2명의 학생은 수업관찰일지를 제출하였고, 교수는 수업운영일지를 기록하였다. 학생들의 실습성찰일지를 매주 확인하여 주의사항이나 격려의 메모를 남겼고, 수업관찰일지를 분반별로 기록하며 분석이 필요한 경우 원인분석을 하였다. 교수는 수업운영일지를 통해 성찰과 새로운 강의계획을 추가하였다. 즉, 실행단계에서 재계획, 실행, 관찰, 성찰의 작은 순환이 매주 이루어졌다. 이에 대한 사례를 다음에 제시하였다.
예) 계획: OO 간호술에 대해 실제 시범을 보이면서 설명할 것이다.
실행: 기본적인 이론이해 정도는 질문을 통해 확인한 후 1조의 침상에서 시범을 보이면서 설명하였고 각조끼리 연습을 하는 동안 각조를 순회하면서 지도하였다. 각조의 모든 학생들의 수행이 끝나자, 두 조를 무작위로 지적하여 시범을 보이도록 하였으며, 시범을 보인 후 학생들과 함께 잘못된 절차를 교정시켜 주면서 중요사항을 반복 설명하고 강의를 마무리하였다.
관찰: <수업관찰일지> 시범을 한쪽 침대에서 보여주셨는데 중앙에서 하면 더 잘 보일 것 같다.
성찰: <수업성찰일지> 나는 지금까지 시범을 침상에서 보일 경우 내가 가장 접근하기 쉬웠던 강단의 앞 분분에 있는 침상을 이용하였는데 이에 대하여 깊이 생각해보지 않았었다.
수정계획: 시범을 보일 침상은 가운데 침상을 하고 모두 보이도록 중앙으로 이동해야겠다.
실행: 4조의 침상을 모든 학생들이 둘러서서 관찰할 수 있도록 중앙으로 이동하였다.
관찰: <수업관찰일지> 교수님께서 중앙까지 침상을 옮겨주시며 시범을 보여주셔서 학생들이 가장 집중했다.
성찰: <수업성찰일지> 시범을 보일 때 학생들의 위치를 잘 고려하고 모든 학생들이 잘 보이도록 늘 고려하겠다.

관찰단계

관찰단계에서는 실행의 효과파악을 위한 자료수집과 분석이 이루어졌다. 학기의 중간과 학기말에 교수의 강의운영에 대한 장점 또는 개선 요구사항을 개방형 설문지로 조사하였고 1학기말 성적평가 이후에는 교과목에 대한 학생들의 강의평가가 실시되었다.
학생들에게 학기 중간과 학기말에 실시한 개방형 설문조사를 내용 분석한 결과, 분석된 내용은 크게 학습방법측면, 학습내용, 교수자, 학습환경으로 구분되었다. 학습방법에 대하여 만족한 학생들이 89명(47.1%)으로 가장 많았고 교수자는 41명(21.7%), 학습내용은 25명(13.2%), 학습환경은 4명(2.1%)이 만족한다고 하였다. 개선이 필요한 부분은 학습환경이라는 학생들이 23명(12.2%)으로 많았다<Table 2>.
학생들의 교과목에 대한 강의평가는 5점 만점에 4.20점이었다. 이는 전 학년도(2013년) 동일 교과목에서의 4.25점보다 다소 낮은 값이었다. 그러나 전학년도에 평균보다 낮았던 항목 4개는 모두 점수가 향상되었고 나머지 8항목은 점수가 모두 낮아져서, 전반적으로 균등한 평가점수를 보였다<Table 3>.

성찰단계

이 단계는 연구자가 연구의 성과를 검토하며 반성적 성찰을 하는 단계이다. 강의개선 성과로 학생들의 수행능력 정도를 2013년과 비교 검토해 보며 반성적 성찰을 실시하였다.
성취 수준 미달성 학생 수를 파악하여 학생들의 수행능력 정도를 동일한 주제의 2013년도 수행평가 항목인 1차(내· 외과적 무균술)와 2차(활력징후)와 비교해 보았다. 성취 수준 미달성의 기준은 수행평가(20점 만점) 15점 미만이다. 본 연구자의 2013년도 수강학생 총 68명 중 1차 수행평가 성취 수준 미달성 학생은 19명(27.9%), 2차 수행평가 성취 수준 미달성 학생은 21명(30.9%)인 반면에 2014년도 총 수강학생 132명 중 성취 수준 미달성 학생은 1차에서만 2명(1.5%)으로 성취수준 미달성 학생 수가 크게 감소하였다.
본 연구를 통해 교수전략, 평가체계, 수업의 평가 계획의 3가지 측면에서 변화가 있었음을 알 수 있었다<Table 4>. 교수전략 측면에서 피드백이 강화되었고, 평가체계 측면은 학습목표 달성을 위해 세분화되었으며, 수업의 평가계획 측면은 강의디자인 수립시점에 계획되었다는 것이었다. 본 연구자는 Fink [8]의 수업디자인 모형의 단계를 거쳐 가면서 교수로서 교과목에 대한 중요성을 재인식하게 되었고, 수업에 대한 구조가 명확해졌으며, 교수-학습 활동의 중요성을 알게 되었다.

논 의

본 연구는 기본간호학실습 수업의 질을 개선하기 위해 실행연구방법으로 접근하여 교수 자신의 교육방식에 대해 성찰하고 문제점을 발견하여 수업을 개선하고자 하였다. 본 논의에서는 실행연구의 단계인 계획, 실행, 관찰, 성찰단계에 대한 평가와 간호교육에서 실행연구의 유용성으로 나누어 기술하고자 한다.
계획단계에서 현장의 자료수집을 통해 교수자로서의 문제점을 파악하였고, 문헌고찰을 통해 수업개선을 위한 수용내용을 구체화 한 후, 이를 Fink [8]의 수업 디자인 모형에 따라 적용하며 강의디자인을 수립하였다. 본 연구에서 문헌고찰을 통해 파악한 수행능력 향상 전략들은 첫째 학습만족도 향상 활동[15], 둘째 적극적인 자율실습실 개방 운영[12], 셋째는 역할극 활용평가방법의 도입[19]이었다. Fink [8]의 수업 디자인 모형의 12단계에 따라 강의 디자인을 수립하면서 ‘기본간호학 실습’ 교과목이 처음 간호학 실습을 접하는 학생들에게 매우 중요한 의미가 있음을 깨닫게 되었다. 특히 전년도(2013년)에 자율실습실을 개방 운영하면서 학생들의 자율적 참여를 독려하였지만 학생들의 참여 시간이 평균 3시간 정도로 저조하였던 점을 볼 때 자율실습실 의무 참여시간을 12시간으로 지정하고 평가체계에 반영한 방법은 효과적이었다. 의미 있는 학습경험을 위하여 역할극 활용 평가방법을 도입한 것은 학생들과 교수에게 매우 즐거운 학습경험을 제공하였다. 발생 가능한 문제점을 고려해 보는 단계는 수업전반의 계획에 대하여 면밀하게 검토해 보면서 추가계획을 세울 수 있으므로 이러한 단계는 수업계획 수립단계에 꼭 필요하다고 생각된다. 또한 수업 평가 계획 단계는 자칫 누락될 수 있는 수업에 대한 교수의 평가계획이 구체적으로 수립될 수 있게 하였다.
실행단계는 학습만족도 향상을 위하여 교수가 매주 학생들의 실습성찰일지에 대하여 피드백을 줌으로써 학생들의 실습 경험이 의미 있는 학습경험으로 재구성되도록 수행한 단계였다. 학생들은 매주 성찰일지에 대한 교수의 피드백을 기대하는 마음으로 보았고, 실습을 하면서도 의미 있는 학습 경험을 이루기 위해 생각하게 되었다고 피드백 하였다. 교수는 학생들이 기록한 실습성찰일지와 수업관찰일지를 분석하며 성찰과 함께 새로운 수업운영계획을 수업운영일지에 추가하였고 다음 수업에 이를 적극 실행하였다. 선행연구에 의하면 학생은 수업을 가장 잘 평가할 수 있는 사람이며, 학생들에게 참여관찰일지를 수집하면 교수에게는 수업분석 자료가 되며 학생들에게는 학습능력향상에 도움이 되며, 학생들의 학습성찰일지나 수업관찰일지는 자신의 수업을 분석하고자 하는 교수들에게 훌륭한 수업분석 자료가 된다[20]. 하지만 지나치게 자주 부과하면 학생들이 지루해 하므로 자유롭게 참여하도록 하고 일지 작성의 지침을 준다면 학생들은 교수의 개선에 대한 열정만큼이나 기꺼이 참여하게 된다[20].
자율실습실을 개방하여 운영하고 자율실습 참여여부를 점수에 반영하였기 때문에 학생들은 조별로 시간을 맞추어 자율실습에 참여하였다. 학생들이 자율실습을 주도적으로 할 수 있도록 수업 중 학생들에게 수행 평가지를 제공하였고, 수업의 마지막 시점에서 동료평가를 해보도록 한 후, 교수가 평가의 중요한 포인트를 확인시켰다. 수업운영에 대한 설문조사 결과, 학생들은 이러한 과정이 동료평가를 통해 정확한 방법을 재확인 할 수 있는 시간이었다고 하였다.
관찰단계에서는 수업운영에 대한 설문조사 2회와 교과목 강의평가가 이루어졌는데, 수업운영에 대한 설문조사는 만족스러웠지만 교과목 강의평가는 전년보다 낮아졌다는 문제점이 제기되었다. 강의평가의 평균점수가 전년도보다 낮은 점수를 보였기 때문이다. 강의평가 점수를 항목별로 분석해보니 전 학년도에 평균보다 낮았던 4항목은 모두 조금씩 향상되어 있었고 이외에 나머지 8항목은 전 학년도에 비하여 조금씩 낮아졌으나 전반적으로 편차는 줄었다. 강의평가의 평균점수보다 낮은 항목이 5항목으로 다음 년도에 교수자로서의 질 향상을 위하여 노력해야 할 것이다. 여전히 낮게 평가된 ‘평가의 공정성 부분’의 향상을 위하여 교수자의 수행 관찰능력 향상 및 평가 장면의 동영상 촬영을 시도하고자 한다. 본 교과목과 같이 수행평가가 주로 이루어지는 교과목은 공정성에 대하여 의구심을 가질 수 있기 때문에 수행평가에 대한 정확한 평가기준의 제시가 필수적이라 여겨진다. 수업의 시작 전 또는 수행평가 전에 수행평가의 루브릭 제공, 수행평가 이후 수행평가결과에 대한 피드백을 통해 학생들이 자신의 강점과 약점을 파악할 수 있는 기회를 제공하는 방법들도 적극적으로 고려해 볼 수 있을 것으로 생각된다.
성찰단계에서 강의개선의 성과로 성취 수준 미달성 학생 수 감소를 확인하였고 이를 통해 학생들의 수행능력이 향상되었음을 알 수 있었다. 성찰단계에서 실행연구의 의의를 찾는 것은 매우 중요하지만 때로 어려울 수 있다. 본 연구자도 강의개선의 성과를 어떻게 파악해야 할지에 대한 문제에 부딪히게 되었고 학습성과 달성측면에서 접근하여 성취 수준 미달성 학생 수를 파악하여 전년도와 비교해 볼 수 있었다.
학생의 학업성취도를 높이기 위하여 다양한 교수학습 방법이 필수적이며, 2주기 간호교육인증평가의 항목으로 교수학습방법의 개선 노력을 평가함에 따라 간호교육에서는 점차 다양한 교수학습방법을 적용해야 할 필요성이 높아지고 있는 시점이다. 이는 변화하는 학생의 요구를 만족시킬 수 있을 뿐 아니라 역량개발을 위한 필수적인 과정이다. 그러므로 다양한 교수학습 방법의 적용을 통한 교육과정의 질 개선을 위한 노력은 향후 간호교육 분야에서 지속적으로 실천해야 할 과제이므로 간호교육에서 실행연구의 유용성을 다음과 같이 조명해보고자 한다.
첫째, 실행연구는 역량을 갖춘 간호교육자로 성장하는데 도움을 준다. 간호학 교수는 간호학 연구뿐 아니라, 교육자로서 각 교과목을 통해 학습목표를 달성해야 하므로 교육자로서의 역량개발이 필요하다. 실행연구는 간호교육현장에 적용한 다양한 교수-학습 이론에 대해 계획, 실행, 관찰, 성찰의 순환을 반복하는 과정을 통해 문제점을 파악하고 개선할 수 있도록 할 것이다.
둘째, 실행연구는 연구의 결과물이 학생들의 학습능력 변화로 나타나기 때문에 교수자로서 교육현장의 변화에 대한 보람을 느낄 수 있게 한다. 학생들의 학습능력 향상은 교육의 목표이다. 교수-학습과정에 대하여 연구하는 교수자의 모습은 학생들로 하여금 학습동기를 불러일으키고 협력적인 교수-학습자의 관계, 긍정적인 학습 분위기 형성에도 일조할 것이다.
셋째, 실행연구는 기존 연구의 결과들이 현장에 적합한지 검증함으로 교육현장을 개선한다. 간호교육현장은 여러 가지 예측할 수 없는 많은 상황들이 발생하기 때문에 연구결과들을 현장에서 수용하기에 녹록치 않는 것이 현실이며 이로 인해 교육현장과 교육연구가 분리될 가능성이 있다. 실행연구는 기존 연구 결과와의 대립상황, 예측되지 않은 사건들이 발생하는 현장에서 기존 연구결과들의 적합성을 검증할 뿐만 아니라, 어떻게 적용되어야 하는 지를 보여줌으로 연구와 현장을 연계시키는 연구방법이 될 것이다.

결론 및 제언

본 연구는 기본간호학실습 수업의 개선을 위해 계획, 실행, 관찰, 순환의 구조를 갖춘 실행연구방법을 적용하였다. 계획 단계에서 Fink [8]의 12단계의 수업디자인 모형을 적용하여 수업을 디자인하고, 실행단계에서 학생이 작성한 실습성찰일지와 수업관찰일지를 분석하여 수업에 적용하였다. 관찰단계에서 학습방법, 학습내용, 교수자에 대한 학생들의 만족도가 높았음을 확인할 수 있었고 성찰단계에서는 전년도에 비해 학업성취 미달성 학생 수가 감소됨을 확인할 수 있었다. 본 연구를 통해 기본간호학실습 교과목에서 교수학습전략으로 적용된 학습만족도 향상활동인 성찰일지 피드백, 적극적인 자율실습실 개방 운영, 역할극 활용평가방법은 매우 유용하였으며, 특히 성찰일지를 통한 피드백은 교수의 수업개선에도 매우 효과적이었다.
이상의 연구결과로 미루어 볼 때 간호 교육자의 교육방법 개선 노력과 교육과정의 질 개선 과정을 공유하기 위해서 추후에는 다양한 간호교육영역에서의 실행연구가 이루어질 필요가 있다고 생각한다. 간호교육 현장에서 다양한 교과목에 대한 효과적인 교수-학습 전략이 개발되어지는 과정에서 학습자인 학생들의 참여가 이루어져 교수와 학생이 함께 만들어가는 교육과정의 개선이 필요하다. 이러한 개선 과정이 학생에게는 학습성과의 향상으로, 교수에게는 교육자로서의 역량 강화로 그 성과가 나타나게 될 것이다.

Figure 1.
A modified action research model (Based on the work of Zuber-Skerritt & Fletcher, 2007)
jkafn-22-2-169f1.tif
Table 1.
An Overview of the Action Research Process and Methods
Action research process Research methods
1. Planning Literature review
Analysis of previous course evaluation
Telephone interviews
Establishment of course design using Fink’s course design model

2. Action/Fieldwork Conducting class
Teaching and learning activity (student’s practice reflective journal writing and professor’s feedback)
Student’s class observation journal writing and professor’s class operating journal

3. Evaluation Analysis of open ended questionnaire
Compare with course evaluation

4. Reflection Outcome review (performance ability test)
Reflections
Table 2.
Content Analysis of the Open Questionnaire (N=132)
Characteristics Response n(%)
Teaching strategy Well* Effective teaching strategy (lecture-video clip-example-practice-assessment) 26(13.9)
Practice was interesting 21(11.1)
Effective team learning activity and assessment 15(8.0)
Watching an example after the video clip 13(7.0)
Self-directed practice 7(3.7)
Reflective journaling helps memory 6(3.2)
Reconfirm skill procedure from feedback to assessment 1(0.5)
89(47.4)

Not well Content of classes have little difference 1(0.5)
Sometimes, one student has many assessments 1(0.5)
Didn’t know how to sign at practice paper 1(0.5)
3(1.5)

Learning content Well* Useful contents for nurse 25(13.2)

Instructor Well* Interesting lessons 13(7.0)
Helpful for understanding 12(6.4)
Friendly explanation 10(5.3)
Explain with clinical story 2(1.0)
Good atmosphere for lesson 2(1.0)
Feedback to reflective journal 1(0.5)
Provide assessment paper 1(0.5)
41(21.7)

Not well* Not enough time submit reflective journal that day 1(0.5)
Not enough instructor’s guidance 1(0.5)
Not enough time for practice assessment 1(0.5)
Practice for basic nursing skill 1(0.5)
4(2.0)

Learning environment Well* Good video clips 2(1.0)
Good lab. equipment 1(0.5)
Provision of lab. materials 1(0.5)
4(2.0)

Not well* Lack of lab. materials 13(7.0)
Equipment not neat 6(3.2)
Lack of lab. equipment 2(1.0)
Lack of practical (lab.) space 1(0.5)
Too many students in class 1(0.5)
23(12.2)

Total 189(100.0)

* Duplicate response

Table 3.
Results of 2013 and 2014 Course Appraisal
No Items 2013 2014
M±SD M±SD
1 Systematic suggestion for the syllabus 4.27±0.73 4.15±0.70
2 Consistency of the class progression and the syllabus 4.29±0.73 4.20±0.69
3 Strict attendance control and observance of the class 4.31±0.74 4.26±.068
4 Clarity of communication and suitability of the learning materials 4.28±0.73 4.22±0.70
5 Acceptance of student’s reactions 4.30±0.72 4.24±0.70
6 Attention to the class and speed control 4.30±0.75 4.23±0.67
7 Application of various teaching methods and audio-visual equipment. 4.35±0.72 4.21±0.72
8 Establishment of an appraisal standard and fair appraisal 4.14±0.86 4.15±0.73
9 Appropriateness of test and course content 4.15±0.84 4.16±0.72
10 Appropriateness of achievement of assignments and course goal 4.20±0.83 4.22±0.68
11 Feedback about assignments and practice 4.14±0.83 4.16±0.71
12 Profitability of the class 4.27±0.84 4.17±0.71

Total 4.25±0.77 4.20±0.70
Table 4.
Difference between Before and After Use of Designing College Courses Model
Categories Before (2013) After (2014)
Teaching strategy Reviewing previous knowledge Reviewing previous knowledge

Watching the video clip Watching the video clip

Showing an example Showing an example

Guiding practice in nursing skill Guiding practice in nursing skill

- Student assessment (provide assessment paper: for peer review)

- Feedback on demonstration and provide guidance for self-directed practice

Wrap up Wrap up

- Feedback on teaching strategy (class observation journal)

Grading system Performance assessment (60%) Individual assessment: 1st, 2nd Individual assessment: 1st, 2nd
Team assessment: 3rd Team assessment (role play): 3rd

Report (20%) Reflective journal 1 (procedure & rationale) Reflective journal 1 (procedure & rationale)

- Reflective journal 2 (5 questions for deep thinking)

- (Team) Scenarios for role play → 2nd draft after feedback

Attitude (10%) Attitude (10%) Attitude (5%)

- Self-directed practice (5%)

Attendance 10% 10%

Plan an evaluation of the course and teaching performance After 3rd evaluation After 1st, 3rd evaluation

- Class operating journal (instructor)

References

1. Lee YS, Kim YC, Lee HK, Kim YM, Cho DJ, Cho JS. Action research. Seoul: Hakjisa; 2005. p. 19-43.

2. Kim YC. Action research Ⅰ. Annual spring conference of Chonnam Research Institute of Nursing Science. 2010 May 25; Ducjae Hall: Gwangju: Gummunhwasa; 2010. 5-44.

3. Lee YS, Yoo CJ, Kim YC. An action research for the development of a new course: ‘New product marketing ethnography'. Journal of Anthropology of Education. 2013; 16(1):65-100.
crossref
4. Lee YS. An action research to develop a new approach to analyze and design college courses with the use of causal chain analysis. Korean Journal of Educational Methodology Studies. 2012; 24(4):729-770.

5. Hong YS, Shin SY. Syllabus development and application effect for strengthening the practical abilities of instructors of sports for all. Journal of Research in Curriculum Instruction. 2013; 17(4):1121-1142.

6. Kim YM. Evaluation of design and operation of action learning based nursing professionalism course for nursing students [dissertation]. Gwangju: Chonnam National University; 2012. 19-33.

7. Korea Accreditation Board of Nursing Education. Nursing education accreditation standards [Internet]. Seoul: Korea Accreditation Board of Nursing Education; 2013. [cited 2014 September 30]. Available from: http://kabon.or.kr/kabon02/140414_1.pdf

8. Fink LD. Creating significant learning experiences: An integrated approach to designing college courses. 2003. San Francisco, CA: Jossy-Bass; p. 257-264.

9. Zuber-Skerritt O, Fletcher M. The quality of an action research thesis in the social sciences. Quality Assurance in Education. 2007; 15(4):413-436. http://dx.doi.org/10.1108/09684880710829983
crossref
10. Yoo MS. The effectiveness of standardized patient managed instruction for a fundamental nursing course. Journal of Korean Academic Society of Nursing Education. 2001; 7(1):94-112.

11. Yoo MS, Yoo IY, Park YO, Son YJ. Comparison of student's clinical competency in different instructional methods for fundamentals of nursing practicum. Journal of Korean Academy of Nursing. 2002; 32(3):327-335.

12. Paik HJ. Educational evaluation of competency in nursing skills through open laboratory self-directed practice. Journal of Korean Academy of Fundamentals of Nursing. 2004; 11(1):13-20.

13. Cho BH, Ko MH, Kim SY. Effectiveness of web based learning on competence, knowledge, and confidence in foley-catheter management in basic nursing education. Journal of Korean Academy of Fundamentals of Nursing. 2004; 11(3):248-255.

14. Nam MR. Effectiveness of web-based learning in basic nursing practice education: Focusing on asepsis technique practice. Journal of Korean Academy of Fundamentals of Nursing. 2005; 12(3):290-297.

15. Song MR, Kim EM, Yu SJ. Analysis on the competency of nursing students' basic nursing skills. Journal of the Korea Contents Association. 2012; 12(6):390-401. http://dx.doi.org/10.5392/JKCA.2012.12.06.390
crossref
16. Kim YH. Effects of utilizing animation prior to fundamental nursing practice on learning motivation and self-directedness in student nurses. Journal of Korean Academy of Fundamentals of Nursing. 2010; 17(2):240-248.

17. Jo HS, Park EY, Choi JS. Effects of self directed learning applying basic nursing practice contents of e-learning on nursing students' knowledge, self confidence and satisfaction. Journal of the Korea Contents Association. 2013; 13(9):504-514. http://dx.doi.org/10.5392/JKCA.2013.13.09.504
crossref
18. Jun WH, Lee EJ. Effects of S-PBL in fundamental nursing practicum among nursing students: Comparison analysis of a ordinary least square and a quantile regression for critical thinking disposition. Journal of the Korea Contents Association. 2013; 13(11):1036-1045. http://dx.doi.org/10.5392/JKCA.2013.13.11.1036
crossref
19. Kim YH, Lee YM. Relationship of learning motivation, self-directed learning ability and problem solving process of nursing students after practice evaluation of fundamentals of nursing course using role play. Journal of the Korea Academia-Industrial Cooperation Society. 2012; 13(1):147-155. http://dx.doi.org/10.5762/KAIS.2012.13.1.147
crossref
20. Lee YS. Development of self-analysis methods of teaching for the improvement of college education. Journal of Yeolin Education. 2011; 19(1):1-34.