| Home | E-Submission | Sitemap | Contact Us |  
top_img
J Korean Acad Fundam Nurs > Volume 28(1); 2021 > Article
국내 학술지에 게재된 영성 관련 측정도구의 측정속성: 체계적 문헌고찰

Abstract

Purpose

The purpose of this study was to evaluate the measurement properties of spirituality-related assessment tools published in Korean journals.

Methods

The databases used to search the literature reporting use of the spirituality-related assessment tools were RISS, NDSL, DBpia, KoreaMed, and KISS. The quality of the measurement properties was evaluated based on the reported internal consistency, content validity, criterion validity, construct validity, reproducibility, responsiveness, floor-ceiling effects and interpretability based on the tools review criteria suggested by Terwee et al.

Results

Twenty-five assessment tools (including 7 original Korean versions) were identified from the 208 Korean studies published up to November, 2016. All of the 25 tools reported internal consistency and content validity; construct validity was reported in 21 tools while only six tools had reported on criterion validity. None of the studies reported on the reproducibility, responsiveness, and floor-ceiling effects. Among 25 spirituality-related assessment tools, the spiritual well-being scale was identified as the most commonly used tool for spirituality assessment.

Conclusion

Among 25 spirituality-related assessment tools used in Korean studies, all of them satisfied only three criteria out of the eight criteria for measurement properties, internal consistency, content validity, and interpretability. The results of this study provide evidence to develop reliable and valid tools that will satisfy the criteria for measurement properties. In addition, standardized, reliable, and valid assessment tools must be chosen for spirituality-related study.

서 론

1. 연구의 필요성

국내외에서 많은 간호학자들이 다양한 영적간호중재를 마련하기 위해 간호대상자의 영적요구를 파악하는 방안으로 영성을 측정하고 있다. 영성(spirituality)은 다양한 학문분야에서 ‘종교(religion)’ 혹은 ‘종교성(religiosity)’과 비슷한 개념으로 사용되고 있으며, 인간의 종교활동과 밀접한 관계가 있는 것으로 받아들여지고 있다[1]. 그러나 간호학에서의 영성은 종교적인 믿음과 종교활동을 의미하는 것 이상으로 인간이 자신, 타인 및 절대자(신)와의 관계를 통해 신체, 마음, 영혼(spirit)을 통합하게 하는 힘으로 받아들이고 종교성과 구분되어 사용되고 있다[2]. 그러나 영성은 종교적 속성과 밀접한 관계가 있고, 인간의 심리적 측면과 구분이 어려울 뿐만 아니라 경험적 증거의 제시가 어려워 영성의 개념적 정의에 대한 합의가 이루어지지 않고 있다[3]. 국내 및 국외 학술지에 게재된 영성 관련 문헌을 분석한 일개 연구[4]에서는 “영성은 인간이 절대자와의 교제를 통해 유대감과 믿음을 형성하게 하고, 타인 ․ 이웃 ․ 자연과의 관계에서 유대감과 신뢰 관계를 형성하면서 이러한 과정을 통해 자신의 삶의 의미와 목적을 깨닫고, 자기초월 ․ 자아통합 ․ 자아창조를 이루게 해주는 것”으로 정의하였다. Nightingale [5]도 영성에 관심을 가지고 영성은 인간의 신체, 마음, 그리고 영혼을 통합시켜주며 인간은 이를 통해 건강을 유지하고 질병, 외상, 상실, 생의 위기 등에 적응하고 대처할 수 있게 된다고 하였다. 나이팅게일 이후, 영적간호에 대한 연구가 활발하게 진행되기 시작하면서 지금까지도 인간의 영적요구를 충족시키기 위한 영적간호중재방안을 마련하기 위해 수많은 노력을 기울이고 있다[2,3].
그런데 영성사정도구들에 포함된 영성의 속성이 서로 달라서 영성의 결과도 다르게 제시되고 있다. 예를 들면 Burkhardt [6]는 영성의 속성을 초월감, 삶의 의미와 목적, 조화로운 상호관계성, 내적강인함으로 제시하였고, 영성의 결과는 내적평화, 기쁨, 목적이 있는 삶, 성취감, 내적 강인함, 건강으로 제시하였다. Tanyi [7]는 영성의 속성을 절대자와의 연결성, 가치, 내적 자원, 있음으로 영성의 결과는 안녕, 희망, 사랑 및 기쁨, 영적 고뇌, 내적 갈등으로 제시하였다. Oh와 Kang [8]은 영성의 속성을 조화로운 관계성, 초월성, 통합적 에너지, 삶의 의미와 목적으로, 영성의 결과를 안녕으로 제시하였다. 이처럼 영성의 속성이 다양하고 영성의 결과도 다양하게 제시되고 있어 영적간호중재를 제공하는데 어려움이 발생할 수 있는 문제점이 제 기될 수 있다.
간호대상자의 영적 요구를 파악하기 위해 영성을 측정하기 위해 국내외에서 많이 사용되고 있는 도구는 Paloutzian과 Ellison [A1]이 개발한 영적안녕 측정도구(Spiritual Well-being Scale, SWB)이다[9]. 그런데 국내외 학술지에 게재된 영성 관련 문헌을 분석한 일개 연구[4]에서 영적 안녕을 영성의 긍정적 측면의 결과로 제시하였고, Highfield [A6]도 영적간호의 궁극적 목적이 영적 안녕을 획득하기 위한 것으로 제시하였다. 이처럼 영성의 결과인 영적안녕을 측정하는 도구를 가지고 영성을 측정하는 것은 연구결과의 내적 타당도를 위협할 뿐만 아니라 적절한 영적간호중재방안을 마련하는 데에도 혼란을 일으킬 수 있지만 많은 연구에서 영적안녕을 측정하는 도구를 가지고 영성 측정에 활용되고 있다.
영적안녕 측정도구이외에 영성을 사정하기 위해서 활용되는 도구는 국외에서 Howden [A11]이 개발한 영성사정척도(Spiritual Assessment Scale, SAS)와 국내에서 개발된 영성척도(Spirituality)[10], 대학생용 영성척도(Spiritual Scale for University Students, SS)[11]가 활용되고 있다.
이외에도 영성을 측정하기 위해 다양한 영성 관련 측정도구들이 활용되고 있는데, 국내에서 개발된 영적돌봄수행도 측정도구(Tool for Spiritual Care Performance, SCP)[12]와 국외에서 개발된 영성경험척도(Index of Core Spiritual Experiences, INSPIRIT)[A13], 영적건강 측정도구(Spiritual Health Inventory, SHI)[A6], 영적초월척도(Spiritual Transcendence Scale, STS)[A14] 등이 있다.
국외의 경우 Monod 등[13]의 연구에서 영성을 측정하기 위해 사용되고 있는 측정도구의 종류와 측정속성을 분석한 결과 영성, 영적안녕, 영적대처, 영적요구를 측정하는 35개의 다양한 영성 관련도구가 활용되고 있었으며, 측정속성 중 내용타당도와 문항간 신뢰도가 낮은 것으로 보고하였다. 특히 측정속성의 질이 낮은 도구를 사용하는 것은 연구결과의 타당성과 신뢰성을 위협하게 되므로 적절하고 측정속성의 질이 높은 측정도구를 선택하는 것은 중요하다[14]. 또한, Monod 등[13]의 연구에서 영적 간호중재의 필요성을 강조하며 적합한 측정도구를 활용한 연구가 적어 영적간호중재연구에서 연구결과의 타당한 평가를 위해 측정도구의 선정이 중요하다고 제시하였다. 그런데 국내에서는 영성을 측정하기 위해 활용되고 있는 다양한 영성 관련 측정도구들의 측정속성의 질을 체계적으로 평가한 연구를 찾아볼 수 없었다. 이에 본 연구에서는 국내학술지에 게재된 연구에서 사용되고 있는 영성 관련 측정도구의 특성과 Terwee 등[15]이 개발한 도구 질 평가 기준을 이용하여 측정속성의 질을 평가하고자 한다.

2. 연구목적

본 연구의 목적은 국내 학술지에 게재된 영성 관련 측정도구의 특성 및 측정속성의 질을 평가함으로 영성 관련 연구에서 신뢰도와 타당도가 확보된 도구를 사용할 수 있는 근거를 마련하고 향후 도구 개발에 필요한 기초자료를 제공하는 데 있다. 구체적 목적은 다음과 같다.
  • 국내 학술지에 게재된 영성 관련 측정도구의 특성을 분석한다.

  • 국내 학술지에 게재된 사용되고 있는 영성 관련 측정도구 속성의 질을 평가한다.

연구방법

1. 연구설계

본 연구는 국내 학술지에 게재된 영성 관련 측정도구의 특성과 Terwee 등[15]이 개발한 도구 질 평가 기준을 사용하여 영성 관련 측정도구 속성의 질을 평가하는 체계적 문헌고찰 연구이다.

2. 연구대상

본 연구대상은 국내 학술지에 게재된 영성 관련 측정도구가 포함된 208편의 논문에서 사용된 25개 영성 관련 측정도구이었다.

3. 연구진행

1) 문헌검색

본 연구의 문헌검색은 Prefereed Reporting Items of Systematic Reviews and Meta-Analysis (PRISMA) 가이드라인에 따라 진행되었으며, PICO (Participant, Intervention, Comparison, Outcome)은 영성 관련 연구대상자(P), 영성 관련 도구로 측정한 양적연구(I), 사용된 측정도구(O)이다. 본 연구에서 검색기간은 시작 연도에 제한을 두지 않고 2016년 11월까지이며, 국내 학술검색 데이터베이스인 대한의학학술지(KoreaMed), 학술연구정보서비스(Research Infromation Sharing Service, RISS), 국가과학기술정보센터(Nationatl Digital Science Library, NDSL), DataBase Periodical Information Academic (DBpia), 한국학술정보(KISS)를 통해 ‘영성’ OR ‘영적고뇌’ OR ‘영적안녕’ OR ‘영적요구’ OR ‘영적대처’ OR ‘영적성숙’ OR ‘영적 고뇌’ OR ‘영적 안녕’ OR ‘영적 요구’ OR ‘영적 대처’ OR ‘영적 성숙’으로 조합하였다. 영어를 사용하는 Korea-Med의 경우 ‘spirituality [MeSH]’ OR ‘spirit’ OR ‘spiritual’의 검색식를 사용하였다.

2) 대상 도구 선정

문헌검색은 2016년 12월 1일부터 2017년 1월 18일까지 수행되었다. 본 연구의 논문 선정기준은 국내 학술지에 게재된 논문으로 영성을 계량적으로 측정하는 자가보고 형식의 사정도구를 사용한 양적연구논문이다. 제외기준은 종교성만을 언급한 논문, 종설 혹은 질적연구논문, 외국논문(외국에서 시행되어 국내에서 발표된 논문), 학술대회 발표 논문, 사용된 측정도구의 개발 과정을 기술하지 않고 해당 연구를 위해 수정한 도구를 사용한 논문, 원문을 이용할 수 없는 논문 등이었다. 검색은 연구자 2명이 각각 독립적으로 실시하여 검색 결과를 비교한 후 의견의 불일치가 있는 경우 연구 회의에서 결정하였다.
검색어를 조합하여 검색한 결과, 1차로 9,210개의 논문이 추출되었다. 중복된 2,833개 논문을 제외하고, 6,377개 논문의 제목을 검토하여 영성과 관련된 내용이 아닌 논문 3,293개와 특정 종교 신학과 관련된 종설논문 2,518개를 제외하였다. 다음 단계로 566개 논문의 초록을 검토하여 종설 292개, 질적연구논문 7개, 초록 및 학술대회 발표 논문 23개, 영성과 관련된 내용이 아닌 논문 6개, 외국논문 1개를 제외하였다. 237개 문헌의 전문을 검토하여, 도구 개발의 단계를 기술하지 않고 해당 연구를 위해 수정한 도구를 이용한 논문 9개, 측정도구를 사용하지 않은 논문 14개, 원문을 이용할 수 없는 논문 6개를 제외하여 총 208편의 논문이 선정되었다. 선정된 논문에서 활용한 영성 관련 측정도구는 원도구를 포함하여 한국어 번역본까지 총 25개의 도구로 파악되었고 이 25개 도구 모두를 대상으로 하였다(Figure 1).

3) 자료추출과 분석방법

선정된 논문은 서지 관리 프로그램인 EndNote X8.2를 활용하여 검토 및 정리하였다. 문헌분석의 틀은 연구 회의를 통해 결정한 엑셀 양식의 서식을 사용하였다.
선정된 논문으로부터 추출된 자료는 첫째, 선정된 논문에서 사용한 영성 관련 측정도구의 특성으로 도구명, 개발자, 목적, 개념틀, 하위영역, 항목 수, 점수 부여 방법, 연구에서의 신뢰도와 타당도, 적용 대상자 등을 추출하였다. 또한, 사용한 영성 관련 측정도구의 국내에서 사용현황을 분석하였다.
Figure 1.
Flow diagram of the literature search.
jkafn-28-1-133f1.jpg
둘째, 선정된 논문에서 사용된 영성 관련 측정도구의 측정속성의 질 평가는 Terwee 등[15]이 개발한 도구 질 평가 체크리스트를 사용하여 내적일관성, 내용타당도, 준거타당도, 구성타당도, 재현성, 반응성, 바닥 혹은 천장 효과, 해석의 용이성을 기준으로 분석하였다. 이 체크리스트에서의 점수부여 방법은 ‘+’는 긍정적인 평가를 의미하며, ‘?’ 는 중간의 평가를 의미하고, ‘-’ 부정적인 평가를 의미한다. (1) 내적일관성은 도구의 문항이 서로 관련되어 있으면서 같은 구성 개념을 측정하는 정도를 의미하며 충분한 표본 수(표본 수의 7배 혹은 100명 이상)를 확보하여 요인분석을 시행하고 Cronbach's ⍺가 .70∼.95 인 경우 ‘+’을 부여한다. (2) 내용타당도는 측정 목적, 대상자, 개념 이 분명하게 기술되고 대상자와 전문가가 문항 선정에 참여했을 때 ‘+’을 부여한다. (3) 준거타당도는 도구의 설문이 표준측정도구(gold standard)와 관련된 정도를 의미하며, 표준측정도구가 제시되고, 이 도구와의 상관관계가 .70 이상일 경우 ‘+’을 부여한다. (4) 구성타당도는 이론적으로 도출된 구성 개념을 반영하는 정도와 특정 가설이 제시되고, 결과의 75%는 이 가설에 부합되었을 경우 ‘+’을 부여한다. (5) 재현성은 반복하여 측정할 때 비슷한 점수를 얻게 되는 정도를 말하며, 일치도와 신뢰도로 구별하여 평가한다. 일치도는 반복된 측정 점수가 각각 일치하는 정도를 의미하며, 최소주요변화(Minimal Important Change, MIC)는 최소식별변화(Smallest Detectable Change, SDC)보다 크거나 일치의 한계(Limits Of Agreement, LOA) 밖에 위치할 경우 혹은 일치 정도에 설득력이 있는 경우 ‘+’을 부여한다. 신뢰도는 각각 구별되는 대상자 범위를 의미하며, 최소한 50명 대상에 급내상관계수(InterClass Correlation, ICC) 혹은 가중된 카파상관계수(weighted Kappa)가 .70 이상인 경우 ‘+’을 부여한다. (6) 반응성은 시간이 경과함에 따라 임상적으로 중요한 변화를 감지할 수 있는 민감성 정도를 의미하며, MIC가 SDC보다 크거나 LOA 밖에 있을 경우 혹은 반응률(Responsiveness Ratio, RR), 반응자 작용특성(Receiver Operating Characteristics, ROC) 곡선 등을 제시하였을 경우 ‘+’을 부여한다. (7) 바닥 혹은 천장 효과는 최저 혹은 최고 점수의 대상자 수를 의미하며, 전체 응답자의 15% 이하일 경우 ‘+’을 부여한다. (8) 해석 용이성은 양적 점수의 유의미성을 의미하며, 성별, 연령, 진단명, 질환 상태의 평균과 표준편차를 제시한 경우 ‘+’을 부여한다.
본 연구에서 평가자간의 일치성 정도를 파악하기 위해 자료분석을 실시하기 전 예비 평가를 실시하였다. 본 연구에서 선정된 대상 논문 중 무작위로 3편의 논문을 선정하여 2명의 연구자가 독립적으로 논문에서 활용한 영성 관련 측정도구를 평가한 후 일치된 영역과 불일치된 영역을 확인하여 연구자간 평가 수준을 조정하였다. 이후 본 평가에서 2명의 연구자가 각각 논문에서 활용한 25개 영성 관련 측정도구를 평가하였고, 의견 조정이 필요한 경우에는 전체 연구 회의를 거쳐 결정하였다.

4. 윤리적 고려

본 연구는 연세대학교 간호대학 기관생명윤리위원회로부터 심의 면제에 대한 승인(IRB No.: 간대 IRB 2017-008)을 받았다.

연구결과

1. 국내 연구에서 활용된 영성 관련 측정도구의 특성

본 연구에서는 분석한 영성 관련 측정도구는 총 25개로 국내 연구에서 1995년 영적건강 측정도구(SHI)를 사용하여 연구한 논문이 검색된 이후 선정된 208편의 논문에서 사용한 영성 관련 측정도구는 원래 개발된 도구 18개와 국외에서 개발된 도구에 대해 표준화된 번역과정을 거친 한국어판 도구 7개이었다. 측정도구의 개발 목적은 영적안녕, 영적건강, 영적요구, 영적간호, 영적 디스트레스, 영성, 영적초월성, 일터영성, 간호학생의 영적간호역량 등을 측정하는 것이었다(Table 1). 25개 도구는 모두 자가보고 설문지 형태로 개발되었으나, 영적건강 측정도구(SHI)[A6]는 간호사가 환자의 영적건강상태를 사정하는 목적으로도 사용되고, 영적초월척도(STS)[A14]는 동료가 관찰 ․ 평가하는 것으로 함께 사용되기도 하였다. 25개 도구 중 영적안녕을 측정하는 도구 2개, 영적건강을 측정하는 도구 1개, 영성을 측정하는 도구 4개, 영적간호를 측정하는 도구 1개이었다. 국내에서 개발된 도구는 10개로 영성을 측정하는 도구 4개, 일터영성을 측정하는 도구 3개, 영적요구를 측정하는 도구 1개, 영적 디스트레스를 측정하는 도구 1개, 영적간호를 측정하는 도구 1개였다(Table 1).
Table 1.
Characteristics of Spirituality-related Assessment Tools Applied in Korean Journals (N=25)
Measurement (Country) Author (year) Purpose Framework (theory) Domain Total items (n) Scale (Scoring) Reliability Validity Target population (n)
SWB (USA) [A1] Paloutzia n & Ellison (1983) To develop as a general indicator of the subjective state of religious and existential well-being. N/A •Religious well-being •Existential well-being 20 6 point Likert scale (20∼120) Test-retest
Internal consistency
Face validity
Criterion validity
Constructive validity
College students (over 500)
SWB (Korean translation version) [A2] Kang (2003) A study on validity of the Korean version of SWB   • Religious well-being •Existential well-being 20 6 point Likert scale (20∼120) Internal consistency Construction validity
Convergent validity
Discrimination validity
College students (350)
SWB (Korean translation version) [A3] Cheung et al. (2001) A study on reliability & validity of the Korean version of
SWB
  • Religious well-being (3 factor: educational level, physical health, faith)
• Existential well-being (2 factor: physical health, reality view)
20 6 point Likert scale (20∼120) Test-retest
Split-half reliability
Internal consistency
Content validity
Construction validity
Elders (184)
SWB (Korean translation version) [A4] Chon et al. (2000) To develop a Korean version of
SWB
  • Religious well-being
•Meaningless
•Fulfillment
16 7 point Likert scale (20∼140) Internal consistency Construction validity College students (626)
FACIT_Sp 12 (USA) [A5] Peterman et al. (2002) To measure religious & spiritual well-being in cancer research   • Meaning of life •Peace
• Faith
12 5 point Likert scale (0∼48) Internal consistency Construct validity
Criterion validity
Convergent validity
Cancer patients HIV/AIDS (1,617)
SHI (USA)
[A6]
Highfield (1992) To assess patient's spiritual health status Religious-existential need framework
Spiritually health status met the need for self acceptance, relationships, & hope.
•Self acceptance
• Relationship
• Hope
31 5 point Likert scale
if > 93, is spiritual healthy.
if < 93, is spiritual distress. (31∼155)
Internal consistency Content validity
Construct validity
Oncology patients (40)
Nurses (27)
SHI (Korean translation version) [A7] Lee et al. (2001) A study of reliability & validity of SHI for Korean patients
with cancers
  •Peace
• Hope
• Self-esteem
• Trust
31 5 point Likert scale (31∼155) Internal consistency Forward-backward translation done
Face validity
Content validity
Construct validity
Cancer patients (96)
SHI (Korea translation version) [A8] Min (1995) To test reliability & validity of the Korean version of the SHI
To identify the state of spiritual health of cancer patients
  • Hope
• Relationship
• Self-acceptance •Uncertainty
• Relationship with
God
29 5 point Likert scale (29∼145) Internal consistency Construct validity Cancer patients (81)
SNS (Korea) [A9] Yong et al. (2008) To assess spiritual needs of cancer patients in Korea and to provide effective spiritual care Literature review
Qualitative interview
• Relationship with God
• Meaning & purpose
• Acceptance of dying
• Hope & peace
• Love & connection
26 5 point Likert scale (26∼130) Internal consistency Content validity
Construct validity
Cancer patients (257)
SD (Korea) [A10] Kim (1991) To reduce spiritual distress and provide spiritual nursing care Literature review: NANDA, Loxley & Cress, Gordon   13 7 point Likert scale (13∼91) Internal consistency Content validity DM patients (81)
SAS (USA) [A11] Howden (1994) For nurse to assess an individual's spirituality Spirituality model (concept analysis, synthesis, & derivation as well as theory construction) •Purpose or meaning in life
•Innerness or inner resources
•Unifying
•Interconnectedness, transcendence
28 6 point Likert scale (28∼168) Internal consistency Construct validity Adults (189)
SAS (Korean translation version) [A12] Oh et al. (2001) A study of psychometric evaluation of Korean version of SAS   •Purpose or meaning in life
•Innerness or inner resources
•Unifying
•Interconnectedness, transcendence
28 6 point Likert scale (28∼168) Internal consistency Forward-backward translation done
Content validity
Construction validity
Convergence validity
Discriminability validity
Nurses (222)
INSPIRIT (USA) [A13] Kass et al. (1991) To measure the occurrence of experience that convince a person God exists and evoke feelings of closeness with God, including the perception that God dwells within. Added 3 items with 8 questions by National Opinion Research Center (Greely 1984) •Conviction of God's existence
•Behaviors and attitude and perception that God dwells within
7 3,4,5 point Likert scale (different by each item) (7∼31) Internal consistency Concurrent validity positive correlation with the Intrinsic scale of the Religious orientation Inventory Outpatient (83)
STS (USA) [A14] Piedmont (1999) To measure individual spiritual transcendence Five-Factor Model of personality •Prayer fulfillment
•Universality
•Connectedness
24 5 point Likert scale (24∼120) Internal consistency Construction validity (CFA)
Discriminant validity
Predictive validity
Incremental validity
Undergraduat e students
Self-report (379)
Observer (279)
SIBS (USA) [A15] Hatch et al. (1998) To be widely applicable across religious traditions
To assess actions as well as beliefs
To address key components not assessed in other available measure
To be easily administered and scored.
Author developed basic principles of spirituality as multiple approaches •External/ritual
•Internal/fluid
•Existential/meditative
•Humility/personal application
26 5 point Likert scale (26∼150) Internal consistency Criterion validity Family practice patients, educators (83)
Spirituality (Korea) [A16] Lee et al. (2003) To create a spirituality scale for Koreans Classified as 6 domain after integrating base on theoretical evidence of spirituality in Western Psychological & Oriental psychological.
Analysis of spiritual experience using phenomenal analysis.
•Transcendence
•Meaning & purpose of life
•Compassion
•Inner resources
•Awareness
•Connectedness
30 5 point Likert scale (30∼150) Internal consistency Content validity
Construct validity
Students
Adults
(570)
SS (Korea) [A17] Cho (2012) To measure spirituality for university students Literature review •Cognitive
•Affective
•Behavioral
41 5 point Likert scale (41∼205) Internal consistency Content validity
Convergent validity
Discriminant validity
Undergraduate students (549)
KASS (Korea) [A18] Lee & Kim (2010) To develop a scale of spirituality for Korean adolescents Literature review •Experience of God
•Living to be right
•Effect of spirituality
•Traditional religiosity
•Religion activity
•Experience of transcendent power
26 5 point Likert scale (26∼130) Internal consistency Content validity
Construct validity
Adolescents (191)
PTSI (Korea) [A19] Park (2013) To develop a scale of spirituality for Korean preservice teachers and educate teachers Literature review •Calling as teacher
•Meaning & purpose of life
•Equanimity
•Care & service
•Ecumenical world view
•Interconnectedness
•Transcendence
60 4 point Likert scale (60∼240) Internal consistency Content validity
Construct validity
Preservice teachers (392)
WSI (Korea) [A20] Roh & Seo (2014) To measure workplace spirituality Literature review: through existentialism & humanistic psychology
To develop 5 dimensions for workplace spirituality
•Sens of inner life
•Sense of calling
•Sense of empathy
•Sense of community
•Sense of transcendence
23 7 point Likert scale (23∼161) Internal consistency Construct validity Discriminative validity White collar (239 161 400)
WSSECT (Korea) [A21] Lim et al. (2014) To improve spirituality for early childhood teachers Literature review (personal, job) •Awareness of inner life
•Meaning for life
•Calling for EC teacher job
•Membership in educational community
23 5 point Likert scale (23∼115) Internal consistency
Split half reliability
Content validity
Construct validity
Early childhood teachers (288)
WSBSPECT (Korea) [A22] Lee et al. (2015) To measure for prospective childhood teachers Revised the workplace spirituality into belief for prospective childhood teachers •Awareness of meaning of life, belief on calling for ECE teacher job
•Belief on relationships in community
•Belief on membership in community
21 5 point Likert scale (21∼105) Internal consistency Content validity
Construct validity
Early childhood teachers (664)
SCCS (Netherlands) [A23] van Leeuwe n et al. (2009) To measure nursing competencies on a group level in terms of the education or training of students and nurses in institutional teams Literature review from professional perspective of nursing & chaplaincy •Assessment & Implementation of spiritual care
•Professionalisation & improving quality of care
•Personal support & counselling of patients
•Referral to professionals
•Communication
•Attitude towards patients spirituality
27 5 point Likert scale 27∼135 Internal consistency
Test-retest reliability
Construct validity Bachelor nursing students (197)
SCCS (Korean translation version) [A24] Chung et al. (2014) To develop a spiritual care education program for nursing students   •Assessment & Implementation of spiritual care
•Professionalisation & improving quality of care
•Personal support & counselling of patients
•Referral to professionals
•Communication
•Attitude towards patients spirituality
27 5 point Likert scale 27∼135 Internal consistency Forward-backwar d translation done
Content validity
Nursing students (81)
SCP (Korea) [A25] Yoo et al. (2006) To develop a measurement tool for spiritual care performance of hospice team members Consisted of spiritual care performance of hospice team member by literature review •Relationship formation & Communication
•Encouragement & promotion of spiritual growth
•Linking with spiritual resources
•Preparation for death
•Evaluation & quality control for spiritual intervention
•Spiritual assessment for intervention
3 4 point Likert scale
33∼132
Internal consistency Content validity
Construct validity
Hospice team members (192)

CFA=confirmatory factor analysis; DM=diabetic mellitus; EC=early childhood; FACIT_Sp12=functional assessment chronic illness therapy-spiritual well being 12 items; INSPIRIT=the index of core spiritual experiences; KASS=Korean adolescent spiritual scale; NANDA=North American Nursing Diagnosis Association; PTSI=preservice teachers spirituality instrument; SAS=spiritual assessment scale; SCCS=spiritual care competence scale; SCP=tool for spiritual care performance; SD=spiritual distress; SNS=spiritual need scale; SHI=spiritual health inventory; SIBS=the spiritual involvement and beliefs scale; SS=spiritual scale for university students; STS=spiritual transcendence scale; SWB=spiritual well-being; WSBSPECT=workplace spirituality belief scale for prospective early childhood teacher; WSI=workplace spirituality inventory; WSSECt=workplace spirituality scale for early.

대부분의 도구는 선행연구를 기반으로 한 문헌 고찰을 통해서 개발되었으며, 구체적으로 개념적 기틀을 제시한 도구는 영적건강 측정도구(SHI)[A6], 영성사정척도(SAS)[A11], 영적초월척도(STS)[A14] 등 3개였다. 측정도구의 하위영역은 영적고통 측정도구(SD)[A10]를 제외하고, 신과의 관계, 신의 존재에 대한 확신, 삶의 의미, 희망, 사랑, 평안, 내적 자원, 초월성, 유대감 등의 2∼7개이었다(Table 1).
각 도구의 문항 수는 최소 11개 문항(영성경험척도(INSPIRIT) [A13]에서 최대 60개 문항(예비교사 영성측정도구(WSI)) [A20]이었고, 측정척도는 5점 척도가 10개로 가장 많았고 그 외 4점, 6점, 7점 척도가 사용되고 있었다. 해석 방법은 점수가 높을수록 영적안녕, 영적건강, 영적요구, 영적 고통, 영성 등이 높다고 해석하였다. 그런데 영적건강 측정도구(SHI) [A6]는 93점을 절단점으로 제시하여 93점 이상이면 영적으로 건강하고, 93점 이하이면 영적 디스트레스로 판단하였다(Table 1).
25개 측정도구는 신뢰도로 모두 내적 일관성을 측정하였고, 추가로 영적안녕(SWB)[A1,A3], 영적간호역량(SCCS)[A23]은 검사-재검사를 시행하였고, 유아교사의 일터영성척도(WSS ECT) [A21]는 반분법을 사용하였다. 또한, 국외에서 개발된 8개 도구는 모두 연구자가 한국어로 번역하여 사용하였으며, 이중 영적안녕은 한국어판 도구 3개[A2-A4]가 활용되고 있었다. 영성사정척도(SAS)[A12], 영적간호역량(SCCS)[A24]은 한국어 번역 ․ 역 번역과정을 거쳐, 한국어 표준도구 1개를 사용하고 있었다(Table 1).
영성 관련 측정도구 25개를 적용한 208편의 논문이 원 도구를 그대로 적용하였는지의 여부를 분석한 결과, 많은 연구에서 도구의 하위영역, 측정척도, 항목 수 등을 변경하여 사용하고 있었다(Table 2). 영적안녕은 도구의 하위영역 중 한 개 영역만 사용하거나(13편), 문항을 추가하거나(1편) 혹은 국내 연구자가 번안하여 신뢰도와 타당도를 통해 얻은 결과를 바탕으로 16문항으로 줄여서 사용한 논문도 있었다(7편). 영성지향도(The Spiritual Involvement and Beliefs Scale, SIBS)[A15]는 26문항으로 개발되었지만 국내에서 24문항으로 줄여서 사용한 연구[16]도 있었다.
Table 2.
Applying Status of Original Spirituality-related Assessment Tools Selected in Korean Journals (N=208)
Original tools   Revision of domain or items Revision of rating Others Sum of studies (n)
1. SWB a None None Revised items for elders or original translation No translator mentioned (2 studies) 59
  c, d 16 items 7 Likert No translator mentioned (1 study) Revised items of God into Buda 7
  d None 5 Likert No translator mentioned (5 studies) 19
  c, d 16 items 5 Likert Changed items used result from Chon et al. (2000). no described reason of revision for using Likert 1
  d None 4 Likert Revised items, for cancer patients hospice patients, and elders 38
  c, d 22 itemss 4 Likert No translator mentioned 1
  e None Not found No translator mentioned (1 study) 5
  a 1 domain None Only religious domain used 2
  a 1 domain None Only existential domain used 6
  a, d None 5 Likert Only existential domain used 2
  a, d None 4 Likert Only existential domain used 1
  c, d 11 items 5 Likert No reason described 1
  c, d 10 items 5 Likert No domain mentioned 1
2. FACIT_SP12 a None None 2
3. SHI a None None 6
4. SNS a None None 2
  c 24 items None No reason described 3
5. SD a None None No mentioned of Likert scale (1 study) 3
6. SAS a None None 4
  d None 5 Likert No reason described 6
  c, d 20 items 5 Likert No reason described 2
  e None Not found 1
7. INSPIRIT a None None 2
8. Spirituality a None None 18
  d None 4 Likert No reason described 1
9. SIBS c, e 24 items No Mention Likert Scale Excluded 3 items of spiritual belief as meaning was unclear, added 1 item of spiritual activity 1
10. KASS a None None 1
11. SS a None None 1
12. PTSI c 50 items None No reason described 1
13. STS a None None No translator mentioned 1
14. WSI a None None 3
  d None 5 Likert No reason described 2
15. WSSECT a None None 1
16. WSBSPECT a None None 1
17. SCCS a None None 3
  e Not found Not found No instrument information mentioned 1
18. SCP e None None None 1

a=no revision of domain, items, and rating; b=revision of domain; c=revision of items; d=revision of rating; e=Likert rating or items not reported; FACIT_Sp12=functional assessment chronic illness therapy_spiritual well being 12 items; INSPIRIT=the index of core spiritual experiences; KASS=Korean adolescent spiritual scale; PTSI=preservice teachers spirituality instrument; SAS=spiritual assessment scale; SCCS=spiritual care competence scale; SCP=tool for spiritual care performance; SD=spiritual distress; SNS=spiritual need scale; SHI=spiritual health inventory; SIBS=the spiritual involvement and beliefs scale; SS=spiritual scale for university students; STS=spiritual transcendence scale; SWB=spiritual well-being; WSBSPECT=workplace spirituality belief scale for prospective early childhood teacher; WSI=workplace spirituality inventory; WSSECt=workplace spirituality scale for early.

측정척도의 경우 영적안녕 측정도구(SWB)[A1]는 6점 척도로 개발되었으나 4점, 5점, 7점 척도로 변경하여 사용하였고(66편), 영성사정척도(SAS)는 6점 척도로 개발되었으나 5점 척도로 변경하여 사용하였다(8편). 영성척도(Spirituality) [A16]는 5점 척도로 개발되었으나 4점 척도로 변경하여 사용하였고(1편), 일터영성 측정도구(WSI)[A20]는 7점 척도로 개발되었으나 5점 척도로 변경하여 사용하였고(2편), 변경 사유를 제시하지 않은 것도 있었다. 또한, 측정척도를 제시하지 않았거나 국내 번역자의 이름을 제시하지 않은 논문도 있었다(Table 2).

2. 측정도구 속성의 질 평가

25개 영성 관련 측정도구 속성의 질 평가에는 Terwee 등[15]이 개발한 도구 질 평가 기준을 적용하여 평가하였다(Table 3).
Table 3.
Summary of the Quality Assessment of the Spirituality-related Assessment Tools for Studies Published in Korean Journals (N=25)
Measurement Author (year) Internal consistency Content validity Criterion validity Construct validity Reproducibility
Responsiveness Floor/ceiling effects Interpretability
Agreement Reliability
SWB Paloutzian & Ellison (1983) [A1] + ? + + 0 0 0 0 0
SWB Kang (2003) [A2] + + ? + 0 0 0 0 ?
SWB Cheung et al. (2001) [A3] + ? 0 + 0 0 0 0 +
SWB Chon et al. (2000) [A4] + ? 0 + 0 0 0 0 ?
FACIT_Sp12 Peterman et al. (2002) [A5] + + + + 0 0 0 0 ?
SHI Highfield (1992) [A6] ? ? 0 + 0 0 0 0 ?
SHI Min (1995) [A7] ? ? 0 + 0 0 0 0 +
SHI Lee et al. (2001) [A8] ? ? 0 + 0 0 0 0 ?
SNS Yong et al. (2008) [A9] + + 0 + 0 0 0 0 +
SD Kim (1990) [A10] ? 0 0 0 0 0 0 +
SAS Howden (1994) [A11] + + 0 + 0 0 0 0 ?
SAS Oh et al. (2001) [A12] + ? + + 0 0 0 0 ?
INSPIRIT Kass (1991) [A13] ? ? ? + 0 0 0 0 ?
STS Piedmont (1999) [A14] ? ? 0 + 0 0 0 0 0
SIBS Hatch (1998) [A15] ? ? + ? 0 0 0 0 0
Spirituality Lee et al. (2003) [A16] + + 0 + 0 0 0 0 0
SSScale Cho & Kim (2012) [A17] + + 0 + 0 0 0 0 ?
PTSI Park (2013) [A18] + ? 0 + 0 0 0 0 0
KASS Lee & Kim (2010) [A19] + + 0 + 0 0 0 0 ?
WSI Roh & Seo (2014) [A20] + ? 0 + 0 0 0 0 ?
WSSECT Lim et al. (2014) [A21] + ? 0 + 0 0 0 0 ?
WSBSPECT Lee et al. (2015) [A22] + + 0 + 0 0 0 0 ?
SCCS van Leeuwen et al. (2009) [A23] + ? 0 + 0 0 0 0 ?
SCCS Chung & Eun (2011) [A24] ? ? 0 0 0 0 0 0 ?
SCP Yoo et al. (2006) [A25] + ? 0 0 0 0 0 ?

+=positive rating; ?=indeterminate rating; -=negative rating; 0=no information available; FACIT_Sp12=functional assessment chronic illness therapy-spiritual well being 12 items; INSPIRIT=the index of core spiritual experiences; KASS=Korean adolescent spiritual scale; PTSI=preservice teachers spirituality instrument; SAS=spiritual assessment scale; SCCS=spiritual care competence scale; SCP=tool for spiritual care performance; SD=spiritual distress; SNS=spiritual need scale; SHI=spiritual health inventory; SIBS=the spiritual involvement and beliefs scale; SS=spiritual scale for university students; STS=spiritual transcendence scale; SWB=spiritual well-being; WSBSPECT=workplace spirituality belief scale for prospective early childhood teacher; WSI=workplace spirituality inventory; WSSECT=workplace spirituality scale for early

Korean translation version.

1) 내적 일관성

내적 일관성의 경우 25개 도구가 내적 일관성을 보고하였으나 17개 도구는 충분한 표본수로 요인분석을 시행하고, Cronbach's ⍺계수를 제시하여 ‘+’을 받았다. 영적건강 측정도구(SHI)의 원 도구[A6]와 한국어판 도구 2개[A7,A8]와 7개 도구는 Cronbach's ⍺계수는 .70∼.95였으나 표본수가 100명 이하로 보고되어 ‘?’을 받았다. 영적고통 측정도구(SD)[A10]는 Cronbach's ⍺계수도 .62로 낮고 표본수는 65명으로 보고되어 ‘-’을 받았다.

2) 내용타당도

내용타당도의 경우 8개 도구가 문항선정과정에 목표 대상자와 전문가가 참여하여 ‘+’을 받았다. 나머지 17개 도구는 대상자와 측정 목적과 전문가 타당도에 대한 언급이 명확하지만, 문항 선정 과정이 불명확하거나, 표적 모집단의 참여여부가 보고되지 않아 ‘?’을 받았다.

3) 준거타당도

준거타당도를 검증한 도구는 6개 도구였고, 이중 영적안녕 측정도구(SWB)[A1], 영적안녕 Functional Assessment of Chronic Illness Therapy-Spiritual Well-Being 12 (FACIT-Sp-12)[A5], 영성지향도 측정도구(SIBS)[A15], 영성사정척도(SAS) 한국어판 도구[A12] 등 4개 도구는 ‘+’을 받았는데, SWB는 ‘The purpose of life’ 삶의 목적 측정도구[17], 영적안녕 FACIT-Sp12는 ‘FACIT-G’ 삶의 질 측정도구[18], 영성지향도 측정도구 (SIBS)[A15]와 영성사정척도(SAS) 한국어판 도구[A12]은 영적안녕 측정도구(SWB)[A1]와의 상관관계를 제시하였다. ‘?’을 받은 2개 도구는 영적안녕 한국어판 도구(SWB)[A2]와 대학생용 영성척도(SS)[A17]이었는데, 영적안녕 한국어판 도구(SWB)[A2]는 수렴 타당도를 성숙척도로 검증하였으나(r=.79) 같은 구성 요인을 측정할 가능성을 배제할 수 없어 표준측정도구에 미흡하다고 판단하였고, 대학생용 영성척도(SS)[A17]는 삶의 의미와 상관관계를 보고하였으나 상관관계 계수 r=.34로[19] 판정기준 .70 이하였다. 또한, 그 외 19개 도구는 표준측정도구(gold standard)를 보고하지 않았다.

4) 구성타당도

구성타당도의 경우 가설을 보고하고 검증한 21개 도구가 ‘+’ 을 받았다. 이 중 17개의 도구가 탐색적 요인분석으로 가설 검증을 하였으나, 청소년 영성척도(KASS)[A19], 일터영성 측정도구(WSI)[A20], 유아교사의 일터영성척도(WSSECT)[A21], 예비유아교사의 일터영성신념척도(WSBSPECT)[A22]의 4개 도구는 확인적 요인분석도 실시하였다. 영성지향도 측정도구(SIBS)[A15]는 가설을 보고하지 않고 탐색적 요인분석을 제시하여 1점을 받았고, 3개 도구 영적간호역량 측정도구(SCCS) [A24], 영적고통 측정도구(SD)[A10], 영적돌봄수행도 측정도구(SCP)[A25]는 가설을 보고하지 않고 검증도 하지 않았다.

5) 재현성의 일치도, 신뢰도

25개 도구 모두가 일치도를 제시하지 않았고, 또한, ICC 혹은 카파(Kappa)의 값으로 제시하는 신뢰도가 제시되지 않았다.

6) 반응성

반응성은 25개 도구 모두에서 제시되지 않았다.

7) 바닥 혹은 천장 효과

바닥 혹은 천장 효과는 25개 도구 모두에서 제시되지 않았다.

8) 해석 용이성

해석 용이성의 경우 25개 도구 모두 해석 용이성을 보고하였으나, ‘+’을 받은 도구는 4개로 영적안녕 한국어판 도구(SWB)[A3], 영적건강 측정도구(SHI)[A6], 영적요구 측정도구[A9], 영적고통 측정도구(SD)[A10]였고, 대상자의 연령, 성별, 진단명, 질환상태 등 적어도 4개 이상의 관련된 정보가 평균과 표준편차로 제시되었다. 영적안녕 FACIT-Sp12[A5]등 16개 도구는 대상자의 관련 정보가 4개 이하로 제시되어 ‘?’을 받았다. 영성척도(Spirituality)[A16], 예비교사의 영성측정도구(KASS)[A18], 영성지향도 측정도구(SIBS)[A15] 등 5개 도구는 대상자의 관련 정보가 보고되지 않았다.

논 의

본 연구는 국내 연구에서 사용된 영성 관련 측정도구들을 대상으로 측정 속성의 질을 평가하여 신뢰도와 타당도가 확보된 영성 관련 측정도구 선정시 그 근거를 제공하고자 시도되었다. 본 연구의 논의는 208편의 국내 연구에서 활용된 25개의 영성 관련 측정도구의 특성과 측정도구 속성의 질을 중심으로 기술하고자 한다.

1. 측정도구의 특성

본 연구에서 분석된 영성 관련 측정도구 25개 중에서 영적안녕 측정도구(SWB)[A1]는 3개의 한국어판 도구(SWB)[A2-A4]가 활용되고 있었다. 같은 도구가 서로 다르게 번역되어 활용되는 것은 연구결과의 내적 타당도를 위협할 수 있어 신뢰도와 타당도 검증을 통해 안정성을 확보한 표준화된 한국어판 도구를 적용하려는 노력이 요구된다. 또한 국외에서 개발된 도구를 사용할 때 연구자 각자가 번역하기보다는 신뢰도와 타당도가 입증된 한국어판 번역 도구가 있는지 확인 후 이를 함께 사용하려는 태도도 중요하다고 생각한다. Kang [A2]이 번역한 영적안녕 측정도구(SWB)만 유일하게 구성타당도를 확인하는 또 다른 방법인 문항반응이론을 적용한 것을 보고하였다. 도구의 구성타당도를 확인하기 위해 고전검사이론(Classical Test Theory, CTT)와 문항반응이론(Item Response Theory, IRT)의 방법을 적용하기도 한다[14]. 고전검사이론은 문항의 총점에 중점을 두고 개별 문항을 고려하지 않지만, 문항반응이론에서는 대상자의 특성에 따른 문항 반응의 관계를 고려함으로, 연구대상자 집단에 따라 다르게 발생하는 측정오차의 문제점을 극복할 수 있고, 문항의 난이도(심각도)와 변별도를 분석하여 측정도구 사용 대상자를 변별하거나 결과 변수를 예측할 수 있는 장점이 있어[20] 교육학과 심리학 분야에서 활발하게 적용하고 있다[A2]. 그런데 본 연구에서 고전검사이론을 적용하였는지에 대한 언급을 모든 도구에서 확인할 수 없었기 때문에 추후 도구개발과정에서 구성타당도를 확인하기 위해 고전검사와 함께 문항반응이론을 적용하려는 노력이 필요하다.
본 연구에서 영적안녕을 측정하는 영적안녕 측정도구(SWB)가 가장 많이 활용되고 있었다. 이는 Monod 등[13]의 연구에서도 영적안녕 측정도구(SWB)가 많이 사용되는 것과 유사하였다. 영적안녕 측정도구(SWB)는 도구개발 당시 대학생을 대상으로 신뢰도와 타당도 검증이 이루어졌으나[A1] 국내 연구에서는 초등학생[21]과 간호대학생[22] 뿐만 아니라 암 환자[23], 호스피스 환자[24], 혈액투석 환자[25], 정신과 문제를 지닌 환자[26] 등 다양한 대상자에게 적용되고 있었다. 또한, 영적안녕 측정도구(SWB)가 영적안녕 측정뿐만 아니라 영성을 사정하는[27] 데에도 사용되고 있어 도구개발 목적에 맞게 연구에 적용하는 것이 필요하다.
본 연구에서 선정된 논문에서 원 도구의 측정척도를 변경하는 경우가 많았는데, 측정 Likert 척도는 대상자 경험의 강도가 연속적으로 선형적이라는 것을 가정하고 있으므로 가능하면 개발 당시의 척도를 수정 없이 그대로 적용하는 것이 필요하다[28]. 그러나 연구대상자의 이해도를 고려하여 측정척도를 변경하고자 할 경우에는 사전 조사 등을 시행하여 연구의 신뢰도와 타당도를 높이고자 하는 노력이 요구된다.

2. 측정속성의 질

25개 영성 관련 측정도구에 대해 8개 측정속성의 질을 평가 한 결과 모든 도구에서 일치성과 반응성, 바닥 혹은 천장효과에 관한 정보는 제시되어 있지 않았다.
측정속성별로 살펴보면 내적일관성의 경우 모든 도구에서 Cronbach's ⍺계수로 신뢰도를 보고하여 국내에서 측정도구 고찰을 시행한 Chu 등[29]과 Lee 등[14]의 연구결과와 유사하였다. 도구선정시 표본수가 적절하게 적용되어 신뢰도 계수가 산출되었는지, 산출된 신뢰도 계수는 적절한지 확인한 후 사용하여야 할 것이다. 영적안녕 측정도구(SWB)[A1], 영적간호역량 측정도구(SCCS)[A23]는 추가로 검사-재검사 혹은 반분법을 사용하여 검사-재검사의 상황을 자세하게 보고하여 도구의 안정성을 제시하여 신뢰할만한 도구로 사료된다. 최근에는 Kappa 계수와 ICC를 이용하여 2명 혹은 2명 이상의 평가자간 일치도를 확인하도록 안내하고[30] 있으므로 이를 적용할 필요가 있다.
내용타당도의 경우 모든 도구에서 보고하고 있으나 Lee 등[14]이 국내 도구개발 연구에서 89.4%가 내용타당도 검증을 한 것과는 차이가 있었다. 그런데 7개 도구[A5,A9,A11,A16, A17,A19,A22]만 도구의 문항 구성 과정에 외부 전문가와 대상자 모두 참여하였음을 보고하였다. 전문가 참여시 CVI (Content Validity Index)를 보고한 도구는 2개 도구[A12,A24] 뿐이었으며, 참여한 전문가 인원도 3명∼20명으로 다양하였다. 그래서 추후 도구개발 시에는 충분한 전문가 수와 구성에 대한 기준을 구체적으로 제시할 뿐만 아니라[20] CVI분석에서도 전문가 안면타당도 검증뿐만 아니라 대상자의 인지 면담 등을 통해 내용타당도의 질을 높일 수 있는 다양한 방법을 사용하는 것이 요구된다. 최근 COnsensus-based Standards for the selection of health Measurement INstruments (COSMIN) 체크리스트[30] 에는 내용타당도의 경우 관련성, 포괄성, 이해가능성을 중심으로 평가하도록 안내하고 있다. Kim과 Lee의 연구[31]에 의하면 COSMIN의 내용타당도 평가영역인 관련성, 포괄성, 이해가능성에 대해서 구체적으로 확인하기 어려운 점을 보고하였는데 평가논문에서 내용타당도는 제시하고 있으나 구체적인 내용 확인이 어려웠고, 특히 포괄성은 평가논문마다 상이하여 평가시 어렵고, 이해가능성은 설문 문항에 대해 설문 대상자들의 이해를 확인하기 어려운 점을 제시하였다. 따라서 COSMIN 체크리스트에서 제시한 내용타당도의 평가기준을 적용할 경우 평가 시 연구자의 주관적인 의견이 개입될 여지가 있어 본 연구에서 적용된 내용타당도의 평가기준인 측정목적, 대상자와 분명한 개념진술, 문항선정에 대상자와 전문가의 참여가 더 객관적인 기준이라고 생각된다.
준거타당도의 경우 25개 도구 중 1개 도구[A13]는 동시 타당도를 제시하였고 3개 도구[A1,A5,A15]는 표준측정도구를 제시하였고 높은 상관성을 보고하였으나 19개 도구는 표준측정도구를 보고하지 않아 향후 도구 개발 시 신뢰도와 타당도가 검증된 도구를 사용하여 준거타당도를 검증하는 것이 필요하다. 영성 관련 측정도구의 표준측정도구로 ‘The purpose of life’ 삶의 목적 측정도구[17], FACIT-G [18], 영적안녕 측정도구(SWB)[A1]를 사용하지만 합의된 도구는 찾아볼 수 없으므로 영성 관련 측정도구의 준거타당도 검증에 활용할 수 있는 표준측정도구를 제안하는 것이 필요하다. 또한, 준거타당도가 제시되지 않는 경우 이를 보완하기 위해서는 구성타당도 뿐만 아니라 수렴 또는 판별타당도 등으로 보완하는 것[32]이 적절하다.
구성타당도의 경우 21개 도구에서 가설을 제시하고 검증하였다. 구체적으로 가설이 제시되지 않는 경우 상관관계가 낮아 다르게 설명하여 설문이 타당하지 않은 것으로 판단할 위험[20]이 높기 때문에 가설을 설정하고 검증하는 것이 요구된다. 또한, 대부분의 도구가 탐색적 요인 분석으로 구성타당도를 검증하였으나 4개 도구[A18-20,A22]는 확인적 요인분석도 제시하여 가설을 검증하였다. 한국어판 도구인 영성사정척도(SAS) [A12], 영적건강 측정도구(SHI)[A8], 영적간호역량 측정도구(SCCS)[A24]은 번역 ․ 역 번역과정을 거쳐 번역과정의 정확성을 보장하기 위해 노력하였으나, 영적안녕 한국어판 도구 3개(SWB)[A2-A4]는 번역 후 역 번역과정을 거치지 않고 사용하여 국외 도구를 국내에서 사용할 경우 번역과정의 적절성과 번역된 도구의 신뢰도를 입증하는 것이 중요하다. 또한, 번역 ․ 역 번역과정을 거친 도구를 국내 대상자에게 적용하여 신뢰도와 타당도를 검증한 후 한국어 표준측정도구를 연구자들이 함께 사용해야 할 것이다.
본 연구에서 분석한 25개 영성 관련 측정도구 모두가 재현성의 일치도와 신뢰도 검증을 하지 않은 도구로 평가되었는데 이는 국외 연구에서도 연구자들이 재현성의 일치도에 대해 잘 알지 못하는 것으로 보고한 것[15]과 유사한 결과를 보였다. 중재 효과를 측정하는 경우 도구를 사용할 때 일치도 검증이 요구되므로 연구자들은 도구 개발 시 재현성의 일치도에 대한 개념을 숙지하고 이를 검증할 필요가 있다.
또한, 본 연구에서 분석한 영성 관련 측정도구 25개 모두 반응성을 검증하지 않고 개발되었다. 이는 국내연구에서도 소아암 환자의 사회적응 도구를 분석한 연구결과[33]와 유사하였다. 반응성은 개발된 도구가 중재연구를 위한 근거를 제시해 주는 것으로 시간 경과에 따른 점수의 타당도를 의미하기[15] 때문에 중재 효과를 측정할 때 도구 사용을 고려하여 연구자들이 반응성에 대해 검증하는 것이 필요하다.
본 연구에서 분석한 영성 관련 측정도구 25개 모두 바닥 혹은 천장 효과를 분석한 도구는 하나도 없었다. 이는 국내연구에서 옥살리플라틴 유도 말초신경독성 측정도구를 분석한 연구결과[29]와 유사하였다. 바닥 혹은 천장 효과는 척도의 정확성을 희석시켜 내용타당도에 영향을 미치므로[15] 도구 개발 시 연구자들은 바닥 혹은 천장 효과의 개념을 숙지하고 이를 검증할 필요가 있다. 본 연구에서 분석한 영성 관련 측정도구 모두 Likert 등급 척도를 사용하는 도구들로 7점 Likert 등급의 경우에는 등급 격차가 크기에 바닥 혹은 천장효과가 나타날 가능성이 많으므로[15] 이를 확인하기 위해 도구 개발 시 바닥 혹은 천장효과를 검증하여 등급 격차에 의해 측정 결과가 제한되지 않도록 노력할 필요가 있다.
해석 용이성의 경우 본 연구에서 분석한 영성 관련 측정도구 25개 모두가 대상자 집단 정보의 평균과 표준편차를 제시하였으나 영적안녕 한국어판 도구(SWB)[A3]와 영적건강 한국어판 도구(SHI)[A7]만 성별, 나이, 진단명, 질환의 상태 등의 4개 정보를 제시하였고, 나머지 23개 도구는 이 중에서 일부만 제시한 것으로 분석되었다. 따라서 연구자들은 개발된 도구의 해석 용이성을 확보하기 위해 최소한 대상자의 정보 중 성별, 나이, 진단명, 질환의 상태에 대한 평균과 표준편차를 모두 제시하고 결측값의 처리 방식에 대해서도 제시하여야 한다. 또한, 최근에는 해석 용이성을 검증할 때 결측값이 있는지, 결측값이 있는 경우 그에 대한 처리 방법에 대해서도 제시하도록 권장하고 있으므로[34] 추후 도구개발 과정에서 결측값의 처리 방법에 대해 유념할 필요가 있다. 최근에는 바닥 효과, 천장효과, 해석용이성은 측정속성의 질 평가에서 제외되었으나, 체계적 문헌고찰시 바닥효과, 천장효과는 평가하되 점수화하지 않으며, 해석용이성 부분에서 보고하도록 안내하고 있다[31]. 즉 해석용이성 부분은 연구자가 도구 선택시 중요한 고려 사항이 되므로 체계적 문헌고찰시 제시하도록 변경하고 있다. 대부분의 많은 연구자들이 측정도구 개발시 바닥효과와 천장효과를 검증하지 않아 최근 COSMIN 체크리스트에서 이를 제외한 것으로 생각되어진다. 또한, COSMIN 체크리스트에서는 교류문화타당성이 추가되었는데, 이는 해석용이성 평가에서 제시하는 내용을 일부 변경하여 그룹 간 차이 여부로 평가하는 것으로 생각된다.
종합하면, 25개 영성 관련 측정도구 중에서 측정속성의 질 영역에서 모두 ‘+’으로 평가된 도구는 하나도 없고, 4개의 측정속성의 질 영역에서 ‘+’으로 평가된 도구는 영적안녕 FACIT- Sp12[A5]와 영적요구 측정도구(SNS)[A9]로 분석되었다. 따라서 향후 새로운 도구 개발 시 도구의 측정속성의 질 평가 기준을 충족할 수 있는 도구개발이 이루어져야 할 것이다.
본 연구의 의의는 국내 연구에서 사용된 영성 관련 측정도구의 측정속성의 질을 평가함으로써 신뢰도와 타당도가 확보된 영성 관련 측정도구를 사용할 수 있는 근거를 제공한 점이다. 본 연구의 제한점은 국내 연구에서 사용된 영성 관련 측정도구가 도구의 개발 목적에 맞는 변수들을 적합한 대상자에게 적용하여 측정하고 있는지와 도구의 장점과 단점을 구체적으로 평가하지 않았고 영성 관련 측정도구의 개념인 속성의 내용을 평가하지 않은 점이다.

결 론

본 연구에서는 1995년 영적건강 측정도구(SHI)를 사용하여 연구한 논문이 검색된 이후 2016년 11월까지 영성 관련 측정도구를 사용한 208편의 논문을 분석한 결과, 국외에서 개발된 8개와 국내에서 개발된 10개의 도구가 사용되고 있었다. 뿐만 아니라 국외에서 개발된 4개의 도구가 한국어로 중복 번역되어 7개 한국어판 도구가 사용되어 총 25개의 영성 관련 측정도구가 사용되고 있었는데, 영적안녕 측정도구(SWB)가 가장 많이 사용되고 있었다. 결론적으로 국내연구에서 사용된 영성 관련 측정도구는 모두 도구의 내적 일관성과 내용타당도, 해석 용이성이 검증되었으나 재현성의 일치도, 반응성이 제시하지 않았을 뿐만 아니라 바닥 혹은 천장효과, 해석의 용이성도 제시되지 않았고, 표본수가 적거나 신뢰도의 내적일관성 Cronbach's ⍺계수가 낮은 도구도 활용되고 있었다. 따라서 향후 새로운 도구를 개발할 경우 연구자들은 도구의 측정속성의 질을 평가하는 기준을 유념하여 이를 충족시킬 수 있는 도구 개발이 이루어지도록 노력할 필요가 있다. 또한, 국외에서 개발된 도구를 국내에서 사용할 경우 번역-역 번역과정을 실시할 뿐만 아니라 원 도구의 대상 집단과 유사한 국내집단에서 사전 조사를 실시하여 번역된 도구에 대한 이해 정도를 확인한 후 표준화된 한국어판 도구를 사용하려는 노력이 필요하다.

Notes

Conflicts of Interest
The authors declared no conflict of interest.

REFERENCES

1.. Reinert KG, Koenig HG. Re-examining definitions of spirituality in nursing research. Journal of Advanced Nursing. 2013; 69(12):2622-2634. https://doi.org/10.1111/jan.12152.

2.. ConwayPhillips R. Spirituality in nursing practice. Narrative Inquiry in Bioethics. 2014; 4(3):E3-E5.

3.. Ruder S. Spirituality in nursing: nurses' perceptions about providing spiritual care. Home Healthcare Now. 2013; 31(7):356-367. https://doi.org/10.1097/NHH.0b013e3182976135.

4.. Ko IS, Choi SY, Kim JS. Evolutionary concept analysis of spirituality. Journal of Korean Academy Nursing. 2017; 47(2):242-256. https://doi.org/10.4040/jkan.2017.47.2.242.

5.. Nightingale F. Sick nursing and health nursing. In: Hampton I, editor. Nursing the sick. New York: McGraw Hill; 1893. p. 2443.

6.. Burkhardt MA. Spirituality: an analysis of the concept. Holistic Nursing Practice. 1989; 3(3):9-77.

7.. Tayni RA. Towards clarification of the meaning of spirituality. Journal of Advanced Nursing. 2002; 39(5):500-509. https://doi.org/10.1046/j.1365-2648.2002.02315.x.

8.. Oh PJ, Kang KA. Spirituality: concept analysis. Journal of Korean Academy of Nursing. 2000; 30(5):1145-1155. https://doi.org/10.4040/jkan.2000.30.5.1145.

9.. Kim HS. Effect on influence the attitude of death of the old ages for afterlife view and death preparation and spiritual well-being. Journal of the Korea Contents Association. 2016; 16(7):492-503. https://doi.org/10.5392/JKCA.2016.16.07.492.

10.. Lee KY, Kim CH, Kim DW. Development of the spirituality scale. The Korean Journal of Counseling and Psychotherapy. 2003; 15(4):711-728.
crossref
11.. Cho SB, Kim SH. Development of a spirituality scale for university students. Korean Journal of Counseling. 2012; 13(2):877-890.
pmid
12.. Yoo YS, Han SS, Lee SM, Seo MJ, Hong JH. Development of a measuring tool for spiritual care performance of hospice team members. The Korean Journal of Hospice and Palliative Care. 2006; 9(2):86-92.

13.. Monod S, Breanan M, Rochat E, Martin E, Rochat S, Bula CJ. Instruments measuring spirituality in clinical research: a systematic review. Journal of General Internal Medicine. 2011; 26(11):1345-1357.
crossref
14.. Lee EH, Kim CJ, Kim EJ, Chae HJ, Cho SY. Measurement properties of self-report questionnaires published in Korean nursing journals. Journal of Korean Academy Nursing. 2013; 43(1):50-58. https://doi.org/10.4040/jkan.2013.43.1.50.

15.. Terwee CB, Bot SD, de Boer MR, van der Windt DA, Knol DL, Dekker J, et al. Quality criteria were proposed for measurement properties of health status questionnaires. Journal of Clinical Epidemiology. 2007; 60(1):34-42. https://doi.org/10.1016/j.jclinepi.2006.03.012.
pmid
16.. Ko KS. The impact of spiritual commitment, social support and self-esteem on deviant behavior of middle-aged man. Korean Journal of Nursing Welfare. 2005; 57(4):197-223.
crossref pmid
17.. Crumbaugh JC, Maholick LT. The purpose-in-life test: manual of instructions. Munster: Psychometric Affiliates; 1969.
crossref
18.. Thomason CL, Brody H. Inclusive spirituality. The Journal of Family Practice. 1999; 48(2):96-97.
crossref
19.. Steger MF, Frazier P, Oishi S, Kaler M. The meaning in life questionnaire: assessing the presence of and search for meaning in life. Journal of Counseling Psychology. 2006; 53(1):80-93. https://doi.org/10.1037/0022-0167.53.1.80.

20.. Tractenberg RE. Classical and modern measurement theories, patient reports, and clinical outcomes. Contemporary Clinical Trials. 2010; 31(1):1-3. https://doi.org/10.1016/S1551-7144(09)00212-2.
crossref
21.. Kwon MY, Kang YJ. Effects of spiritual well-being, positive thinking, and parent-child relationship on the missionary kids resilience at mission field. Korean Journal of Christian Counseling. 2014; 25(1):9-35.

22.. Lee HI. Correlation between spiritual well-being and mental health of nursing students. Journal of Korean Academy of Nursing. 2002; 32(1):7-15. https://doi.org/10.4040/jkan.2002.32.1.7.
crossref pmid pmc
23.. Kim HK, Ko SH. A study on the spiritual well-being, family support, and depression of hospitalized cancer patients. Korean Journal of Adult Nursing. 2005; 17(5):822-830.
crossref
24.. Kim BH, Park HO. Comparing the spiritual well-being and quality of life of in-patients and home hospice patients. Journal of Korean Community Nursing. 2013; 24(3):292-301. https://doi.org/10.12799/jkachn.2013.24.3.292.
crossref pmid
25.. Song JY, Oh PJ. A study on symptom experience, spiritual well-being, and depression in patients undergoing hemodialysis. Journal of the Korean Academia-Industrial cooperation Society. 2016; 17(5):660-670. https://doi.org/10.5762/KAIS.2016.17.5.660.

26.. Kim YK. The influence of stress on alcohol addiction, internet addiction and problem gambling: spiritual well-being as mediator. Korea Journal of Counseling. 2013; 14(1):97-114. https://doi.org/10.15703/kjc.14.1.201302.97.

27.. Cho KH, Park AR, Lee JJ, Choi SJ. The effect of painful experiences, compassionate competence, caring behaviors on the terminal care performance of clinical nurses. Korean Journal of Medical Ethics. 2015; 18(2):103-116. https://doi.org/10.35301/ksme.2015.18.2.103.
pmid
28.. Rattray J, Jones MC. Essential elements of questionnaire design and development. Journal of Clinical Nursing. 2007; 16(2):234-243. https://doi.org/10.1111/j.1365-2702.2006.01573.x.
crossref
29.. Chu SH, Lee YJ, Lee YJ, Cleelang CS. Properties of the measures to assess oxaliplatin-induced peripheral neuropathy: a literature review. Journal of Korean Academy Nursing. 2015; 45(26):783-801. https://doi.org/10.4040/jkan.2015.45.6.783.
crossref pmid pmc
30.. Prinsen CAC, Mokkink LB, Bouter LM, Alonso J, Patrick DL, deVet HCW, et al. COSMIN guideline for systematic reviews of patient-reported outcome measures. Quality of Life Research. 2018; 27(5):1147-1157. https://doi.org/10.1007/s11136-018-1798-3.

31.. Kim GU, Lee JH. Systematic review of the Pittsburgh sleep quality index used for Measuring sleep quality among adults with trauma experiences. Korean Journal of Adult Nursing. 2019; 31(4):337-350. https://doi.org/10.7475/Kjan.2019.31.4.337.
crossref
32.. Polit DF. Assessing measurement in health: beyond reliability and validity. International Journal of Nursing Studies. 2015; 52(11):1746-1753. https://doi.org/10.1016/j.ijnurstu.2015.07.002.

33.. Oh SM, Park SY, Lee HJ, Lee JH. Measurement properties of self-report questionnaires measuring the social adjustment for youth after treatment of childhood cancer: systematic review. Child Health Nursing Research. 2018; 24(1):78-90. https://doi.org/10.4094/chnr.2018.24.1.78.
crossref
34.. Mokkink LB, Terwee CB, Patrick DL, Alonso J, Stratford PW, Knol DL, et al. COSMIN checklist manual [Internet]. Amsterdam, NL: COSMIN Group; 2012. [cited 2019 June 20]. Available from:. http://www.cosmin.nl/images/upload/files/COSMIN%20ch.
crossref

Appendix

Appendix 1.

25 Instrumental Studies Included through 208 Studies Selected according to Systematic Review

1.. Reinert KG, Koenig HG. Re-examining definitions of spirituality in nursing research. Journal of Advanced Nursing. 2013; 69(12):2622-2634. https://doi.org/10.1111/jan.12152.
crossref
2.. ConwayPhillips R. Spirituality in nursing practice. Narrative Inquiry in Bioethics. 2014; 4(3):E3-E5.
crossref
3.. Ruder S. Spirituality in nursing: nurses' perceptions about providing spiritual care. Home Healthcare Now. 2013; 31(7):356-367. https://doi.org/10.1097/NHH.0b013e3182976135.
crossref
4.. Ko IS, Choi SY, Kim JS. Evolutionary concept analysis of spirituality. Journal of Korean Academy Nursing. 2017; 47(2):242-256. https://doi.org/10.4040/jkan.2017.47.2.242.
crossref
5.. Nightingale F. Sick nursing and health nursing. In: Hampton I, editor. Nursing the sick. New York: McGraw Hill; 1893. p. 2443.
crossref pmc
6.. Burkhardt MA. Spirituality: an analysis of the concept. Holistic Nursing Practice. 1989; 3(3):9-77.
crossref
7.. Tayni RA. Towards clarification of the meaning of spirituality. Journal of Advanced Nursing. 2002; 39(5):500-509. https://doi.org/10.1046/j.1365-2648.2002.02315.x.
crossref pmid
8.. Oh PJ, Kang KA. Spirituality: concept analysis. Journal of Korean Academy of Nursing. 2000; 30(5):1145-1155. https://doi.org/10.4040/jkan.2000.30.5.1145.
crossref
9.. Kim HS. Effect on influence the attitude of death of the old ages for afterlife view and death preparation and spiritual well-being. Journal of the Korea Contents Association. 2016; 16(7):492-503. https://doi.org/10.5392/JKCA.2016.16.07.492.

10.. Lee KY, Kim CH, Kim DW. Development of the spirituality scale. The Korean Journal of Counseling and Psychotherapy. 2003; 15(4):711-728.
crossref
11.. Cho SB, Kim SH. Development of a spirituality scale for university students. Korean Journal of Counseling. 2012; 13(2):877-890.

12.. Yoo YS, Han SS, Lee SM, Seo MJ, Hong JH. Development of a measuring tool for spiritual care performance of hospice team members. The Korean Journal of Hospice and Palliative Care. 2006; 9(2):86-92.

13.. Monod S, Breanan M, Rochat E, Martin E, Rochat S, Bula CJ. Instruments measuring spirituality in clinical research: a systematic review. Journal of General Internal Medicine. 2011; 26(11):1345-1357.

14.. Lee EH, Kim CJ, Kim EJ, Chae HJ, Cho SY. Measurement properties of self-report questionnaires published in Korean nursing journals. Journal of Korean Academy Nursing. 2013; 43(1):50-58. https://doi.org/10.4040/jkan.2013.43.1.50.
crossref
15.. Terwee CB, Bot SD, de Boer MR, van der Windt DA, Knol DL, Dekker J, et al. Quality criteria were proposed for measurement properties of health status questionnaires. Journal of Clinical Epidemiology. 2007; 60(1):34-42. https://doi.org/10.1016/j.jclinepi.2006.03.012.

16.. Ko KS. The impact of spiritual commitment, social support and self-esteem on deviant behavior of middle-aged man. Korean Journal of Nursing Welfare. 2005; 57(4):197-223.

17.. Crumbaugh JC, Maholick LT. The purpose-in-life test: manual of instructions. Munster: Psychometric Affiliates; 1969.

18.. Thomason CL, Brody H. Inclusive spirituality. The Journal of Family Practice. 1999; 48(2):96-97.
crossref pmid
19.. Steger MF, Frazier P, Oishi S, Kaler M. The meaning in life questionnaire: assessing the presence of and search for meaning in life. Journal of Counseling Psychology. 2006; 53(1):80-93. https://doi.org/10.1037/0022-0167.53.1.80.

20.. Tractenberg RE. Classical and modern measurement theories, patient reports, and clinical outcomes. Contemporary Clinical Trials. 2010; 31(1):1-3. https://doi.org/10.1016/S1551-7144(09)00212-2.

21.. Kwon MY, Kang YJ. Effects of spiritual well-being, positive thinking, and parent-child relationship on the missionary kids resilience at mission field. Korean Journal of Christian Counseling. 2014; 25(1):9-35.

22.. Lee HI. Correlation between spiritual well-being and mental health of nursing students. Journal of Korean Academy of Nursing. 2002; 32(1):7-15. https://doi.org/10.4040/jkan.2002.32.1.7.
crossref
23.. Kim HK, Ko SH. A study on the spiritual well-being, family support, and depression of hospitalized cancer patients. Korean Journal of Adult Nursing. 2005; 17(5):822-830.
crossref
24.. Kim BH, Park HO. Comparing the spiritual well-being and quality of life of in-patients and home hospice patients. Journal of Korean Community Nursing. 2013; 24(3):292-301. https://doi.org/10.12799/jkachn.2013.24.3.292.

25.. Song JY, Oh PJ. A study on symptom experience, spiritual well-being, and depression in patients undergoing hemodialysis. Journal of the Korean Academia-Industrial cooperation Society. 2016; 17(5):660-670. https://doi.org/10.5762/KAIS.2016.17.5.660.

26.. Kim YK. The influence of stress on alcohol addiction, internet addiction and problem gambling: spiritual well-being as mediator. Korea Journal of Counseling. 2013; 14(1):97-114. https://doi.org/10.15703/kjc.14.1.201302.97.
crossref
27.. Cho KH, Park AR, Lee JJ, Choi SJ. The effect of painful experiences, compassionate competence, caring behaviors on the terminal care performance of clinical nurses. Korean Journal of Medical Ethics. 2015; 18(2):103-116. https://doi.org/10.35301/ksme.2015.18.2.103.

28.. Rattray J, Jones MC. Essential elements of questionnaire design and development. Journal of Clinical Nursing. 2007; 16(2):234-243. https://doi.org/10.1111/j.1365-2702.2006.01573.x.

29.. Chu SH, Lee YJ, Lee YJ, Cleelang CS. Properties of the measures to assess oxaliplatin-induced peripheral neuropathy: a literature review. Journal of Korean Academy Nursing. 2015; 45(26):783-801. https://doi.org/10.4040/jkan.2015.45.6.783.
crossref
30.. Prinsen CAC, Mokkink LB, Bouter LM, Alonso J, Patrick DL, deVet HCW, et al. COSMIN guideline for systematic reviews of patient-reported outcome measures. Quality of Life Research. 2018; 27(5):1147-1157. https://doi.org/10.1007/s11136-018-1798-3.
crossref
31.. Kim GU, Lee JH. Systematic review of the Pittsburgh sleep quality index used for Measuring sleep quality among adults with trauma experiences. Korean Journal of Adult Nursing. 2019; 31(4):337-350. https://doi.org/10.7475/Kjan.2019.31.4.337.
crossref
32.. Polit DF. Assessing measurement in health: beyond reliability and validity. International Journal of Nursing Studies. 2015; 52(11):1746-1753. https://doi.org/10.1016/j.ijnurstu.2015.07.002.
crossref pmid
33.. Oh SM, Park SY, Lee HJ, Lee JH. Measurement properties of self-report questionnaires measuring the social adjustment for youth after treatment of childhood cancer: systematic review. Child Health Nursing Research. 2018; 24(1):78-90. https://doi.org/10.4094/chnr.2018.24.1.78.
crossref
34.. Mokkink LB, Terwee CB, Patrick DL, Alonso J, Stratford PW, Knol DL, et al. COSMIN checklist manual [Internet]. Amsterdam, NL: COSMIN Group; 2012. [cited 2019 June 20]. Available from:. http://www.cosmin.nl/images/upload/files/COSMIN%20ch.

TOOLS
PDF Links  PDF Links
PubReader  PubReader
ePub Link  ePub Link
XML Download  XML Download
Full text via DOI  Full text via DOI
Download Citation  Download Citation
  Print
Share:      
METRICS
1
Crossref
0
Scopus 
2,651
View
91
Download