회복실 비언어적 통증 사정을 위한 PAINAD-K 척도 타당화

Validation of the PAINAD-K Scale for Nonverbal Pain Assessment in the Post Anesthesia Care Unit

Article information

J Korean Acad Fundam Nurs. 2023;30(1):90-101
Publication date (electronic) : 2023 February 28
doi : https://doi.org/10.7739/jkafn.2023.30.1.90
1)Nurse, Inje University Haeundae Paik Hospital, Busan, Korea
2)Associate Professor, Department of Nursing, Pukyoug National University, Busan, Korea
강혜민1), 엄주연2),orcid_icon
2)부경대학교 간호학과 부교수
1)인제대학교 해운대백병원 간호사
Corresponding author: Uhm, Ju-Yeon https://orcid.org/0000-0002-0561-9756 Department of Nursing, Pukyoug National University 45 Yongso-ro, Nam-gu, Busan 48513, Korea Tel: +82-51-629-5790, Fax: +82-51-629-5789, E-mail: jyuhm@pknu.ac.kr
*This article is a condensed form of the first author's master's thesis from Pukyong University. *The abstract has been selected for a poster presentation at the Korean Academy of Fundamentals of Nursing Summer Conference 2022.
*이 논문은 제1저자 강혜민의 석사학위논문의 축약본임.*2022년 한국기본간호학회 하계학술대회 포스터 발표.
Received 2022 October 18; Revised 2022 December 20; Accepted 2023 February 16.

Trans Abstract

Purpose

This study aimed to verify the reliability and validity of the Pain Assessment in Advanced Dementia Scale-Korean version (PAINAD-K) for assessing pain in patients unable to communicate in the post-anesthesia care unit (PACU).

Methods

The study included 205 patients, aged >65 years, admitted to the PACU following general surgery. Reliability was assessed using Cronbach's ⍺, test-retest, intraclass correlation coefficient (ICC), and kappa coefficients. Criterion validity was evaluated with concurrent validity, and receiver operating characteristic (ROC) analysis assessed sensitivity and specificity. Convergent and discriminant validity were analyzed to verify the construct of the scale.

Results

The Cronbach's ⍺, ICC, and test-retest correlation values were .78, .95~.98, and .56~.74, respectively, indicating good reliability. At baseline, the correlation coefficient was .93 with the Algoplus scale in the non-communicative group and .82 with the numeric rating scale in the communicative group. Further establishing criterion validity in the nonverbal group, the area under the ROC curve was 0.995 (sensitivity=98.4%, specificity=97.5%) at baseline and .95 (sensitivity=96.4%, specificity=93.2%) at the 30-minute follow-up. The correlation coefficient with the Critical-Care Pain Observation Tool was .69~.96, showing convergent validity, and there was a significant interaction effect between time and group, indicating discriminant validity.

Conclusion

The study findings suggest that the PAINAD-K is a psychometrically valid scale for assessing pain in PACU patients aged >65 years who are unable to communicate.

서 론

1. 연구의 필요성

다섯 번째 활력징후인 통증은 산소요구도와 무기폐 발생 위험 증가[1], 수술 후 회복과 삶의 질 저하 및 의료비 증가와 관련된다[2]. 수술 후 환자의 급성통증 관리는 회복실 간호 중 가장 중요한 부분의 하나로, 마취의 각성과 회복 중 정기적인 통증 관찰과 평가는 수술 후 합병증을 감지하고 부작용을 감소시킬 수 있다[3].

회복실에 도착한 환자의 약 75%는 중재가 요구되는 중등도 이상의 통증을 호소하고, 회복실 환자의 22.5%는 마취나 진정으로부터 불완전하게 회복됨으로써 부적절한 각성과 의사소통 장애로 언어적 통증사정을 통한 자가보고식 통증사정이 불가능하다[4]. 회복실 환자는 마취로부터 각성하는 동안 공격적인 반응을 보이는 각성 섬망(emergence delirium; emergence agitation)이나, 무기력, 운동 활동의 저하와 부주의함을 특징으로 하는 저 활동성 섬망(delayed emergence)이 나타날 수 있으며, 이를 부적절한 각성(inadequate emergence)이라고 한다[5]. 특히 노인은 수술 후 부적절한 각성의 고위험군이며, 노인 수술 환자의 약 37%에서 부적절한 각성이 발생할 수 있다[6]. 선행연구에서 섬망 환자의 통증 사정의 경우 언어적 척도와 비언어적 척도를 사용한 통증사정척도의 점수 간 상관관계의 유의성이 없었는데[7] 이는 부적절한 각성을 보이는 환자군에서 언어적 척도로 통증을 사정하는 것이 부적절함을 의미한다. 또한, 구두로 통증을 설명할 수 없는 환자의 경우 통증이 과소평가되어 적절한 통증 중재를 받지 못할 수 있다[8].

언어적 통증표현이 불가한 환자군의 통증 경험의 가능성을 과소평가하지 않도록 의료진에 의한 비언어적 통증사정이 필수적이지만[9], 회복실에 입실한 환자는 마취로부터 회복이 지연되어 의사소통에 어려움이 있어 비언어적 통증사정도구를 통한 통증평가가 수행되어야 한다[10]. 비언어적 통증사정의 평가요소는 이를 꽉 물기, 얼굴 찌푸리기, 안와 당기기, 상지 및 하지의 회피적 굽힘, 근강직, 근연축, 기침 등의 특이적인 행동 반응이나 수축기 및 이완기 혈압, 평균 동맥압, 심박수, 호흡수 변화 등의 생리적 반응을 포함한다[11]. 현재 실무에서 언어적 의사소통이 불가능한 대상자의 통증사정을 위해 BPAT (Behavior Pain Assessment Tool), BPS (Behavioral Pain Scale), CPOT (Critical care Pain Observation Tool), FLACC (Face, Legs, Activity, Cry, Consolability scale), NPAT (Nonverbal Pain Assessment Tool), NVPS (NonVerbal Pain Scale), PBAT (Pain Behavioral Assessment Tool) 등의 비언어적 통증사정척도가 사용되고 있다[12].

노인 또는 의사소통이 제한된 환자의 통증사정을 위해 CPOT, CNPI (Checklist of Nonverbal Pain Indicators), PAINAD (Pain Assessment in Advanced Dementia scale) 척도 사용이 권고된다[13]. CPOT의 경우 내적일관성, 구성타당도가 평가되지 않았고, 연구마다 관찰자 간 신뢰도(inter-rater raliability) weighted kappa가 .34~1.0으로 일관되지 않았다[12]. CNPI는 언어 서술 척도(Verbal Descriptor Scale)와의 상관계수(rho)가 .37~.50이었으며 내적일관성(⍺)이 .54로 낮은 단점이 있다[14]. 이처럼 CPOT, CNPI의 낮은 신뢰도를 고려하였을 때 이에 대한 대안으로 비언어적 통증사정 도구인 PAINAD 척도의 타당화에 대한 연구가 필요하다. PAINAD의 경우 내적일관성(⍺)는 .81~.87, 관찰자 간 신뢰도(Intraclass Correlation Coefficient, ICC)는 .91~.94, 검사-재검사 신뢰도(ICC)는 .76~.77로 높은 신뢰도 및 판별타당도를 통한 구성타당도가 검증되었다[15].

PAINAD 척도는 국외 회복실에서 타당화 연구가 수행되었지만, 선행연구의 경우 수술 후 1일, 3일에 회상을 통해 언어적 통증사정척도와의 상관관계를 평가하여[16] 타당도의 삐뚤림을 배제할 수 없다. 또한, 국내 요양병원에서 수행된 연구의 경우 다양한 인지수준의 대상자가 포함되었고, PAINAD의 민감도가 약 40%로 낮게 측정되었으며[19], 무엇보다 국내 회복실에서의 타당화 연구는 부재하다. 척도의 사용은 타당화 연구가 수행된 대상자와 환경에서만 유효하므로[17] 국내 회복실 환자를 대상으로 척도의 사용이 적합한지에 관한 연구가 필요하다. 이에 본 연구는 수술 후 회복실 내 의사소통이 불가능 환자를 대상으로 비언어적 통증사정척도인 한국어판 PAINAD 도구의 신뢰도와 타당도를 검증하고자 한다.

2. 연구목적

본 연구의 목적은 Warden 등[18]이 개발한 PAINAD의 한국어 번역본인 PAINAD-K [19]을 회복실에 입실한 환자를 대상으로 통증사정을 위한 신뢰도와 타당도를 검증하는 것이며, 구체적인 목표는 다음과 같다.

  • PAINAD-K의 신뢰도를 검증한다.

  • PAINAD-K의 준거타당도를 검증한다.

  • PAINAD-K의 구성타당도를 검증한다.

연구방법

1. 연구설계

본 연구는 PAINAD-K가 회복실 비언어적 통증사정척도로 적합한지 평가하기 위한 도구 타당화 연구이며, 척도의 신뢰도와 타당도를 평가하는 방법론적 연구이다.

2. 연구대상

본 연구의 대상자는 간‧담췌, 유방, 갑상선, 위, 대장‧항문 수술 후 회복실에 입실한 65세 이상의 일반외과 환자를 대상으로 하였으며, 언어적 의사소통 가능 여부는 RASS (Richmond Agitation-Sedation Scale)[20]를 이용하여 평가하였다. 제외기준으로는 단순 상처 봉합, 도관 삽입, 개폐(open and closure) 수술과 통증표현에 영향을 줄 수 있는 인지기능에 장애가 있는 자, 전신마비 상태인 자, 말초 신경병증을 진단받은 자이며, 마취시간을 30분 이상 240분 이하로 제한하였다.

대상자는 RASS 점수가 -1점(둔한) 또는 0점(깨어있음/평안) 일 때 의사소통이 가능한 그룹으로, RASS 점수가 1점 이상(들뜸) 또는 -2점(약한 진정)에서 -4점(깊은 진정)일 때 의사소통이 불가능한 그룹으로 분류하였다. 민감도와 특이도 평가를 위한 대상자 수는 선행연구의 AUC (area under the curve) .68[19], ⍺ .05, power .80을 기준으로 양성그룹 39명, 음성그룹 39명으로 산출되었다[21]. 판별 타당도 검증을 위한 대상자 수는 선행연구에서 확인된 효과크기(f=0.35)를 적용하여[15], ⍺ .05, power .95를 기준으로 30명이었고, 동시타당도는 PAINAD 와 CPOT의 상관관계에 대한 선행연구에서의 correlation ρ H1 .86을 적용하여[22] ρ H0 .60, ⍺ .05, power .95 기준으로 39명이 산출되었다. 도구 타당화 방법의 COSMIN (COnsensus -based Standards for the selection of health status Mea-surement INstruments) 그룹은 도구 준거타당도를 확인하기 위한 대상자 수를 최소 30~49명, 내적타당도, 수렴타당도, 판별타당도 검증을 위한 대상자 수를 최소 50~99명이 적절하다고 권고하였다[23]. 이를 기준으로 대상자 수는 언어적 의사소통 가능 및 통증 유무에 따라 네 그룹으로 구분하여 그룹당 표본수는 50명이었으나 탈락을 고려하여 언어적 의사소통 가능 유무에 따라 각각 104명씩 총 208명을 표집하였다. 표집한 대상자 중 3명이 대상자 제외기준에 해당되어 최종 205명을 대상으로 연구를 진행하였다.

3. 연구도구

1) PAINAD-K

의식이 없거나, 자가보고가 불가능한 환자의 통증사정을 위해 개발된 척도로 호흡, 소리 냄, 얼굴표정, 신체표현 및 마음의 안정도 5가지 행동 범주를 각 0~2점으로 측정하며 4점 이상은 의미 있는 통증을 나타낸다. Cronbach's ⍺는 .81~.87, 관찰자 간 신뢰도(ICC)는 .91~.94였고, 구성타당도가 평가되었으며[15], 한국어로 번역된 PAINAD-K의 관찰자 간 신뢰도(cohen's kappa coefficient)는 .62~.64, 검사-재검사 신뢰도(Kendall's tau) .95였으며, 타당도 평가에서 특이도는 92.6%, 판별타당도가 검증되었다[19].

2) Algoplus

의사소통이 불가능한 노인 입원 환자의 급성 통증사정을 위해 개발된 척도로 얼굴, 시선, 신음소리, 신체 및 행동의 다섯 가지 행동 범주를 ‘예’는 1점 ‘아니오’는 0점을 매기며, 2점 이상은 의미 있는 통증을 나타낸다. 개발 당시 신뢰도(Kuder-Richardson Formula 20)는 .71, 관찰자 간 신뢰도(ICC)는 .81, 민감도는 85.0%, 특이도는 86.0%였다[24]. 본 연구에서의 Cronbach's ⍺는 .76이었다.

3) CPOT-K

중환자실에서 통증 수준을 자가보고 할 수 없는 환자의 통증을 측정하기 위해 개발된 척도로 얼굴표정, 신체운동, 기계호흡의 순응도(기관삽관 환자) 또는 발성(발관 환자) 및 근육 긴장도(상지의 수동적 굴곡 및 신전운동 검사로 평가)의 4가지 행동 범주를 각 0~2점으로 측정하며 3점 이상은 의미 있는 통증을 나타낸다. 관찰자 간 신뢰도(weighted kappa coefficient)는 .81~.88, 민감도는 76.9%, 특이도는 88.6%였다[25]. Cronbach's ⍺는 도구 타당화 당시 측정되지 않았으며, 본 연구에서는 .87이었다.

4) NRS(Numerical Rating Scale)

자가보고 할 수 있는 환자를 대상으로 통증강도를 측정하는 척도로 통증을 식별하는 가장 좋은 방법이며, 통증 평가의 최적표준으로 알려져 있다. NRS는 단일문항 척도로 환자는 0에서 10사이의 숫자 중 자신의 통증 강도를 가장 잘 나타내는 숫자를 선택하며, 0점은 통증 없음, 1~3점은 경미한, 4~6점은 중등도의, 7~10점은 심한 통증을 의미한다[1]. 선행연구에서 수술받은 성인 환자 대상으로 5~10분 후에 측정한 검사-재검사 (test-retest) ICC는 .92, 경도인지장애가 있는 60세 이상의 환자 대상으로 24시간 후에 측정한 검사-재검사 ICC는 .80이었다[26]. 본 연구에서 언어적 의사소통이 가능한 그룹(n=103명)의 회복실 입실 5분 또는 최초 통증 호소 시와 입실 30분 또는 진통제 투여 30분에 측정한 NRS 점수간 검사-재검사 ICC는 .51 (95% confidence interval .28, .67, p<.001)이었다.

4. 연구절차

1) 예비조사(pilot test)와 검토

연구자와 훈련받은 마취과 전담 간호사인 보조연구자 1인은 통증사정의 일관성을 위해 10명을 대상으로 예비조사를 시행하였다. 연구자들은 RASS의 -1점과 -2점을 나누는 ‘10초 동안 눈을 맞출 수 있는가?’에 대한 평가항목 기준에서, 환자가 눈을 감고 있지만 언어적 의사소통이 가능할 때 점수 부여 기준이 모호했다. 회복실에 입실한 환자의 지남력을 사정할 때, 눈은 감고 있지만 정확한 언어적 의사소통이 가능한 경우 RASS -1점으로 평가하기로 정하였다. 또한, PAINAD-K의 신체표현 항목 중 긴장함과 경직됨에 대해 연구자와 보조연구자 간 차이가 있었으며, ‘턱을 꽉 물고 있을 수 있음’ 항목에서 얼굴에만 드러나는 신체표현을 ‘긴장함’으로, ‘신체가 뻣뻣해짐, 팔과 다리가 단단하고 굽혀지지 않음’ 항목에서 사지에 드러나는 신체표현을 ‘경직됨’으로 정의하였다.

5. 자료수집

자료수집은 2021년 12월 13일부터 2022년 7월 12일까지 인제대학교 해운대백병원에서 외과수술 후 회복실에 입실한 환자를 대상으로 수행되었다. 연구자는 수술 전날 환자병실에 방문하여 연구목적, 방법을 설명하고 자발적으로 연구에 참여하고자 하는 자를 대상으로 서면동의서를 받았다. 연구참여에 동의한 대상자의 의무기록을 확인하여 연구참여 선정기준에 부합하는지 확인하였다.

연구자와 보조연구자는 대상자 침상의 양측에 각각 서서 회복실 입실 5분 이내 대상자를 1분 동안 관찰하고, 첫 번째 통증 평가 전 RASS를 이용하여 의사소통이 가능한 그룹과 의사소통이 불가능한 그룹으로 분류하였다. 의사소통이 가능한 그룹은 PAINAD-K, Algoplus와 NRS를 통하여, 의사소통이 불가능한 그룹은 PAINAD-K, Algoplus와 CPOT-K를 사용하여 통증을 평가하였다(Table 1). 통증 평가는 회복실 입실 5분 이내와 30분에 두 차례 수행되었다. 첫 번째 평가 이후에 통증을 표현한 경우 이를 첫 번째 통증점수로 간주하고 진통제를 투여하였으며 중재 30분 후 통증을 재평가하였다.

Description of Reliability and Validity Methods

6. 윤리적 고려

본 연구는 인제대학교 해운대백병원 기관생명윤리위원회(Institutional Review Board, IRB)로부터 심의를 거쳐 연구 승인을 받았다(IRB No. HPIRB 2021-07-001-012). 연구자는 수술 전날 병실에 방문하여 대상자에게 연구의 목적과 내용, 조사방법 등을 설명하였고, 연구참여가 자발적으로 이루어지고 강제성이 없으며, 원하지 않을 때 언제든지 중도에 참여를 거부할 수 있고 참여 거부로 인한 불이익이 없음을 알렸다. 또한, 수집된 자료는 연구의 목적으로만 사용되며 연구와 관련된 일체의 사항들은 보안과 익명성이 유지되고, 연구 종료 후 보관 장치에 밀봉하여 3년동안 보관 후 영구 폐기할 것임을 설명하였으며, 연구참여대상자 자필로 연구동의서에 서명을 받고 연구를 진행하였다.

7. 도구 타당화 방법

PAINAD-K의 신뢰도 검증을 위해 내적일관성, 동등성(equivalence)과 안정성(stability)을 평가하였다. 척도의 내적일관성 평가를 위해 Cronbach's ⍺를 제시하였다. 척도의 동등성을 평가하기 위해 관찰자 간 신뢰도를 평가하였다. 관잘자 간 신뢰도는 회복실 입실 5분 이내 또는 최초 통증 호소 시와 입실 30분 후 또는 진통제 투여 30분 두 차례 주연구자와 보조연구자가 측정한 PAINAD-K의 점수간 ICC와 Cohen's weighted kappa로 비교하였고, 연구자는 서로의 측정결과를 모르도록 하였다. 척도의 안정성 평가를 위한 검사-재검사는 회복실 입실 5분 이내 또는 최초 통증 호소 시와 입실 30분 후 또는 진통제 투여 30분에 측정한 PAINAD-K 점수간 상관관계로 분석하였다(Table 1).

PAINAD-K의 준거타당도 검증을 위해 PAINAD-K와 Algoplus 또는 NRS 점수로 ROC curve의 AUC를 이용하여 민감도와 특이도를 평가하였다. 언어적 의사소통이 가능한 그룹의 경우 PAINAD-K와 NRS 점수를, 언어적 의사소통이 불가능한 그룹의 경우 PAINAD-K와 Algoplus 점수를 이용하였다. 동시타당도는 언어적 의사소통이 가능한 그룹의 경우 PAINAD-K와 NRS 간 상관관계를, 언어적 의사소통이 불가능한 그룹의 경우 PAINAD-K와 Algoplus 간 상관관계를 분석하였다. 수렴타당도는 언어적 의사소통이 불가능한 그룹을 대상으로 통증이 있는 경우와 통증이 없는 경우 각각 PAINAD-K와 CPOT-K 간 상관관계를 분석하였다. 판별타당도는 언어적 의사소통이 불가능한 그룹 중 진통제 미투여 그룹은 회복실 입실 5분 이내 또는 최초 통증 호소 시, 입실 30분 후 또는 진통제 투여 30분에 측정한 PAINAD-K의 점수변화를, 진통제 투여 그룹은 투여 전과 투여 30분의 PAINAD-K의 점수변화로 분석하였다.

8. 자료분석

본 연구의 자료는 SPSS/WIN 27.0 프로그램을 이용하여 다음과 같이 분석하였다. 대상자의 일반적 특성과 질병 관련 특성은 기술 통계로, 내적일관성 신뢰도는 Cronbach's ⍺, 관찰자 간 신뢰도는 ICC와 Cohen's weighted kappa, 검사-재검사 신뢰도는 Spearman's rank correlation으로 분석하였다. 준거타당도 검증을 위한 민감도와 특이도는 ROC curve를 확인하였으며, cut-off point는 민감도와 특이도가 교차하는 지점으로 정하였다. 동시타당도는 Spearman's rank correlation으로 분석하였다. 구성타당도 검증을 위한 수렴타당도는 Spearman's rank correlation을, 판별 타당도는 2×2 repeated-measures analysis of variance (ANOVA)를 사용하였다.

연구결과

본 연구대상자의 성별은 남자 103명(50.2%), 여자 102명(49.8%)이었고, 연령은 65~87세로 평균 73세였다. 수술은 간‧담췌 수술이 92명(44.9%)으로 가장 많았으며, 과거 수술력이 있는 사람은 102명(49.8%)이었다. 동반이환을 측정하기 위한 Charlson comorbidity index는 5점이 66명(32.2%)으로 가장 많았다. 진통제를 투여받은 환자는 114명(55.6%)이었으며, 마약성 진통제(Fentanyl, Pethidine)를 포함하여 진통제가 투여된 경우는 81명(39.5%)이었다. 의식상태는 RASS 를 통해 평가한 결과, 언어적 의사소통이 가능한 경우가 103명(50.2%), 언어적 의사소통이 불가능한 경우가 102명(49.8%)이었다. 대상자의 수술 중 마취시간은 50~240분 범위였으며, 평균 143.7분이었다(Table 2).

General and Health-related Characteristics of Partici-pants (N=205)

1. 신뢰도 검증

1) 내적 일관성

PAINAD-K의 Cronbach's ⍺는 .78이었다.

2) 동등성 신뢰도

언어적 의사소통이 가능한 그룹의 PAINAD-K의 연구자와 보조연구자 관찰자 간 ICC는 회복실 입실 5분 또는 최초 통증 호소 시, 입실 30분 또는 진통제 투여 30분에 각 .98, .96 (p<.001), weighted kappa 계수는 .96, .92 (p<.001)였다. PAINAD-K 의 호흡, 소리냄, 얼굴표정, 신체표현, 마음의 안정도 항목별 ICC는 회복실 입실 5분 또는 최초 통증 호소 시에 각 .75, .97, .94, .94, .88 (p<.001)이었고, 입실 30분 또는 진통제 투여 30분에 각 1.00, .94, .95, .95, .78 (p<.001)이었다. PAINAD-K의 항목별 관찰자 간 weighted kappa 계수는 회복실 입실 5분 또는 최초 통증 호소 시에 각 .59, .94, .84, .88, .77 (p<.001)이었고, 입실 30분 또는 진통제 투여 30분에 각 1.00, .88, .89, .90, .64 (p<.001)였다.

언어적 의사소통이 불가능한 그룹의 PAINAD-K의 연구자와 보조연구자 관찰자 간 ICC는 회복실 입실 5분 또는 최초 통증 호소 시, 입실 30분 또는 진통제 투여 30분에 각 .98, .95 (p<.001), weighted kappa 계수는 .97, .91 (p<.001)이었다. PAINAD-K의 호흡, 소리냄, 얼굴표정, 신체표현, 마음의 안정도 항목별 ICC는 회복실 입실 5분 또는 최초 통증 호소 시에 각 .88, .90, .95, .93, .94 (p<.001)였고, 입실 30분 또는 진통제 투여 30분에 각 .69, .87, .90, .85, .93 (p<.001)이었다. PAINAD -K의 항목별 관찰자 간 weighted kappa 계수는 회복실 입실 5분 또는 최초 통증 호소 시에 .79, .79, 86, .84, .85 (p<.001), 입실 30분 또는 진통제 투여 30분에 각 .52, .76, .80, .74, .86 (p<.001)이었다.

3) 안정성 신뢰도

진통제 미투여 그룹 91명의 회복실 입실 5분 또는 최초 통증 호소 시에, 입실 30분 또는 진통제 투여 30분에 측정한 PAINAD-K 점수 간 Spearman 상관계수 (rho)는 .64 (p< .001)였다. 그룹별로 언어적 의사소통이 가능한 그룹의 rho는 .74 (p<.001)였고, 언어적 의사소통이 불가능한 그룹의 rho는 .57 (p<.001)이었다.

2. 준거타당도 검증

1) 민감도 및 특이도 검증

언어적 의사소통이 가능한 그룹에서 PAINAD-K와 NRS 점수를 이용하여 측정한 회복실 입실 5분 이내 또는 최초 통증 호소 시 ROC curve의 AUC는 .952였고, cut-off point는 2.5점에서 민감도는 84.3%, 특이도는 97.0%였다. 입실 30분 후 또는 진통제 투여 30분에 ROC curve의 AUC는 .724였고 cuff-off point는 1.5점에서 민감도는 60.0%, 특이도는 71.1%였다.

언어적 의사소통이 불가능한 그룹에서 PAINAD-K와 Algoplus 점수를 이용하여 측정한 회복실 입실 5분 이내 또는 최초 통증 호소 시 ROC curve의 AUC는 .995였고, cut-off point는 1.5점에서 민감도는 98.4%, 특이도는 97.5%였다. 입실 30분 후 또는 진통제 투여 30분에 ROC curve의 AUC는 .952였고 cuff-off point는 1.5점에서 민감도는 96.4%, 특이도는 93.2%였다(Figure 1).

Figure 1.

Receiver operating characteristic curve using PAINAD-K and Algoplus in non-communicative patients.

2) 동시 타당도 검증

언어적 의사소통이 가능한 그룹에서 PAINAD-K와 NRS 점수간 Spearman's rho는 회복실 입실 5분 이내 또는 최초 통증 호소 시, 입실 30분 후 또는 진통제 투여 30분에 각 .82, .40 (p<.001), 언어적 의사소통이 불가능한 그룹에서 PAINAD-K 와 Algoplus 점수 간 Spearman's rho는 회복실 입실 5분 이내 또는 최초 통증 호소 시, 입실 30분 후 또는 진통제 투여 30분에 각 .93, .88 (p<.001)이었다(Table 3).

Concurrent and Convergent Validity of PAINAD-K (N=205)

3. 구성타당도 검증

1) 수렴 타당도 검증

언어적 의사소통이 불가능한 그룹에서 PAINAD-K와 COPT -K 점수간 Spearman's rho는 통증이 있는 경우 회복실 입실 5분 이내 또는 최초 통증 호소 시, 입실 30분 후 또는 진통제 투여 30분에 각각 .69, .78 (p<.001), 통증이 없는 경우 회복실 입실 5분 이내 또는 최초 통증 호소 시, 입실 30분 후 또는 진통제 투여 30분에 각각 .88, .96 (p<.001)이었다(Table 3).

2) 판별 타당도 검증

언어적 의사소통이 불가능한 그룹 중 진통제 미투여 그룹의 PAINAD-K 평균은 회복실 입실 5분 이내 0.72±0.75점, 30분 후 0.67±0.67점이었다. 진통제 투여 그룹의 PAINAD-K 평균은 최초 통증 호소 시 5.24±1.25점, 진통제 투여 30분 후 1.53 ±0.94점이었다(Figure 2). 시간에 따른 차이(F=351.65, p< .001), 시간과 진통제 투여, 미투여 그룹 간 유의한 차이가 있었고(F=335.55, p<.001) 개체 간 효과 검정은 유의확률 p<.001(F=261.37)로 유의한 차이가 있었다. 따라서 언어적 의사소통이 불가능한 대상자 중 그룹 간(진통제 투여 대 진통제 미투여 그룹) 시간에 따른 변화가 통계적으로 유의하였다.

Figure 2.

2×2 repeated-measures analysis of variance interaction effect in non-communicative patients.

논 의

본 연구는 수술 후 회복실 내 비언어적 통증사정 척도인 PAINAD-K의 신뢰도와 타당도를 검증하기 위한 탐색적 조사연구이다. 회복실 입실 5분 이내 또는 최초 통증 호소 시, 입실 30분 후 또는 진통제 투여 30분 후 통증 점수를 두 연구자가 PAINAD-K, Algoplus, CPOT-K, NRS로 측정하여 신뢰도와 타당도를 평가하였다.

우선 신뢰도 평가를 위한 내적일관성 검증에서 Cronbach's ⍺는 .78이었으며, ⍺의 해석은 .70~.80은 훌륭한(respectable) [27] 수준이다. 이는 도구개발 당시 통증을 자가보고 할 수 없는 진행성 치매 환자를 대상으로 한 Warden 등[18]의 연구와 일치하는 결과이며, 외과병동에 입원한 섬망이 있는 노인 환자를 대상으로 한 Goebel 등[15]의 연구에서의 내적일관성에 비해 다소 낮은 수준이었다. 본 연구와 동일한 대상인 수술 후 회복실에서 측정한 Guo 등[16]의 연구에서 ⍺는 .69~.81로 본 연구결과와 유사하거나 다소 낮았다.

척도의 동등성을 평가하기 위한 관찰자 간 신뢰도는 연구자와 보조연구자가 독립적으로 측정한 PAINAD-K 점수 간 ICC 와 Cohen's weighted kappa로 분석하였다. 언어적 의사소통이 가능한 그룹의 ICC는 측정 시점에 따라 .98, .96, 항목별로 .75~1.00이었고, 척도의 weighted kappa 계수는 측정 시점에 따라 .96, .92, 항목별로 .59~1.00이었다. 의사소통이 불가능한 그룹의 시점에 따른 ICC는 .98, .95, 항목별로 .69~.95였으며, weighted kappa 계수는 측정 시점에 따라 .97, .91이었고, 항목별로 .52~.86이었다. ICC는 .75~.90은 양호한(good), .90 초과는 우수한(excellent) 관찰자 간 신뢰도로 해석할 수 있고[28], Kappa는 .41~.60일 때 중등도의(moderate), .61~.80은 상당한(substantial), .81 이상일 때 거의 완벽한(almost perfect) 수준의 일치도로 해석한다[29]. 본 연구의 PAINAD-K의 ICC, kappa 값은 두 그룹 모두에서 매우 높은 수준이었으며, 이 결과는 Goebel 등[15], Guo 등[16]과 진행성 치매 환자를 대상으로 한 Kwon 등[19]의 연구결과와 유사하다. Warden 등[18]의 연구에서는 Pearson correlation으로 관찰자 간 상관관계를 확인하였으며 강한 상관(r=.82~.97)이 나타났다. 본 연구에서의 PAINAD-K의 높은 관찰자 간 일치도는 예비조사를 통해 척도의 선택과 평가 방법에 대한 모호한 기준을 명확하게 한 것과 관련될 수 있다. 따라서 의사소통 가능 그룹과 불가능 그룹의 분류를 위한 기준이 수립되어야 하며, 의사소통 불능 대상자를 위한 관찰형 척도 사용에 있어 행동 관찰 기준에 관한 명확성을 높이기 위한 사용자 대상의 사전교육이 중요할 것으로 사료된다.

안정성 신뢰도는 진통제를 투여받지 않은 그룹의 회복실 입실 5분 이내 또는 최초 통증 호소 시와 입실 30분 후 또는 진통제 투여 30분에 측정한 PAINAD-K 점수 간 상관계수로 검증하였다. 상관계수(rho)는 언어적 의사소통이 가능한 그룹은 .74, 언어적 의사소통이 불가능한 그룹은 .56, 진통제를 투여받지 않은 전체 그룹은 .64로 측정되었다. 상관계수 .40 이상인 경우 중등도의(moderate), .70 이상일 때 강한 수준의(strong), .90 이상일 때 매우 강한(very strong) 상관관계가 있다고 해석할 수 있다[30]. 선행연구에서 30분 후 검사-재검사를 한 연구는 제한적이었으며, Goebel 등[15]의 선행연구결과와 비교해 다소 낮은 검사-재검사 신뢰도가 측정되었지만, 선행연구에서는 회복실이 아닌 외과병동에서 측정한 값으로 본 연구에서의 결과와 비교는 어렵다. Kwon 등[19]의 연구에서 1분과 5분의 Cohen's kappa는 .95로 산출되어 두 측정값 간 높은 일치도를 보였지만, 매우 짧은 간격에 재측정하였다는 차이가 있어 본 연구에서의 안정성 신뢰도와 직접적인 비교는 제한적이다. 언어적 의사소통이 불가능한 그룹에서의 검사-재검사 신뢰도가 다소 낮게 측정된 것은 마취에서 회복하는 첫 1시간 동안은 의식과 신체 조정력의 회복, 운동 활동의 재개, 어지러움이 사라지는 단계이므로[31] 검사-재검사의 짧은 간격 동안에도 환자의 상태가 급격하게 변화할 수 있고, 이는 통증을 느끼는 강도, 통증을 표현하는 신체의 능력이 변화하는 것과 관련될 수 있다. 이처럼 본 연구에서 PAINAD-K의 내적일관성, 동등성, 안정성을 확인함으로써, PAINAD-K는 회복실에서 사용할 수 있는 신뢰도 높은 도구라 할 수 있다. 덧붙여, 본 연구에서는 환자의 의식수준을 회복실 입실 5분 이내 1회 측정하였으므로 통증 평가 시마다 의식 수준을 평가하고 시간에 따른, 의식수준에 따른 통증수준과의 상관관계를 측정하는 연구가 필요하다.

준거타당도 중 민감도와 특이도는 PAINAD-K의 준거가 되는 Algoplus와 NRS 척도를 이용하여 ROC curve의 AUC와 cut-off point를 통해 확인하였다. 언어적 의사소통이 불가능한 그룹은 측정 시점에 따른 Algoplus와의 AUC는 .995, .952 민감도는 98.4%, 96.4% 특이도는 97.5%, 93.2%였고, 언어적 의사소통이 가능한 그룹은 측정 시점에 따른 NRS와의 AUC 는 .952, .724 민감도는 84.3%, 60.0% 특이도는 97.0%, 71.1%였다. AUC는 .70~.90은 중등도의(moderately), .90 이상은 매우(highly) 정확하다고 판별할 수 있다[32]. 언어적 의사소통이 가능한 그룹의 민감도와 특이도는 Kwon 등[19]의 장기요양병원에서 언어적 의사소통이 가능한 그룹을 대상으로 한 연구결과(AUC=.67~.68, 민감도=40.0~47.3%, 특이도=92.6%)와 비교해 다소 높게 측정되었다. 본 연구에서 높은 민감도와 특이도는 RASS를 통하여 언어적 의사소통 가능여부를 엄격하게 구분하여 준거가 될 수 있는 언어적 또는 비언어적 척도를 적절하게 사용하여 측정한 것과 관련될 수 있다. 또한, 비언어적 통증사정도구로 중환자실에서 널리 사용되는 CPOT의 경우 Kwak 등[25]의 연구에서 통증행위 전 NRS와 CPOT-K의 AUC는 .86 (p<.001), 민감도는 76.9%, 특이도는 88.6%로 제시하고 있지만, 통증수준에 대해 자가보고가 불가능한 환자를 대상으로 CPOT의 준거 타당도를 평가할 수 있는 다른 척도를 이용하여 통증을 사정하지 않았다. 이로 인해 이 선행연구에서 언어적 의사소통이 불가능한 환자에 대한 민감도와 특이도가 측정되지 않았으므로 본 연구와의 결과 비교는 제한적이다. 본 연구에서는 언어적 의사소통이 불가능한 그룹을 대상으로 통증사정의 준거 도구인 Algoplus를 이용한 통증사정을 통해 PAINAD-K와의 AUC, 민감도와 특이도를 제시함으로써 의의가 있다. 이와 같은 결과를 통해 PAINAD-K가 통증이 있는 환자를 통증이 있는 것으로, 통증이 없는 환자는 통증이 없는 것으로 판단하는 유용한 도구임을 알 수 있다.

다음으로 PAINAD-K의 준거타당도 중 동시타당도는 언어적 의사소통이 가능한 그룹의 경우 NRS와의 상관관계로, 언어적 의사소통이 불가능한 그룹은 Algoplus와의 상관관계로 분석하였다. 언어적 의사소통이 가능한 그룹의 경우의 상관계수(rho)는 회복실 입실 5분 이내 또는 최초 통증 호소 시 .82로 강한 상관관계를 보였으나, 입실 30분 후 또는 진통제 투여 30분 후는 .40으로 중간 수준으로 측정되었다[30]. Warden 등[18]의 연구에서는 VAS와 PAINAD의 상관관계로 동시타당도가 검증하였으며, 강한 상관관계가 나타났다. Kwon 등[19]의 연구에서 동시타당도는 PAINAD-K와 FLACC 점수간 수용할 수 있는 상관계수(τ=.76~.81)를 나타냈으나, PAINAD-K와 NRS 점수간 낮은 상관계수(τ=.36~.38)를 나타내어 중간 수준으로 측정된 본 연구결과가 다소 높다. DeWaters 등[33]의 고관절 수술을 받은 노인 환자를 대상으로 PAINAD와 NRS 점수 간 상관계수(r)는 .74~.92로 본 연구결과와 유사하였다. Guo 등[16]은 회복실 환자를 대상으로 PAINAD와 NRS의 상관관계를 분석하였으나, 회복실에서 환자를 관찰한 PAINAD 점수와 수술 후 1일, 3일에 회상을 통해 수집한 NRS 점수와 비교하여, 본연구와 비교할 의의가 낮다. 회복실에 입실한 환자는 시간이 경과함에 따라 신체의 조정력과 의식 수준이 회복되는데, 본 도구는 의식이 없거나 자가보고가 불가능한 환자의 통증 강도를 사정하기 위해 개발된 척도이므로 초기 동시타당도가 30분 후 평가 시의 동시타당도보다 더 높게 측정된 것으로 사료된다. 언어적 의사소통이 불가능한 그룹의 상관계수(rho)는 회복실 입실 5분 이내 또는 최초 통증 호소 시 .93, 입실 30분 후 또는 진통제 투여 30분 후 .88로 높은 상관관계를 나타내어 동시타당도가 검증되었다. 본 연구는 노인 환자를 위한 비언어적 통증사정척도로 사용이 권고된 Algoplus [34]와 PAINAD-K 의 상관관계를 분석한 첫 연구로, 높은 상관계수를 확인함으로써 동시타당도를 확인하였다. 언어적 소통이 불가능한 그룹에서 PAINAD-K는 NRS와 같은 언어적 통증사정척도와의 상관관계에 비해 Algoplus와 같은 비언적 통증척도와의 강한 상관관계를 확인함으로써, 본 연구는 회복실내 의사소통이 불가능한 환자군에서 PAINAD-K 사용이 타당하다는 근거를 마련하였다.

구성타당도 중 수렴타당도는 의사소통이 불가능한 그룹의 PAINAD-K와 CPOT-K의 상관관계를 분석하였다. 통증이 없는 그룹의 경우 수렴타당도의 상관계수 (rho)는 .88~.96, 통증이 있는 그룹의 경우 .69~.78로 나타났다. 마지막으로 구성타당도 중 판별 타당도는 시간에 따른 차이, 시간에 따른 그룹(진통제 투여 대 진통제 미투여 그룹) 간 변화가 확인되었다. Goebel 등[15]의 연구에서는 통증 중재 후 PAINAD와 CPOT 의 점수변화를 2×2 repeated-measures ANOVA를 통하여 분석하였다. 통증이 없는 환자는 눈에 띄는 통증 점수변화가 없었고 초기 통증평가에서 양성 판정을 받은 환자는 통증중재 후 통증 점수가 유의하게 감소하여 본 연구의 결과와 선행연구의 결과는 일맥상통하지만, 선행연구는 결과에 대한 정확한 통계치를 제시하지 않고 있다. Warden 등[18]의 연구에서는 진통제 투여 전, 투여 30분 통증 점수의 평균 점수와 차이에 대해 언급하였으며, 통증 수준은 진통제 투여 전 6.7±1.8점에서 투여 후 1.7±2.2점으로 감소하며 (p<.001) 본 연구결과와 일치한다. 진통제 사용에 의한 통증 점수의 유의한 변화, 즉 판별타당도를 확인함으로써, PAINAD-K가 통증 수준의 변화를 민감하게 포착하며, 통증 수준의 개념을 측정하는 타당한 도구라 할 수 있다. 진통제 유무에 따른 통증 점수 변화에 관한 연구가 제한적이므로 반복연구가 필요하다.

본 연구의 결과와 논의를 바탕으로 회복실 환자의 적절한 통증관리는 중요한 부분이므로 PAINAD-K를 통하여 부적절한 각성으로 통증간호를 받지 못하는 환자를 대상으로 통증 평가와 중재를 제공할 수 있을 것이며, 이는 합병증 감소와 안위를 증진할 수 있을 것이다. PAINAD-K는 부적절한 각성 환자군을 위한 비언어적 통증사정도구 타당화에 기여하며, 본 연구결과는 이후 회복실 환자를 위한 통증사정 도구개발 연구의 기초자료로 사용할 수 있을 것이다. 또한, 회복실에서 적용할 수 있는 통증사정 방법에 대한 의료진 교육 프로그램 개발을 위한 근거로 활용할 수 있을 것이다.

결 론

PAINAD-K의 신뢰도와 타당도를 종합적으로 분석하였을 때 의사소통이 가능한 그룹과 비교해 언어적 의사소통이 불가능한 그룹에서 민감도와 특이도, 동시타당도가 더 높게 측정됨으로써 PAINAD-K는 회복실에서의 부적절한 각성 등으로 언어적 의사소통이 불가능한 환자의 통증을 사정하기에 적절한 척도라는 것이 확인되었다. 또한, PAINAD-K를 사용하여 통증을 사정하는데 1분 내외가 소요되어 급성통증에 대해 빠른 중재를 해야 하는 회복실 간호사가 사용하기에 유용한 도구라 할 수 있다.

하지만 일 종합병원에서 회복실에 입실한 65세 이상의 환자만을 대상으로 한 연구결과이므로 일반화하는데 제한점이 있다. 본 연구의 결과와 논의를 바탕으로 다음과 같이 제언하고자 한다. 첫째, 본 연구결과를 기초로 회복실 환자를 위한 통증사정 도구개발을 제언한다. 둘째, 연령대를 확대하고 다양한 수술 후 환자에게 도구의 신뢰도와 타당도를 재검정하는 추후 연구가 필요하다.

Notes

CONFLICTS OF INTEREST

The authors declared no conflict of interest.

AUTHORSHIP

Conceptualization & methodology - KH and UJ-Y; Data collection - KH; Data analysis & Interpretation - KH and UJ-Y; Manuscript preparation - KH and UJ-Y.

DATA AVAILABILITY

The datasets analyzed during the current study are not publicly available due to ethical restrictions.

References

1. . Yoost B, Crawford LR. Fundamentals of nursing: Active learning for collaborative practice 2nd ed.th ed. St. Louis, Missouri: Elsevier; 2020. p. 868–890.
2. . Gan TJ. Poorly controlled postoperative pain: prevalence, con-sequences, and prevention. Journal of Pain Research. 2017;10:2287–2298. https://doi.org/10.2147/JPR.S144066.
3. . Apfelbaum JL, Silverstein JH, Chung FF, Connis RT, Fillmore RB, Hunt SE, et al. Practice guidelines for postanesthetic care: an updated report by the American society of anesthesiolo-gists task force on postanesthetic care. Anesthesiology. 2013;118(2):291–307. https://doi.org/10.1097/ALN.0b013e31827773e9.
4. . Lee HJ, Cho Y, Joo H, Jeon JY, Jang YE, Kim JT. Comparative study of verbal rating scale and numerical rating scale to assess postoperative pain intensity in the post anesthesia care unit: a prospective observational cohort study. Medicine. 2021;100(6):e24314. https://doi.org/10.1097/md.0000000000024314.
5. . Cascella M, Bimonte S, Di Napoli R. Delayed emergence from anesthesia: what we know and how we act. Local and Regional Anesthesia. 2020;13:195–206. https://doi.org/10.2147/lra.S230728.
6. . Zhang Y, He ST, Nie B, Li XY, Wang DX. Emergence delirium is associated with increased postoperative delirium in elderly: a prospective observational study. Journal of Anesthesia. 2020;34:675–687. https://doi.org/10.1007/s00540-020-02805-8.
7. . Bouajram RH, Sebat CM, Love D, Louie EL, Wilson MD, Duby JJ. Comparison of self-reported and behavioral pain assessment tools in critically ill patients. Journal of Intensive Care Medicine. 2020;35(5):453–460. https://doi.org/10.1177/0885066618757450.
8. . Schofield P. The assessment of pain in older people: UK national guidelines. Age and Ageing. 2018;47(1):i1–i22. https://doi.org/10.1093/ageing/afx192.
9. . Raja SN, Carr DB, Cohen M, Finnerup NB, Flor H, Gibson S, et al. The revised international association for the study of pain definition of pain: Concepts, challenges, and compromises. Pain. 2020;161(9):1976–1982. https://doi.org/10.1097/j.pain.0000000000001939.
10. . Luo J, Min S. Postoperative pain management in the post-anesthesia care unit: an update. Journal of Pain Research. 2017;10:2687–2698. https://doi.org/10.2147/jpr.S142889.
11. . Cho Y, Hong GRS. Behavioral and physiological pain respon-ses in brain-injured patients who are unable to communicate in the intensive care unit. Pain Management Nursing. 2021;22(1):80–85. https://doi.org/10.1016/j.pmn.2020.08.006.
12. . Kim EJ, Hong J, Kang J, Kim N, Kim N, Maeng SY, et al. A systematic review on pain assessment tools for intensive care unit patients. Journal of Korean Critical Care Nursing. 2020;13(1):44–62. https://doi.org/10.34250/jkccn.2020.13.1.44.
13. . Eun Y, Yu M, Gu MO, Cho YA, Kim KS, Kim TH, et al. Development of the nursing practice guideline for pain management according to the guideline adaptation process. Journal of Korean Clinical Nursing Research. 2019;25(1):1–14. https://doi.org/10.22650/JKCNR.2019.25.1.1.
14. . Feldt KS. The checklist of nonverbal pain indicators (CNPI). Pain Management Nursing. 2000;1(1):13–21. https://doi.org/10.1053/jpmn.2000.5831.
15. . Goebel JR, Ferolito M, Gorman N. Pain screening in the older adult with delirium. Pain Management Nursing. 2019;20(6):519–525. https://doi.org/10.1016/j.pmn.2019.07.003.
16. . Guo LL, Li L, Liu YW, Herr K. Evaluation of two observational pain assessment scales during the anaesthesia recovery period in Chinese surgical older adults. Journal of Clinical Nursing. 2015;24(1-2):212–221. https://doi.org/10.1111/jocn.12677.
17. . Gelinas C, Loiselle CG, LeMay S, Ranger M, Bouchard E, Mc-Cormack D. Theoretical, psychometric, and pragmatic issues in pain measurement. Pain Management Nursing. 2008;9(3):120–130. https://doi.org/10.1016/j.pmn.2007.12.001.
18. . Warden V, Hurley AC, Volicer L. Development and psychometric evaluation of the pain assessment in advanced dementia (PAINAD) scale. Journal of the American Medical Direct-ors Association. 2003;4(1):9–15. https://doi.org/10.1097/01.JAM.0000043422.31640.F7.
19. . Kwon SH, Cho YS, Kim H. Reliability and feasibility of the pain assessment in advanced dementia scale-Korean version (PAINAD -K). Pain Management Nursing. 2021;22(5):660–667. https://doi.org/10.1016/j.pmn.2021.01.014.
20. . Ely EW, Truman B, Shintani A, Thomason JW, Wheeler AP, Gordon S, et al. Monitoring sedation status over time in ICU patients: reliability and validity of the Richmond agitation- sedation scale (RASS). The Journal of the American Medical Association. 2003;289(22):2983–2991. https://doi.org/10.1001/jama.289.22.2983.
21. . Hanley JA, McNeil BJ. The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology. 1982;143(1):29–36. https://doi.org/10.1148/radiology.143.1.7063747.
22. . Paulson-Conger M, Leske J, Maidl C, Hanson A, Dziadulewicz L. Comparison of two pain assessment tools in nonverbal critical care patients. Pain Management Nursing. 2011;12(4):218–224. https://doi.org/10.1016/j.pmn.2010.05.008.
23. . Mokkink LB, Terwee CB, Knol DL, Stratford PW, Alonso J, Patrick DL, et al. The COSMIN checklist for evaluating the methodological quality of studies on measurement properties: a clarification of its content. BioMed Central Medical Research Methodology. 2010;10:22. https://doi.org/10.1186/1471-2288-10-22.
24. . Rat P, Jouve E, Pickering G, Donnarel L, Nguyen L, Michel M, et al. Validation of an acute pain-behavior scale for older per-sons with inability to communicate verbally: Algoplus®. Euro-pean Journal of Pain. 2011;15(2):198.e1–198.e10. https://doi.org/10.1016/j.ejpain.2010.06.012.
25. . Kwak EM, Oh H. Validation of a Korean translated version of the critical care pain observation tool (CPOT) for ICU patients. Journal of Korean Academy of Nursing. 2012;42(1):76–84. https://doi.org/10.4040/jkan.2012.42.1.76.
26. . Baamer RM, Iqbal A, Lobo DN, Knaggs RD, Levy NA, Toh LS. Utility of unidimensional and functional pain assessment tools in adult postoperative patients: a systematic review. British Journal of Anaesthesia. 2022;128(5):874–888. https://doi.org/10.1016/j.bja.2021.11.032.
27. . DeVellis RF, Thorpe CT. Scale development: Theory and applications 5th ed.th ed. Thousand Oaks, California: SAGE Publications; 2021. p. 39–82.
28. . Koo TK, Li MY. A guideline of selecting and reporting intraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine. 2016;15(2):155–163. https://doi.org/10.1016/j.jcm.2016.02.012.
29. . Landis JR, Koch GG. An application of hierarchical kappa-type statistics in the assessment of majority agreement among mul-tiple observers. Biometrics. 1977;33(2):363–374. https://doi.org/10.2307/2529786.
30. . Schober P, Boer C, Schwarte LA. Correlation coefficients: appropriate use and interpretation. Anesthesia & Analgesia. 2018;126(5):1763–1768. https://doi.org/10.1213/ANE.0000000000002864.
31. . Steward D, Volgyesi G. Stabilometry: a new tool for the measurement of recovery following general anaesthesia for out- patients. Canadian Anaesthetists' Society Journal. 1978;25(1):4–6.
32. . Greiner M, Pfeiffer D, Smith RD. Principles and practical application of the receiver-operating characteristic analysis for diag-nostic tests. Preventive Veterinary Medicine. 2000;45(1-2):23–41. https://doi.org/10.1016/S0167-5877(00)00115-X.
33. . DeWaters T, Faut-Callahan M, McCann JJ, Paice JA, Fogg L, Hollinger-Smith L, et al. Comparison of self-reported pain and the PAINAD scale in hospitalized cognitively impaired and intact older adults after hip fracture surgery. Orthopaedic Nursing. 2008;27(1):21–28. https://doi.org/10.1097/01.NOR.0000310607.62624.74.
34. . Aubrun F, Nouette-Gaulain K, Fletcher D, Belbachir A, Beloeil H, Carles M, et al. Revision of expert panel's guidelines on postoperative pain management. Anaesthesia Critical Care & Pain Medicine. 2019;38(4):405–411. https://doi.org/10.1016/j.accpm.2019.02.011.

Article information Continued

Table 1.

Description of Reliability and Validity Methods

Objective Measures Analysis Communicative patients (n=103) Non-communicative patients (n=102)
Without pain (PAINAD-K<4, n=53) With pain (PAINAD-K≥4, n=50) Without pain (PAINAD-K<4, n=51) With pain (PAINAD-K≥4, n=51)
Reliability Internal consistency None Cronbach's ⍺
Equivalence (inter-rater reliability) None ICC Cohen's kappa
Stability (30 min test-retest) None Spearman's rank correlation
Criterion validity Sensitivity NRS ROC
Specificity Algoplus ROC
Concurrent validity (comparison with gold standard) NRS Spearman's rank correlation
Algoplus Spearman's rank correlation
Construct validity Convergent validity CPOT-K Spearman's rank correlation
Discriminant validity Changes between pretest and posttest 2×2 repeated- measures ANOVA Control ◎ Experiment ◎ Control ◎ Experiment ◎

ANOVA=analysis of variance; CPOT-K=Critical Care Pain Observation Tool-Korean version; ICC=intraclass correlation coefficient; NRS=numerical rating scale; PAINAD-K=Pain Assessment in Advanced Dementia Scale-Korean version; ROC=receiver operating characteristic.

Table 2.

General and Health-related Characteristics of Partici-pants (N=205)

Characteristics Categories n (%) or M± SD
Gender Men 103 (50.2)
Women 102 (49.8)
Age (year) 72.96±6.15
Marital Status Married 165 (80.5)
Divorced or widowed 40 (19.5)
Types of operation Hepato-biliary-pancreatic 92 (44.9)
Colon 61 (29.8)
Stomach 25 (12.2)
Breast 17 (8.3)
Thyroid 9 (4.4)
Adrenal gland 1 (0.5)
Operation history Yes 102 (49.8)
No 103 (50.2)
Charlson comorbidity index ≤2 28 (13.7)
3 24 (11.7)
4 36 (17.6)
5 66 (32.2)
6 32 (15.6)
≥7 19 (9.3)
Types of pain medication Yes 114 (55.6)
Opioids 81 (39.5)
Non-opioids 33 (16.1)
No 91 (44.4)
RASS Communicative patients 103 (50.2)
Non-communicative patients 102 (49.8)
Anesthesia time (min) 143.66±63.91

M=mean; RASS=Richmond Agitation-Sedation Scale; SD=standard deviation;

Opioid only, opioid with non-steroidal anti-inflammatory drugs, opioid with other analgesics, or opioid with antipyretics.

Figure 1.

Receiver operating characteristic curve using PAINAD-K and Algoplus in non-communicative patients.

Table 3.

Concurrent and Convergent Validity of PAINAD-K (N=205)

Variables Categories n Scale rho p
Baseline 30-minute follow-up
Concurrent validity Non-communicative patients 102 PAINAD-K & Algoplus .93 .88 <.001
Communicative patients 103 PAINAD-K & NRS .82 .40 <.001
Convergent validity Non-communicative patients
With pain 51 PAINAD-K & CPOT-K .69 .78 <.001
Without pain 51 .88 .96 <.001

CPOT-K=Critical Care Pain Observation Tool-Korean version; NRS=numerical rating scale; PAINAD-K=Pain Assessment in Advanced Dementia Scale-Korean version.

Figure 2.

2×2 repeated-measures analysis of variance interaction effect in non-communicative patients.