| Home | E-Submission | Sitemap | Contact Us |  
top_img
J Korean Acad Fundam Nurs > Volume 31(3); 2024 > Article
심장수술 환자의 섬망예측을 위한 PRE-DELIRIC 모델과 E-PRE-DELIRIC 모델의 타당도 비교

Abstract

Purpose

The purpose of this study was to analyze the validity of the PRE-DELIRIC model and E-PRE-DELIRIC model.

Methods

Patients who underwent cardiac surgery at a tertiary hospital between January 2019 and December 2022 were included. The presence or absence of delirium was determined based on risk groups, and the sensitivity, specificity, positive predictive power, and negative predictive power were verified using the Youden index. Receiver operating characteristic curves were derived for the PRE-DELIRIC model and E-PRE-DELIRIC model, the area under the curve was calculated, and the 95% confidence interval (CI) was presented.

Results

The incidence of delirium was 28.8%. The average scores of the PRE-DELIRIC model and E-PRE-DELIRIC model were 49.72±29.91 and 18.14±0.41, respectively. In the PRE-DELIRIC model, for which a cut-off point of 14.05 was established using the Youden index, the sensitivity, specificity, positive predictive power, and negative predictive power were 64.8%, 83.2%, 61.0%, and 85.4%, respectively. In the E-PRE-DELIRIC model, with a cut-off point of 64.01, the corresponding indicators were 73.1%, 51.5%, 37.8%, and 82.6%, respectively. The areas under the curve for the PRE-DELIRIC model and the E-PRE-DELIRIC model were 0.77 (95% CI, 0.74∼0.82) and 0.65 (95% CI, 0.61∼0.69), respectively.

Conclusion

It may be helpful to use both the E-PRE-DELIRIC and PRE-DELIRIC models. The two prediction models are expected to help improve the quality of nursing for the early detection and prevention of delirium, enabling intensive observations and interventions for patients at high risk of delirium.

서 론

1. 연구의 필요성

섬망은 교감신경 활성화, 초조함, 환각, 망상으로 인해 비협조적인 행동을 하거나 졸음이 증가하고 각성이 감소하여 주변 환경을 인식하지 못하는 정신 신경학적 질환이다[1]. 중환자실 입원 후 24시간 이내에 가장 많이 발생하며[2], 국내 중환자실의 경우 섬망 발생률이 22.0∼73.0%로 높은 수준이다[3]. 수술 후 환자들의 섬망 역시 중환자실 섬망과 마찬가지로 흔히 발생하여 그 중요성이 높은데, 일반외과 수술 환자로 그 대상을 한정하였을 때 수술 환자의 발생률은 2.5∼3.0%로 다소 낮게 보고되었다[4]. 그러나, 심장 수술 후 섬망 발생률은 다른 수술에 비해 높아 46.0%로 보고된다[5]. 이 값은 신경외과의 두개 내 수술 후 19.0%[6], 정형외과 수술 후 24.0%[5]이었던 보고에 비해 높고, 비뇨기과 수술 후 섬망 발생률 8.8%에 비해서 5배 이상 높은 값이다[7]. 심장 수술 후 섬망발생이 높은 이유는 심장수술 시 저혈압요법으로 인해 혈류와 조직관류의 결과에 민감한 뇌와 신장이 영향을 받기 때문에 일어나는 것으로 이해된다. 즉, 뇌의 적정 뇌관류압이 유지되지 못해 관상동맥우회술 시 혈압의 변화에 직면했을 때 자율조절에 기초한 안정적인 뇌관류를 유지시키지 못하므로 섬망발생률이 다른 수술에 비해 높은 것으로 알려져 왔다[8]. 섬망의 발생은 환자의 인공호흡기 적용기간과 재원 기간을 늘려 추가 치료비용을 발생시키고, 사망률을 높이는 등의 위해를 유발한다[9]. 그러나 섬망을 조기에 발견하면 30.0∼40.0% 가까이 예방할 수 있으므로[10] 광범위한 대상에게 발생하는 부정적인 영향을 줄이기 위해 섬망을 조기에 발견 및 예측하여 예방하는 것이 매우 중요하다.
국내 임상 현장에서 섬망을 사정하는 대표적인 도구로는 CAM-ICU (Confusion Assessment Method for ICU)와 ICDSC (Intensive Care Delirium Screening Checklist)가 있으며, 이들은 신뢰도와 타당도가 높아 섬망 진단에 효과적인 도구로 알려져 있다[11]. 뿐만 아니라, 이 두 도구의 활용은 측정자 간, 측정자 내 신뢰도가 중등도 이상으로 높고, 섬망 인식의 중요성, 섬망 사정의 이점, 섬망 관리의 방향성을 제시해준다는 측면에서 긍정적으로 평가된다[12]. 그러나, 몇 가지 항목에 대해서는 측정자의 주관성이 개입되므로 신뢰도에 영향을 받을 수 있다는 제한점이 있다[13]. 뿐만 아니라, CAM-ICU를 활용하여 중환자실 환자의 섬망을 사정한 시간은 환자 1명당 평균 5분 내외로 짧다고는 하지만[14], 수술 후 섬망을 조기에 발견하기 위해서는 CAM-ICU를 매일 아침, 저녁으로 하루에 두 번, 4일간 반복적으로 측정할 것을 권고하므로[15] 간호사들은 섬망사정을 추가적인 업무로 여겨 업무 부담감 증가로 이어질 가능성이 있다. 따라서, 섬망의 사정보다 섬망위험을 사정하는 활동은 임상적 의사결정을 촉진하고 우선순위를 정하게 할 뿐 아니라[16] 고위험 대상자들의 섬망발생율을 25.3% 감소시킨다는 점에서 효율적인 섬망관리를 가능하게 할 것이다[17].
특히, 심장수술은 앞서 밝힌 바와 같이 인지장애 위험이 크고, 인공호흡기 사용 및 진정제 투여를 위해 수술 후 중환자실에 입원해야만 한다[18]. 이에 심장수술 환자를 대상으로 다양한 섬망발생 예측모델이 개발되었는데, 그 중 PRE-DELIRIC (PREdiction of DELIRium in ICu patients) 모델과 E-PRE-DELIRIC (Early PREdiction of DELIRium in ICu patients) 모델이 가장 많이 사용되고 있다[19]. PRE-DELIRIC 모델은 네덜란드의 5개의 중환자실에 입원한 1,443명의 환자를 대상으로 중환자실 입원 후 24시간 이내의 객관적인 값을 가지는 변수 10개 항목을 투입하여, 위험도를 판단할 수 있다[20]. E-PRE-DELIRIC 모델은 7개국(호주, 벨기에, 캐나다, 덴마크, 포르투갈, 미국 및 네덜란드)에서 연구되었으며, 2,178명의 환자를 대상으로 9개의 예측요인을 투입하여 위험도를 산출하였다[2]. 뿐만 아니라, 호주, 벨기에, 독일, 스페인, 영국 등 여러 나라에서 타당성을 검정하여 사용해오고 있고[16], 최근 중국에서도 심장 수술 환자를 대상으로 한 타당성을 검정한 연구가 수행된 바 있다[21]. 이와 같이, 위험예측모델은 섬망 발현의 위험도를 층화하여 환자의 섬망 관리를 할 수 있으므로 실무에 상당한 도움이 되고 있다[22].
두 모델 모두 중정도 이상의 타당도를 보였고, 사용의 편의성 측면에서는 E-PRE-DELIRIC 모델이 권장할 만하지만[16], 일부 연구들은 PRE-DELIRIC 모델의 타당성이 더 높게 나타났으며[23], 두 도구를 함께 사용하기를 권장하는 등[16] 두 도구의 활용에 대해서는 일치된 견해가 없다. 또한, 심장 수술의 경우 생활 습관과 밀접한 관련성이 있어 지역적 특성에 영향을 많이 받으므로 지역별 타당도 분석이 실시되어 그 사용성이 확장될 필요가 있으나[24] 국내 연구는 미흡한 실정이다. 특히 심장 중환자실에 입원한 한국인을 대상으로 국내에서 수행한 연구는 존재하나 이는 내, 외과 환자 모두를 포함하여[23], 관상동맥 우회로술, 판막수술, 대동맥치환술과 같이 심장의 관류에 영향을 주어 섬망의 위험도가 높아진 외과 환자들에 대한 도구의 타당도를 살펴본 연구는 부족한 실정이었다. 증가하는 심장질환 유병률을 고려할 때 심장 수술 환자에 대한 위험 예측모델의 타당도 비교는 필수적이다. 따라서 본 연구는 심장 수술 환자에게 PRE-DELIRIC 모델과 E-PRE-DELIRIC 모델 중 어떤 모델이 더욱 타당한지를 검정하고자 수행되었다.

2. 연구목적

본 연구의 목적은 심장수술 환자의 섬망 발생빈도와 PRE-DELIRIC 모델과 E-PRE-DELIRIC 모델의 점수를 확인하고, 두 모델의 민감도, 특이도, 양성예측도, 음성예측도 및 ROC (Receiver Operating Characteristic) 곡선을 구한 후 AUC (Area Under the Curve)를 확인하여 심장수술 환자에게 적합한 모델을 판별하는 것이다.

연구방법

1. 연구설계

본 연구는 도구의 타당도를 비교하기 위한 후향적 조사연구이다.

2. 연구대상

본 연구는 P대학교 병원에서 2019년 1월 1일에서 2022년 12월 31일까지 심장수술을 받은 입원 환자를 대상으로 하였다. 표본수를 계산하기 위해서는 Open Source Epidemiologic for Public Health program [25]을 활용하였다. 선행연구[18]에서 확인된 심장 수술 후 환자들의 섬망의 주요 위험 요인들 중 인지장애 위험비와 연령의 위험비의 중앙값인 3.0과 섬망의 발생률을 보수적으로 설정하기 위해 최솟값인 4.1%로 입력하였다. 이 값과 유의수준(⍺)=.05, power (1-β)=.80, 사례군과 대조군의 비를 1:2로 할 경우, 필요한 대상자 수는 사례군 145명, 대조군 434명으로 최소 506명 이상이었다. 대상자의 선정기준은 1) 만 18세 이상의, 2) 관상동맥우회술(Coronary Artery Bypass Graft, CABG), 대동맥판막치환술(Aortic Valve Replacement, AVR), 승모판막치환술(Mitral Valve Replacement, MVR), 이중판막치환술(Double Valve Replacement, DVR), 심장종양제거술(Mass Removal), 대동맥치환술(Aorta Replacement), 심장이식술(Heart Transplantation) 및 기타 심장과 관련된 수술 등을 받고 중환자실에 입원한 환자이었고, 제외기준은 입원 전부터 CAM-ICU 측정이 불가능하여 섬망발생여부를 판단할 수 없는 환자[2]였다. 이에 의무기록 내 자료의 부재 내지 부실을 고려하여 전수 가운데 선정기준과 제외기준을 만족하는 713명을 대상으로 자료를 수집하였고, 기록의 10.0% 미만의 부재가 있는 대상자도 모두 분석에 포함시켰다.

3. 연구도구

본 연구에 사용된 모든 도구는 이메일을 통해 개발자의 승인을 얻었다. 일반적 특성으로는 문헌[10,14,18] 가운데 심장수술 환자의 섬망위험요인으로 도출된 연령, 성별, 흡연력, 기저질환(고혈압, 당뇨, 고지혈증, 신부전, COPD, 인지장애, 호흡기문제), 중환자실 입원 시 의식수준, 중환자실 퇴원 시 의식수준으로 6개 항목을 조사하였다. 질병 관련 특성은 의무기록을 활용하여 수술시간, 응급입원여부, 응급수술여부, 수술방법(on-pump, off-pump, unuse), 인공호흡기 사용시간, 중환자실 재원 기간, 수술 후 병원 재원 기간, 섬망 지속시간으로 총 8개 항목에 대해 조사하였다. 섬망 지속시간은 심장수술 후 섬망발생이라고 기록된 시점부터 섬망없음이라고 기록된 시점까지의 시간을 측정한 것이다.

1) Confusion Assessment Method for the ICU (CAM-ICU)

CAM-ICU는 4개 문항으로 구성되어 있고 해당 문항이 ‘예’이면 다음 문항으로 진행하게 한다. 첫째 문항은 급성 정신 상태 변화 또는 정신 상태 변동이 심함으로 ‘예’이면 둘째 문항으로 넘어가고, ‘아니오’이면 섬망이 없다고 가정한다. 둘째 문항은 주의력 결핍이며, 10개의 숫자들을 나열한 후 특정 숫자에 특정 행동을 취하게 설명한 후 오답이 3개 이상 시 셋째 문항으로 넘어간다. 셋째 문항은 의식 수준의 변화이고 의식 수준이 RASS (Richmond Agitation Sedation Scale) 점수가 0점이 아닌 경우 섬망으로 판단한다. 이때 RASS 점수는 진정(sedation) 혹은 불안(agitation) 수준을 평가하는데 자주 활용되는 척도로 그 점수의 범위는 +4점(전투적인)부터 −5점(흥분할 수 없는)까지 이다. 이 점수가 0점이라면 넷째 문항으로 넘어간다. 넷째 문항은 비체계적인 사고로 누구나 알 수 있는 질문을 한 다음 오답이 2개 이상일 경우 섬망이라고 본다. 민감도는 93.0%, 특이도는 98.0%, 평가자 간 신뢰도는 Kappa=0.96이었다[26].

2) PRE-DELIRIC 모델(PREdiction of DELIRium in ICu patients)

PRE-DELIRIC 모델은 네덜란드에서 성인 중환자실 입원 환자를 대상으로 입원 후 24시간 이내의 자료로 연령, APACHE-II 점수, 입원 그룹, 혼수상태, 감염, 대사성 산증, 진정제 및 모르핀 사용, 요소 농도 및 응급입원의 10가지 위험 요소로 구성된다. 본 연구는 중환자실 입원 후 처음으로 기록된 값을 발췌하였으며, Table 1과 같은 계산식을 통해 점수로 환산하여 점수의 범위는 0%부터 100.0%로, 점수가 높을수록 섬망 발생 위험이 높음을 의미한다. 점수가 20.0% 이하이면 저위험군, 20.0% 초과부터 40.0% 이하이면 중등도 위험군, 40.0% 초과부터 60.0% 이하이면 고위험군, 60.0% 초과이면 초고위험군으로 분류하였다. 개발당시 민감도는 62.0%, 특이도는 89.0%, 곡선하면적은 0.86이었다[20].
Table 1.
Formula for PRE-DELIRIC Model and E-PRE-DELIRIC Model
PRE-DELIRIC Model E-PRE-DELIRIC Model
risk of delirium= risk of delirium=
1 / [1 + e - (−6.31 1 / [1 + e - (−3.907
+ 0.04 × age + 0.025 × age
+ 0.06 × APACHE-II score + 0.878 × history of cognitive impairment
+ 0 × non-coma
   or 0.55 × drug induced coma
   or 2.7 × miscellaneous coma
   or 2.84 × combination coma
+ 0.505 × history of alcohol abuse
+ 0 × surgical patients
   or 0.31 × medical patients
   or 1.13 × trauma patients
   or 1.38 × neurology/neurosurgical patients
+ 0 × surgery
   or 0.370 × medical
   or 1.219 × trauma
   or 0.504 × neurology/neurosurgery
+ 1.05 × infection + 0.612 × urgent admission
+ 0.29 × metabolic acidosis - 0.006 × MAP at the time of ICU admission
+ 0 × no morphine use
   or 0.41 × 0.01∼7.1 mg/24 h morphine use
   or 0.13 × 7.2∼18.6 mg/24 h morphine use
   or 0.51 × >18.6 mg/24 h morphine use
+ 0.283 × use of corticosteroids
+ 1.39 × use of sedatives + 0.9982 × respiratory failure
+ 0.03 × urea concentration (mmol/L) + 0.018 × BUN in mmol/L at time of ICU admission)]
+ 0.40 × urgent admission)]

APACHE=acute physiology and chronic health evaluation; BUN=blood urea nitrogen; ICU=intensive care unit; MAP=mean arterial pressure

3) E-PRE-DELIRIC 모델(Early PREdiction of DELIRium in ICu patients)

E-PRE-DELIRIC 모델은 PRE-DELIRIC 모델을 기초로 호주, 벨기에, 영국, 독일, 스페인, 스웨덴, 네덜란드의 13개 중환자실 입원 환자를 대상으로 다국적 코호트 연구에서 개발된 도구이다[2]. 연령, 인지장애 병력, 알코올 남용 병력, 혈중 요소 질소, 입원 범주, 긴급 입원, 평균 동맥 혈압, 코르티코스테로이드 사용 및 호흡 부전의 9개 예측요인 중환자실 입원 후 즉시 수집하였으며, 계산식을 통해 점수로 환산하였다(Table 1). 점수의 범위는 0.0%부터 100.0%이며 점수가 높을수록 섬망발생 위험이 높음을 의미한다. 0.0%부터 10.0% 이하이면 초저위험군, 10.0% 초과부터 20.0% 이하이면 저위험군, 20.0% 초과부터 35.0% 이하이면 중등도 위험군, 35.0% 초과이면 고위험군으로 분류된다. 개발 당시 민감도는 71.0%, 특이도는 69.0%, 곡선하 면적은 0.76이었다[2].

4. 자료수집

본 연구의 자료수집기간은 약 2개월간이었다. 대상자의 일반적 특성, 질병 관련 특성, 모델 내 예측변수는 전자의무기록을 통해 연구자가 직접 수집하였다. 본 연구에서 섬망발생의 황금표준(gold standard)은 CAM-ICU 이며, 해당 환자를 돌보는 간호사들이 매일 하루 두 번씩 섬망을 사정하여 기록하므로 섬망발생은 중환자실 입원 후 적어도 한번 이상 섬망으로 판단된 경우를 말한다. PRE-DELIRIC 모델 내 위험요인은 중환자실 입실 후 24시간 이내의 자료를, E-PRE-DELIRIC 모델 내 위험요인은 중환자실 입실 이후 측정된 자료를 수집하였다.

5. 윤리적 고려

P대학교의 기관생명윤리위원회(IRB)의 승인(No. 1041386-202306-HR-64-02) 후 병원장으로부터 기록 검토의 허락을 얻어 자료수집을 수행하였다. 수집된 자료는 연구목적으로만 사용되며 연구책임자만 접근 가능한 비밀번호가 설정된 메모리 저장소에 보관하였고, 연구와 관련된 모든 사항은 보안과 익명성을 유지하였다. 연구종료 후 자료는 3년간 보관 후 파일은 영구삭제로 모두 폐기할 예정이다.

6. 자료분석

수집된 연구의 자료는 SPSS/WIN 29.0 통계 프로그램과 Excel 프로그램을 이용하여 분석하였다. 대상자의 일반적, 질병 관련 특성은 빈도, 백분율, 평균과 표준편차로 산출하였다. 일반적, 질병 관련 특성에 따른 섬망 발생을 비교하기 위해서 연속형 변수는 t-test, 범주형 변수는 χ2test를 이용하였다. 섬망군과 비섬망군은 CAM-ICU를 통해 섬망 여부를 판단하였다. PRE-DELIRIC 모델과 E-PRE-DELIRIC 모델의 점수에 따른 섬망 발생의 차이는 t-test로, 위험군 별 섬망 발생 차이는 χ2test로 분석하였다. CAM-ICU 점수를 섬망발생여부의 판단근거로 하고, PRE-DELIRIC 모델과 E-PRE-DELIRIC 모델 내 변수를 독립변수로 하여 multiple logistic regression으로 분석하였다. SPSS/WIN 프로그램은 Youden 지수를 계산해 주지 않으므로, 각 모델의 사분위수와 Youden 지수(민감도+특이도-1), 양성예측도, 음성예측도를 Excel 프로그램을 활용하여 계산하였다. Youden 지수란 이변량 척도를 사용하는 진단 도구의 수행력을 보여주는 지표로 Youden 지수의 최댓값은 진단의 정확도의 단순성과 해석력 때문에 실무에서 자주 활용된다[27]. 이를 활용하여 경계점수(cut-off point)를 계산하였다. PRE-DELIRIC 모델과 E-PRE-DELIRIC 모델의 ROC 곡선을 그리고, AUC를 구하여 95% 신뢰구간(confidence interval, CI)을 제시하였다.

연구결과

1. 섬망군과 비섬망군의 일반적 특성과 섬망 관련 특성 차이

본 연구에 포함된 심장 수술 후 중환자실에 입원한 환자는 총 713명으로 남성이 62.1%였고,평균 연령은 65.19±12.85세였다. 이들 중 섬망이 발생한 대상자는 28.8%였고, 섬망 기간은 평균 14.22±47.19시간이었다. 대상자들의 중환자실 재원 기간은 평균 5.41±6.29일이었다. 수술 시간은 평균 309.81±120.05분이었고, 응급수술은 23.0%였다. 수술 방법은 on-pump 방법이 89.9%로 가장 많았고, 수술 종류로는 valve 관련 수술이 41.9%로 가장 많았다. 평균 동맥압은 84.14±21.90mmHg이고 진통제 morphine 사용량은 평균 2.11±2.34mg이었다. 입원 시 의식 수준은 대부분 진정 상태가 97.1%였고, 퇴원 시 의식 수준은 기민상태가 76.6%로 가장 많았다(Table 1).
섬망군과 비섬망군의 일반적 및 섬망 관련 특성 차이를 분석한 결과, 성별(χ2=8.04, p=.005), 연령(t=-5.56, p<.001)에 차이가 있었고, 섬망군의 평균연령이 69.04세로 비섬망군의 평균 연령 63.63세보다 유의하게 높았다. 또한 기저질환 중 고혈압 여부(χ2=-3.43, p<.001), 당뇨 여부(χ2=10.51, p=.001) 알코올 남용 병력(p<.001), 신부전 여부(χ2=6.57, p=.010) 및 중환자실 재원 기간(t=-4.71, p<.001), 수술 후 재원 기간(t=-3.43, p<.001)에 두 군 간 유의한 차이가 있었다(Table 2).
Table 2.
Delirium Status according to Demographic and Disease-related Characteristics (N=713)
Characteristics Division Total (n=713) Delirium (n=205) non-Delirium (n=508) χ2 or t p
n (%) or M± SD n (%) or M± SD n (%) or M± SD
Gender Men 443 (62.1) 144 (32.5) 299 (67.5) 8.04 .005
Women 270 (37.9) 61 (22.6) 209 (77.4)
Age (year) 20∼49 79 (11.1) 8 (10.2) 71 (89.8) 25.23 <.001
50∼59 111 (15.6) 26 (23.4) 85 (76.6)
60∼69 230 (32.3) 63 (27.4) 167 (72.6)
≥70 293 (41.1) 108 (36.9) 185 (63.1)
65.19±12.85 69.04±11.12 63.63±13.17 -5.56 <.001
Smoker None 39 (5.5) 87 (12.2) 187 (26.2) 1.95 .162
Yes 274 (38.4)
Underlying diseases Hypertension 320 (44.8) 112 (35.0) 208 (65.0) 11.06 .001
Diabetes mellitus 162 (22.7) 63 (38.9) 99 (61.1) 10.51 .001
Chronic kidney disease 41 (5.7) 19 (46.3) 22 (53.7) 6.57 .010
Hyperlipidemia 51 (7.1) 9 (17.6) 42 (82.4) 3.32 .068
COPD 17 (2.3) 6 (35.3) 11 (64.7) - .589
Alcoholism 7 (0.9) 6 (85.7) 1 (14.3) - .003
Cognitive disorder 10 (1.4) 3 (30.0) 7 (70.0) - >.999
Respiratory disorder 4 (0.5) 1 (25.0) 3 (75.0) - >.999
Level of consciousness (Admission) Coma 1 (0.1) 0 (0.0) 1 (100.0) - .747
Sedation 692 (97.1) 200 (29.0) 492 (71.0)
Drowsy 2 (0.3) 0 (0.0) 2 (100.0)
Alert 18 (2.5) 5 (27.8) 13 (72.2)
Level of consciousness (Discharge) Coma 36 (5.0) 5 (13.9) 31 (86.1) - <.001
Sedation 3 (0.4) 0 (0.0) 3 (100.0)
Drowsy 128 (18.0) 103 (80.5) 25 (19.5)
Alert 546 (76.6) 98 (18.0) 448 (82.0)
Operation time (min) 309.81±120.05 320.50±124.68 305.49±117.98 -1.51 .131
Emergency admission Yes 260 (36.5) 84 (32.3) 176 (67.7) 2.52 .112
Emergency surgery 164 (23.0) 57 (34.8) 107 (65.2) 3.74 .053
Operation method On-pump 641 (89.9) 183 (28.5) 458 (71.5) 0.02 .874
Off-pump 33 (4.6) 9 (27.3) 24 (72.3)
Unused 39 (5.5) 13 (33.3) 26 (66.7)
Ventilator time (min) |46.55±120.04| |65.54±145.56| |38.89±107.26| -2.37 .180
ICU hospital day |5.41±6.29| |7.33±7.39| |4.63±5.62| -4.71 <.001
Postoperative hospital day |23.09±30.44| |28.99±28.98| |20.61±30.56| -3.43 <.001
Delirium time (hr) |14.22±47.19|

COPD=chronic obstructive pulmonary disease; M=mean; SD=standard deviation;

t-test;

Fisher's exact test.

2. 섬망발생 예측모델 타당도 비교

PRE-DELIRIC 모델의 점수는 평균 49.72±29.91점으로, 섬망군 평균 71.97±28.43점, 비섬망군 평균 40.74±25.53점이었다(t=-14.3, p<.001). 60.0%를 초과하는 초고위험군 중 섬망군은 57.9%로 나타나 초고위험군에서 섬망 발생 확률이 가장 높았다(χ2=151.9, p<.001). E-PRE-DELIRIC 모델의 점수는 평균 18.14±0.41점으로, 섬망군 평균 21.74±12.26점, 비섬망군 평균 점수는 16.69±10.13점이었다(t=-5.22, p<.001). 35.0%를 초과한 고위험군 중 45.3%에게 섬망이 발생하여 고위험군에서의 섬망발생 확률이 45.3%였다(χ2=31.04, p<.001)(Table 3).
Table 3.
Score Distributions of PRE-DELIRIC Model and E-PRE DELIRIC Model (N=713)
Division Total Delirium non-Delirium t or χ2 p
M± SD or n (%) M± SD or n (%) M± SD or n (%)
PRE-DELIRIC 49.72±29.91 71.97±28.43 40.74±25.53 -14.30 <.001
       Low risk 105 (14.7) 5 (4.8) 100 (95.2) 151.90 <.001
       Moderate risk 258 (36.2) 41 (15.9) 217 (84.1)
       High risk 115 (16.1) 23 (20.0) 92 (80.0)
       Very high risk 235 (33.0) 136 (57.9) 99 (42.1)
E-PRE-DELIRIC 18.14±0.41 21.74±12.26 16.69±10.13 -5.22 <.001
       Very low risk 186 (26.1) 29 (15.6) 157 (84.4) 31.04 <.001
       Low risk 330 (46.3) 95 (28.8) 235 (71.2)
       Moderate risk 144 (20.2) 57 (39.6) 87 (60.4)
       High risk 53 (7.4) 24 (45.3) 29 (54.7)

M=mean; SD=standard deviation;

t-test.

PRE-DELIRIC 모델은 원 저자가 제시한 경계점수를 우선적으로 이용하고, 본 연구에서의 경계점수를 구하기 위해 Youden 지수가 최대가 되는 지점에서의 민감도, 특이도, 양성예측도, 음성예측도를 비교하였다. 1사분위수(Q1) 10.75점에서 민감도, 특이도, 양성예측도, 음성예측도는 87.3%, 29.9%, 33.5%, 85.4%이고 Youden 지수가 되는 최대가 되는 경계점수인 14.05점에서 각각 73.2%, 51.6%, 37.9%, 82.7%였다. E-PRE-DELIRIC 모델은 2사분위수(Q2) 39.48점에서 민감도, 특이도, 양성예측도, 음성예측도는 78.1%, 61.2%, 44.8%, 87.4%였고, Youden 지수가 되는 최대가 되는 경계점수 64.01점에서 각각 64.9%, 83.3%, 61.0%, 85.5%였다(Table 4). PRE-DELIRIC 모델의 AUC는 0.77 (95% CI 0.74∼0.82)(p<.001)이었고, E-PRE-DELIRIC 모델의 AUC는 0.65 (95% CI 0.61∼0.69)(p<.001)이었다(Figure 1).
Figure 1.
Receiver operating characteristic of PRE-DELIRIC Model (AUC=0.77) and E-PRE-DELIRIC Model (AUC=0.65).
jkafn-31-3-275f1.jpg
Table 4.
Sensitivity, Specificity, Positive Predictive Power, and Negative Predictive Power in the PRE-DELIRIC Model and the E-PRE-DELIRIC Model (N=713)
Division Cut-Off Point Sensitivity Specificity PPP NPP
PRE-DELIRIC 25.33 (Q1) 90.7 31.3 34.8 89.3
39.48 (Q2) 78.1 61.2 44.8 87.4
64.01 64.9 83.3 61.0 85.5
79.26 (Q3) 55.6 87.4 64.0 83.0
E-PRE-DELIRIC 10.75 (Q1) 87.3 29.9 33.5 85.4
14.05 73.2 51.6 37.9 82.7
14.90 (Q2) 66.8 55.7 37.9 80.6
21.95 (Q3) 35.6 79.3 41.0 75.3

NPP=negative predictive power; PPP=positive predictive power;

Cut-off point of this study.

논 의

본 연구는 심장수술 환자를 대상으로 수술 후 섬망 발생 관련 특성을 확인하고 PRE-DELIRIC 모델과 E-PRE-DELIRIC 모델의 타당도를 확인하여 심장수술 환자에게 적합한 모델을 판별하기 위해 수행되었다. 위험예측모델의 타당도를 나타내는 AUC는 PRE-DELIRIC 모델이 0.77이고, E-PRE-DELIRIC 모델이 0.65였다. PRE-DELIRIC 모델은 E-PRE-DELIRIC 모델과 비교하여 변수가 많고 오랜 시간 관찰 값을 입력해야 하는 단점이 존재하나 타당도가 높았다[16]. 반면에 E-PRE-DELIRIC 모델은 간단하고 빠르게 섬망 위험을 예측할 수 있으나[16] 그 타당도가 높지 않아 AUC 가 0.70 이상이면 인정할 만한 타당도라는 기준[28]에는 미치지 못하였다. 이에 본 연구의 주요 결과인 두 도구의 타당도를 중심으로 논의하고자 한다.
본 연구에서 섬망 발생률은 28.8%였고, 이는 심장수술 후 환자들의 섬망발생과 관련한 체계적 문헌고찰연구[29]에서 도출된 섬망 발생률 11.3∼51.6%의 범위 내에 있었다. 섬망군과 비섬망군 간에는 수술 후 재원기간에 차이가 있었으나 본 연구와 같은 후향적 연구에서는 정확한 인과관계를 밝히기 어렵다. 섬망 발생의 촉진요인으로 고혈압, 당뇨, 신부전, 알코올 남용이었던 선행연구[30]와 유사하게 본 연구도 섬망군과 비섬망군 사이에 기저질환의 차이가 유의하였다. 재원 기간과 중환자실 재원 기간 역시 섬망 발생 위험요인이었는데 이는 대동맥박리 환자를 대상으로 한 선행연구[30]의 중환자실 재원 기간이 고위험 요인인 점과 같은 결과였다.
이변량 척도의 진단검사 시 경계점수를 구하기 위해 사용되는 Youden 지수(민감도+특이도-1)를 이용하여 PRE-DELIRIC 모델에서의 Youden 지수가 최대가 되는 경계점수인 64.01점에서 민감도는 64.9%, E-PRE-DELIRIC 모델의 경계점수인 14.05점에서 민감도는 73.2%였다. 최근, 두 모델을 비교한 연구[23]결과, PRE-DELIRIC 모델과 E-PRE-DELIRIC 모델 각각의 민감도가 77.0%와 76.0%였던 결과에 비해서 다소 낮은 편이었다. 본 연구에서 두 위험모델의 민감도가 상대적으로 낮았던 이유는 후향적 연구가 가지는 특성상 시간지연문제(time lagging issue)가 발생했기 때문일 수 있다. 본 연구에서 자료수집 시 섬망의 발생은 중환자실 입원 후 한번이라도 섬망이라고 판단된 경우인 반면, 위험요인은 입실 후 즉시 혹은 입실 후 24시간 이내의 자료를 활용하였다. 그러나, 환자들의 검사실 검사 측정값에 해당하는 위험요인은 불변이 아니며, 섬망의 발생은 심장수술 후 48시간 이내에 발생하고[31] 6일 이상 지속되는 경우도 있으나 24시간 이내에 사라지기도 한다[32]. 본 연구도, 섬망지속시간이 14.22 시간인 점을 감안하면 하루 두 번의 섬망측정시간이 규칙적으로 12시간이 아닌 경우 섬망발생을 감지하지 못하고 놓쳤을 가능성이 있다. 또 섬망발생과 위험요인 측정시기가 맞지 않았을 경우 두 모델 내 위험요인의 유의성이 떨어질 수 있다.
각 모델의 경계점수가 PRE-DELIRIC 모델의 특이도는 83.3%였고, E-PRE-DELIRIC 모델의 특이도는 51.6%로 PRE-DELIRIC 모델의 특이도가 우수한 편인 것으로 나타났다. 경계점수에서의 민감도와 특이도를 고려했을 때 E-PRE-DELIRIC 모델은 섬망위험이 낮은 선별 테스트 역할을 할 수 있고, PRE-DELIRIC 모델이 저위험군으로 잘못 분류된 환자를 식별하는 데 더 적합하고 확증 테스트 역할을 할 수 있음을 의미한다[33]. PRE-DELIRIC 모델은 대상자를 24시간 동안 관찰하여 섬망 고위험군을 선별할 수 있고, E-PRE-DELIRIC 모델은 24시간 이내에 비교적 빠른 시점에서 섬망 고위험군을 선별할 수 있다는 장점이 있다. 심장수술 환자를 대상으로 섬망위험예측을 수행할 때 이와 같은 타당도의 특성과 도구사용의 특성을 기반으로 다음과 같이 두 도구의 사용을 권장할 수 있다[16,19,23]. 본 연구결과의 측정값으로 보았을 때 저위험군이라 여겨지는 대상에게서 위험도가 낮은 대상에서 섬망을 잘 판별해 내는 E-PRE-DELIRIC 모델을 사용하고, 고위험군이라고 여겨지는 대상자에게는 고위험군에서 섬망을 잘 판별해내는 PRE-DELIRIC 모델을 구분하여 사용해 볼 수 있다.
전자의무기록을 통한 CAM-ICU 사정은 환자 한명당 하루 20여분 소요되지만[14] 이 두 도구의 사용은 비교적 소요시간이 짧고 측정시점이 명확히 규명되어 있기 때문이다. 둘째, 시기적으로 빠른 자료의 수집이 가능한 E-PRE-DELIRIC 을 우선 적용한 후 차츰 PRE-DELIRIC 모델의 자료를 수집하여 이후에 순차적으로 적용해 보는 방법이 효율적일 수 있다. 섬망을 사정할 때, 일부 간호사들은 섬망과 치매를 구별하는 부분을 어려워하고 언어의 장벽이 있거나 진정제를 사용하는 환자를 대상으로 할 경우 평가의 정확성이 떨어지고, 의사-간호사 간의 평가가 다를 수 있다고 보고된다[34]. 따라서 이 두 예측모델을 활용하여 심장수술 환자의 섬망발생 위험을 선별한다면 섬망관리가 효율적으로 이루어질 수 있을 것이다.
섬망 예측 모델의 전반적인 타당도를 확인하기 위해 PRE-DELIRIC 모델과 E-PRE-DELIRIC 모델의 AUC를 살펴본 결과 각각 0.77과 0.65였다. 이는 중환자실 섬망 예측 모델 14개를 분석한 선행연구[19]결과, 각각 0.84와 0.76로 나타난 결과에 비해 다소 낮은 수준의 결과이었으나, 심장 수술 환자를 대상으로 한 선행연구는 0.75[35]와 0.54[21]이었던 점과 비교했을 때는 유사하거나 다소 높은 타당도를 나타내었다. E-PRE-DELIRIC 모델의 낮은 타당도는 두 가지 이유로부터 발생한 결과인 것으로 유추된다. 첫째, 심장 수술 환자의 심폐기 사용으로 인한 주요 변수의 차이가 포함되지 않았기 때문일 수 있다. 일반 중환자실 환자의 주요변수로는 인지 기능 장애, 진정제와 진통제가 가장 흔한 예측변수였고, 감염과 기계적 환기가 그 뒤를이었다[19]. 그러나, 최근 메타분석 연구에 따르면 관상동맥우회술을 받은 환자들에게는 수술 전 인지장애, 우울, 부정맥여부, 기관 내 삽관기간 등이 보다 직접적인 섬망의 위험요인으로 도출되었다[30]. 따라서 심장수술 환자의 섬망발생에 직접적인 영향을 미치는 변수의 상당수가 배제된 상태여서 타당성이 낮았을 수 있다. 둘째, 연구대상병원의 기록상태가 영향을 주었을 수 있다. E-PRE-DELIRIC 모델 내 위험요인인 인지장애 병력과 알코올 남용 병력과 같은 변수는 연구대상병원 내 심장수술 환자에 대해서는 조사의 필요성이 낮다고 판단되어 자주 기록이 부재하거나 유추하기 어려운 기록으로 일관한 경우가 많았다. 국외와 국내 환자의 인구학적 환경에 따른 영향을 배제할 수 없다고 생각된다. 이에 보다 정확한 위험예측을 위한 변수의 선택 혹은 정확한 측정을 위한 도구의 선택이 필요하겠다.
본 연구는 국내 심장 수술 환자의 수술 후 섬망예측모델에 대한 타당도 비교를 통해 어떤 모델의 타당도가 높아 적용성이 좋은지를 살펴보았다는 데 의의가 있다. 그러나 몇 가지 제한점이 있으므로 해석에 주의를 요한다. 첫째, 본 연구는 전자의무기록을 통해 후향적으로 자료를 수집하고 분석하였기에 결측값이 존재하는 경우 환자의 최근 다른 기록으로 대체하였으므로 대상자의 상태가 정확히 반영되지 못했을 수 있다. 둘째, 일개 대학병원의 심장 수술을 받은 입원 환자만을 대상으로 하여 외적타당도를 입증하지 못하였으므로 이 연구결과를 일반화하는데 제한점이 따른다. 따라서, 내 ․ 외적타당성의 확보를 위해 심장 수술 환자를 대상으로 한 다기관 전향적 조사연구를 수행할 것을 제언한다.

결 론

본 연구는 심장 수술을 받은 입원 환자의 수술 후 섬망 발생빈도를 확인하고 수술 후 섬망 예측을 위한 섬망 예측 도구(PRE-DELIRIC 모델과 E-PRE-DELIRIC 모델)의 타당도를 분석하여 심장 수술 환자에게 적용 가능성을 확인하고자 수행되었다. E-PRE-DELIRIC 모델은 간단하고 빠르게 섬망 위험군을 발견할 수 있으나 섬망 고위험군을 판별하진 못했다는 제한점이 있으므로 PRE-DELIRIC 모델과의 혼용이 도움이 될 수 있다. 따라서 두 예측 도구는 섬망 발생위험이 높은 환자에 대해서 집중적인 관찰과 중재를 유도할 수 있도록 섬망 위험군의 조기 발견과 예방을 위한 중환자실 간호의 질 향상에 도움이 되기를 기대한다. 본 연구를 토대로 다음과 같이 제언하고자 한다. 첫째, 본 연구는 일개의 상급종합병원 중환자실 심장 수술 환자를 대상으로 연구를 실시하였으므로 일반화하기 위하여 다기관에서 연구대상을 확대한 반복연구를 제언한다. 둘째, 섬망 예측 모델을 활용한 교육을 통해 간호사들의 섬망 예측에 대한 적극적인 섬망 예방 간호행위의 변화를 살펴보는 연구를 제언한다. 셋째, 다른 수술 환자나 질환을 가진 환자를 대상으로 섬망 예측 모델을 평가하여 대상자별 섬망 예측 도구의 예측력을 비교하는 연구를 제언한다.

Notes

CONFLICTS OF INTEREST
The authors declared no conflict of interest.
AUTHORSHIP
Study conception and design acquisition - Cho EJ and Kim MS; Data collection - Cho EJ; Analysis and interpretation of the data - Cho EJ; Drafting and critical revision of the manuscript - Cho EJ and Kim MS.
DATA AVAILABILITY
The data that support the findings of this study are available from the corresponding author upon reasonable request.

REFERENCES

1. First MB, Yousif LH, Clarke DE, Wang PS, Gogtay N, Appelbaum PS. DSM-5-TR: overview of what's new and what's changed. World Psychiatry. 2022; 21(2):218-219. https://doi.org/10.1002/wps.20989
crossref pmid pmc
2. Wassenaar A, Van den Boogaard M, Van Achterberg T, Slooter AJ, Kuiper MA, Hoogendoorn ME, et al. Multinational development and validation of an early prediction model for delirium in ICU patients. Intensive Care Medicine. 2015; 41(6):1048-1056. https://doi.org/10.1007/s00134-015-3777-2
crossref pmid pmc
3. Kim NY, Ryu SA, Kim YH. Factors related to delirium of intensive care unit patients in Korea: a systematic review. Iranian Journal of Public Health. 2021; 50(8):1526-1535. https://doi.org/10.18502/ijph.v50i8.6798
crossref pmid pmc
4. Jin Z, Hu J, Ma D. Postoperative delirium: perioperative assessment, risk reduction, and management. British Journal of Anaesthesia. 2020; 125(4):492-504. https://doi.org/10.1016/j.bja.2020.06.063
crossref pmid
5. Steenblock J, Braisch U, Brefka S, Thomas C, Eschweiler GW, Rapp M, et al. Frailty index and its association with the onset of postoperative delirium in older adults undergoing elective surgery. BMC Geriatrics. 2023; 23(1):90. https://doi.org/10.1186/s12877-022-03663-7
crossref pmid pmc
6. Kappen PR, Kakar E, Dirven CMF, Van Der Jagt M, Klimek M, Osse RJ, et al. Delirium in neurosurgery: a systematic review and meta-analysis. Neurosurgical Review. 2022; 45(1):329-341. https://doi.org/10.1007/s10143-021-01619-w
crossref pmid pmc
7. Leotsakos I, Katafigiotis I, Gofrit ON, Duvdevani M, Mitropoulos D. Postoperative delirium after urological surgery: a literature review. Current Urology. 2019; 13(3):133-140. https://doi.org/10.1159/000499280
crossref pmid pmc
8. Czok M, Pluta MP, Putowski Z, Krzych ŁJ. Postoperative neu-rocognitive disorders in cardiac surgery: investigating the role of intraoperative hypotension. A systematic review. International Journal of Environmental Research and Public Health. 2021; 18(2):786. https://doi.org/10.3390/ijerph18020786
crossref pmid pmc
9. Devlin JW, Skrobik Y, Gelinas C, Needham DM, Slooter AJC, Pandharipande PP, et al. Clinical practice guidelines for the prevention and management of pain, agitation/sedation, delirium, immobility, and sleep disruption in adult patients in the ICU. Critical Care Medicine. 2018; 46(9):e825-e873. https://doi.org/10.1097/CCM.0000000000003299
crossref pmid
10. Lin L, Zhang X, Xu S, Peng Y, Li S, Huang X, et al. Outcomes of postoperative delirium in patients undergoing cardiac surgery: a systematic review and meta-analysis. Frontiers in Cardiovascular Medicine. 2022; 9: 884144. https://doi.org/10.3389/fcvm.2022.884144
crossref pmid pmc
11. Nam ARN, Park JW. Development of korean intensive care delirium screening tool (KICDST). Journal of Korean Academy of Nursing. 2016; 46(1):149-158. https://doi.org/10.4040/jkan.2016.46.1.149
crossref pmid
12. Ewers R, Bloomer MJ, Hutchinson A. An exploration of the reliability and usability of two delirium screening tools in an Australian intensive care unit: a pilot study. Intensive and Critical Care Nursing. 2021; 62: 102919. https://doi.org/10.1016/j.iccn.2020.102919
crossref pmid
13. Ho MH, Chen KH, Montayre J, Liu MF, Chang CC, Traynor V, et al. Diagnostic test accuracy meta-analysis of PRE-DELIRIC (PREdiction of DELIRium in ICu patients): a delirium prediction model in intensive care practice. Intensive and Critical Care Nursing. 2020; 57: 102784. https://doi.org/10.1016/j.iccn.2019.102784
crossref pmid
14. Kim J, Ahn JA. Risk factors for delirium in trauma intensive care unit patients. Korean Journal of Adult Nursing. 2020; 32(6):623-631. https://doi.org/10.7475/kjan.2020.32.6.623
crossref
15. Hamadnalla H, Sessler DI, Troianos CA, Fang J, Rivas E, Ma C, et al. Optimal interval and duration of CAM-ICU assessments for delirium detection after cardiac surgery. Journal of Clinical Anesthesia. 2021; 71: 110233. https://doi.org/10.1016/j.jclinane.2021.110233
crossref pmid
16. Wassenaar A, Schoonhoven L, Devlin JW, van Haren FMP, Slooter AJC, Jorens PG, et al. Delirium prediction in the intensive care unit: comparison of two delirium prediction models. Critical Care. 2018; 22(1):114. https://doi.org/10.1186/s13054-018-2037-6
crossref pmid pmc
17. Rohatgi N, Weng Y, Bentley J, Lansberg MG, Shepard J, Mazur D, et al. Initiative for prevention and early identification of delirium in medical-surgical units: lessons learned in the past five year. The American Journal of Medicine. 2019; 132(12):1421-1430. https://doi.org/10.1016/j.amjmed.2019.05.035
crossref pmid
18. Chen H, Mo L, Hu H, Ou Y, Luo J. Risk factors of postoperative delirium after cardiac surgery: a meta-analysis. Journal of Cardiothoracic Surgery. 2021; 16(1):113. https://doi.org/10.1186/s13019-021-01496-w
crossref pmid pmc
19. Chen X, Lao Y, Zhang Y, Qiao L, Zhuang Y. Risk predictive models for delirium in the intensive care unit: a systematic review and meta-analysis. Annals of Palliative Medicine. 2021; 10(2):1467-1480. https://doi.org/10.21037/apm-20-1183
crossref pmid
20. Van den Boogaard M, Pickkers P, Slooter AJC, Kuiper MA, Spronk PE, Van der Voort PH, et al. Development and validation of PRE-DELIRIC (PREdiction of DELIRium in ICu Patients) delirium prediction model for intensive care patients: observational multicentre Study. BMJ (Clinical researched.). 2012; 344: e420. https://doi.org/10.1136/bmj.e420
crossref pmid pmc
21. Gao W, Zhang Y, Jin J. Validation of E-PRE-DELIRIC in cardiac surgical ICU Delirium: a retrospective cohort study. Nursing in Critical Care. 2022; 27(2):233-239. https://doi.org/10.1111/nicc.12674
crossref pmid
22. Paton L, Elliott S, Chohan S. Utility of the PRE-DELIRIC delirium prediction model in a Scottish ICU cohort. Journal of the Intensive Care Society. 2016; 17(3):202-206. https://doi.org/10.1177/1751143716638373
crossref pmid pmc
23. Kim SE, Ko RE, Na SJ, Chung CR, Choi KH, Kim D, et al. Exter-nal validation and comparison of two delirium prediction models in patients admitted to the cardiac intensive care unit. Frontiers in Cardiovascular Medicine. 2022; 9: 947149. https://doi.org/10.3389/fcvm.2022.947149
crossref pmid pmc
24. Van den Boogaard M, Schoonhoven L, Maseda E, Plowright C, Jones C, Luetz A, et al. Recalibration of the delirium prediction model for ICU patients(PRE-DELIRIC): a multinational observational study. Intensive Care Medicine. 2014; 40(3):361-369. https://doi.org/10.1007/s00134-013-3202-7
crossref pmid
25. Dean AG, Sullivan KM, Soe MM. OpenEpi: Open source epi-demiologic statistics for public health, version 3.01 [Internet]. 2013. [cited 2023 March 19]. Available from: http://www.openepi.com

26. Ely EW, Inouye SK, Bernard GR, Gordon S, Francis J, May L, et al. Delirium in mechanically ventilated patients validity and reliability of the confusion assessment method for the intensive care unit (CAM-ICU). JAMA. 2001; 286(21):2703-2710. https://doi.org/10.1001/jama.286.21.2703
crossref pmid
27. Chen KC, Yeh CJ, Kuo JF, Hsieh CL, Yang SF, Wang CH. Foot-print analysis of flatfoot in preschool-aged children. European Journal of Paediatrics. 2011; 170: 611-617.
crossref pmid
28. Nahm FS. Receiver operating characteristic curve: overview and practical use for clinicians. Korean Journal of Anesthesiology. 2022; 75(1):25-36. https://doi.org/10.4097/kja.21209
crossref pmid pmc
29. Mart MF, Pun BT, Pandharipande P, Jackson JC, Ely EW. ICU Survivorship-The relationship of delirium, sedation, dementia, and acquired weakness. Critical Care Medicine. 2021; 49(8):1227-1240. https://doi.org/10.1097/CCM.0000000000005125
crossref pmid pmc
30. Greaves D, Psaltis PJ, Davis DHJ, Ross TJ, Ghezzi ES, Lampit A, et al. Risk factors for delirium and cognitive decline following coronary artery bypass grafting surgery: a systematic review and meta-analysis. Journal of the American Heart Association. 2020; 9(22):e017275. https://doi.org/10.1161/JAHA.120.017275
crossref pmid pmc
31. Zhang W, Hu W, Shen M, Ye X, Huang Y, Sun Y. Profiles of delirium and the clinical outcomes of patients who underwent coronary artery bypass grafting: a prospective study from China. Journal of Clinical Nursing. 2016; 25(5-6):631-641. https://doi.org/10.1111/jocn.13089
crossref pmid
32. Heesakkers H, Devlin JW, Slooter AJC, van den Boogaard M. Association between delirium prediction scores and days spent with delirium. Journal of Critical Care. 2020; 58: 6-9. https://doi.org/10.1016/j.jcrc.2020.03.008
crossref pmid
33. Kucuk O, Memis D, Inal MT, Turan FN, Memis I. Comparison of the effectiveness of delirium evaluation tools in intensive care patients: predeliric versions 1 and 2, E-predeliric and ICDSC. European Review for Medical and Pharmacological Sciences. 2023; 27(21):10365-10374. https://doi.org/10.26355/eurrev_202311_34310
crossref pmid
34. MacLullich AMJ, Shenkin SD. Delirium research, education and practice. Age and Ageing. 2019; 48(5):619-623. https://doi.org/10.1093/ageing/afz090
crossref pmid
35. Lee A, Mu JL, Joynt GM, Chiu CH, Lai VKW, Gin T, et al. Risk prediction models for delirium in the intensive care unit after cardiac surgery: a systematic review and independent external validation. British Journal of Anaesthesia. 2017; 118(3):391-399. https://doi.org/10.1093/bja/aew476
crossref pmid
TOOLS
PDF Links  PDF Links
PubReader  PubReader
ePub Link  ePub Link
XML Download  XML Download
Full text via DOI  Full text via DOI
Download Citation  Download Citation
  Print
Share:      
METRICS
0
Crossref
0
Scopus 
241
View
18
Download