1. 연구의 필요성

카바페넴내성 장내세균속균종(carbapenem-resistant Enterobactericeae[CRE])은 카바페넴계 항생제에 내성을 보이거나 카바페넴 분해효소(carbapenemase)를 생성하는 세균으로, 의료 환경은 물론 지역사회에서도 비교적 쉽게 전파되는 다제내성균이다[1, 2]. 카바페넴은 그람음성균과 일부 그람양성균에 대해 광범위 활성을 보이는 베타락탐계 항생제로, 특히 광범위 베타락탐계 항생제 분해효소(extended-spectrum beta-lactamase [ESBL])를 생성하는 균종의 치료에 널리 이용되고 있다[3]. 그러나, 카바페넴의 오남용으로 1990년대부터 CRE가 출현한 후 급격한 증가를 보임에 따라 전세계적으로 심각한 공중 보건학적 위협이 되고 있으며, 환자의 입원기간이나 비용, 사망률을 증가시키는 등 부정적인 결과를 초래하고 있다[3, 4, 5]. 미국 질병관리본부(Centers for Disease Control and Prevention [CDC])의 항생제 내성위협 보고서에 따르면 CRE로 인해 연간 1.3만명이 감염되고, 1100명이 사망하며, 1억 3천만 달러의 의료비가 지출되고 있다[5]. 국내에서는 2010년 해외에서 유입된 것으로 추정되고 있으며, 2015~16년 집단유행 후 2017년 6월 3군 감염병으로 지정되었고, 지속적인 증가와 관리의 중요성에 따라, 2020년 1월부터 비교적 전파가능성이 높으며 격리가 필요한 2급 감염병으로 분류되었다[6, 7].

CRE 전파를 효과적으로 관리하기 위해 국내외에서는 의료종사자교육, 손위생, 항생제 모니터링, 환경청소, 접촉주의, 접촉자 스크리닝 등의 감염관리실무와 함께 적극적으로 보균자를 확인하기 위한 능동감시배양검사(active surveillance testing)를 권장하고 있다[1, 2]. 이 검사는 CRE 감염자 접촉여부와 상관없이 모든 환자를 대상으로 CRE 보균자를 조기에 파악함으로써 CRE 전파를 최소화할 목적으로 실시하는 선별검사이다[1, 2]. 선행연구에 따르면 CRE 보균자 중 16.5%만이 감염으로 확인되고 있어 나머지 83.5%는 무증상 보균자로 잠재적인 전파원이 될 수 있음을 알 수 있다[8]. CRE 능동감시배양검사가 중환자실 입원환자의 CRE 감염을 감소하고, 초기단계에서 항생제 치료가 시작되어 사망률이 감소하는 효과가 있음을 보고하였다[9].

그러나, 모든 환자에게 능동감시배양검사를 시행하기에는 비용부담이 있으며, 검사 결과도출까지 오랜 시간이 걸린다는 제한점이 있다[10, 11]. 따라서, CRE 관리지침에서는 능동감시배양검사를 의료기관의 상황에 따라 운영하도록 하며, 주로 최근 장기입원치료 경험이 있는 환자나 중환자실과 같은 고위험부서 입원환자 등이 대상이 되고 있다[2]. 최근에는 환자들의 CRE 획득위험을 모형을 통해 예측한 후 고위험군에게 선별검사를 실시하는 방안이 제안되고 있으며[12, 13], 미국에서는 내과계중환자실과 이식병동에 입원환자를 대상으로 한 카바페넴내성균(carbapenem-resistant organisms [CROs]) 획득위험 예측모형이 개발된 바 있고[14], 국내에서는 일 상급종합병원 중환자실에 입실한 환자를 대상으로 한 CRE 획득위험 예측모형[15]이 개발되었다.

한편, 예측모형은 특정 시점, 지역, 세팅에 존재하는 대상자로부터 개발되므로 개발대상자와 다른 시점, 지역(다른 의료기관, 도시, 국가 등)이나 세팅(다른 의료수준)에 있는 대상자에게 동일한 예측정확성을 기대하기 어려우며, 새로운 대상자에게 적용하기에 앞서 예측모형이 적합한지에 대한 모형실행도(performance) 평가가 요구된다[16]. 이를 외적타당도 평가라고 하며, 모형수송성(transportability) 평가, 즉 타당도 평가대상자가 예측모형 개발대상자와는 다른 특성을 보이는 지를 확인하는 과정이 먼저 이루어진 후 모형실행도에 대한 평가가 진행된다[17]. 모형실행도 평가는 모형으로 예측된 사건발생 확률과 관찰된 확률간의 일치도(calibration), 모형으로 사건발생과 비발생을 구분할 수 있는 판별도(discrimination), 그리고, 모형을 이용한 의사결정의 유용성(clinical usefulness) 등을 확인하며, 아울러 이러한 결과가 대상자의 특성에 따라 일관된 양상으로 나타나는 지 일정성을 평가한다[17, 18].

국내에서 개발된 CRE 획득위험 예측모형의 경우 모형개발 당시 대상자의 1/3을 무작위로 3회 표본추출하여 내적타당도 평가가 이루어졌으나[15], 아직 개발대상자와 다른 지역이나 세팅에 있는 대상자로부터 외적타당도를 평가한 연구는 없는 실정이다. 특히, 이 예측모형에 포함된 구성요소인 다제내성균 보유, 세팔로스포린계이나 카바페넴계 항생제 사용기간, 급성생리학적지표 및 만성건강평가(Acute physiology and chronic health evaluation II [APACHE II]) 점수 분포[15]는 의료기관의 규모나 수준, 이에 따른 환자의 특성 차이에 영향을 받을 수 있어 예측모형 개발대상자와 다른 특성을 보이는 대상자에게도 이 예측모형을 적용할 수 있을 지에 대한 평가가 요구된다. 이에 본 연구에서는 예측모형개발이 이루어진 상급종합병원과는 대상자 특성에 차이를 보일 것으로 기대되는 중규모 종합병원 입원환자를 대상으로 한 외적타당도 평가연구를 시도하였다.

2. 연구목적

본 연구는 상급종합병원 중환자실 입실 환자를 대상으로 개발된 CRE 획득위험 예측모형(이하 CRE 예측모형) [15]과는 시점, 지역, 세팅을 달리하는 B시 중규모 일 종합병원(450병상) 중환자실 환자를 대상으로 예측모형의 외적타당도를 평가하는데 목적이 있다. 구체적인 연구목적은 다음과 같다.

1) 본 연구대상자와 모형개발 대상자의 특성, CRE 발생, 그리고 CRE 예측모형 내 예측요인효과(회귀계수) 비교를 통해 모형수송성을 확인한다.

2) CRE 예측모형의 일치도, 판별도와 임상적 유용성 지표를 산출하고, 이러한 지표가 대상자의 하부집단별로도 일정한 지를 확인한다.

1. 연구설계

본 연구는 국내에서 개발된 CRE 예측모형[15]의 외적타당도를 평가하기 위한 후향적 코호트 연구로 방법론적 연구이다.

2. 연구대상

3. CRE 획득위험 예측모형

본 연구에서 사용한 CRE 예측모형은 Song과 Jeong [15]이 2016년 10월 1일부터 2017년 10월 31일까지 13개월 동안 Y시 한 상급종합병원 중환자실에 입원한 환자 중 CRE 획득군 89명과 비획득군 355명을 대상으로 CRE 획득위험 예측요인에 기반하여 구축한 로짓 모형을 사용하였다.

E (CRE 획득 로짓) = − 2.821 + 1.606 (다제내성균 분리) + 1.347 (15일 이상 세팔로스포린계열 항생제 사용) + 0.980 (15일 이상 카바페넴계열 항생제 사용) + 0.544 (21점 이상의 APACHE II 점수)

4. 연구도구

본 연구도구는 연구자가 구성한 자료조사지이다. 조사지에는 예측 모형에 포함된 4가지 예측요인에 해당하는 다제내성균 분리여부, 세팔로스포린계열 항생제 사용일, 카바페넴계열 항생제 사용일, 입원 당시 APACHE II 점수, 그리고, 적합의 일정성 분석에 사용할 대상자의 일반적 특성인 성별, 연령, 입원경로 등이 포함되었다. 이후 분석과정에서 세팔로스포린계열과 카바페넴계열 항생제 사용일은 15일을 기준으로 범주화하였다.

5. 자료수집

자료수집은 연구자 1인이 연구기간 감염관리시스템에 접속하여 병동 24시간 보고서로부터 2017년 3월 1일부터 2019년 9월 30일까지 중환자실 입실환자 명단을 확보한 후, CRE 선별검사 자료를 이용하여 선정기준 부합여부를 확인하여 대상자를 선정하였다. 이 후 대상자의 전자의무기록을 열람하면서 조사지를 작성하였는데, 성별, 연령, 입원경로 등은 의무기록 뷰어에서, APACHE II 점수는 중환자실 간호기록지에서, 항생제 사 용정보는 항생제 검사조회 화면에서, CRE와 CPE 종류, 다제내성균주 정보는 감염관리 시스템의 진단검사 결과조회에서 확인하였다. 본 연구기관의 진단검사의학과에서는 bioMérieux 사의 VITEC® 2 compact 을 이용하여 항균제 내성 검사를 실시한 후 미국 임상검사표준연구소(Clinical and Laboratory Standard Institute) [19]에서 제시한 최소억제농도방법에 따라 CRE 획득 여부를 확인하였다.

6. 연구의 윤리적 고려

본 연구는 동의병원 임상시험심사위원회로부터 승인(DEMC-2019-10, DEMC-2019-10-1)을 받았으며, 대상자 서면동의는 면제되었다.

7. 자료분석방법

자료분석은 SPSS version 25.0 (IBM Corp., Armonk, NY, USA)과 R version 3.6.3을 이용하였으며, 모든 통계적 검정은 유의수준 .05에서 양측 검정하였다. 구체적인 분석방법은 다음과 같다.

1) 모형수송성을 확인하기 위해 선행연구[17]를 참고하여 다음의 3가지 방법으로 분석하였다.

첫째, 두 대상자의 일반적 특성, 예측요인, CRE 획득여부에 대한 빈도와 백분율 또는 평균과 표준편차를 구하고, 대상자간 차이검정을 위해 t검정과 χ²검정을 실시하였다.

둘째, 로지스틱 회귀분석을 통해 예측모형에 포함된 4가지 요인에 대한 회귀계수와 표준오차를 각각 구하고, 대상자간 일치 여부를 확인하였다.

셋째, 두 대상자로부터 예측모형으로 예측된 CRE 획득위험의 평균과 표준편차를 구하고, 평균의 대상자간 차이검정을 위해 맨휘트니 U 검정을 실시하였다.

2) 모형의 일치도 평가를 위해 Lemeshow-Hosmer (L-H)의 적합도 검정, 예측모형을 설명변수로 하는 recalibration model에 대한 절편(calibration-in-the-large)과 기울기(calibration slop)를 구하였다[17, 18, 20]. 절편은 기울기를 1로 고정하였을 때 평균 관찰위험(observed risk)과 평균 예측위험(predicted risk)의 차이로 완전일치에서는 0이며, 0보다 크면(작으면) 예측모형이 위험을 과소평가(과대평가)함을 의미한다. 기울기는 예측위험의 변화에 따른 관찰위험의 변화로 완전일치에서 1이며, 1보다 작으면 예측위험이 낮은 구간에서는 더 낮게, 높은 구간에서는 더 높게 예측되는 경향을 보인다[17].

3) 모형의 판별도 평가를 위해 관찰된 CRE 획득위험과 실제 CRE 획득 결과를 이용하여 C통계량(concordance statistic)과 이의 95% 신뢰구간을 구하였다. C통계량은 ROC 곡선하면적과 같은 것으로 .5(판별안됨)에서 1.0 (완전 판별)의 값을 가지며 클수록 판별도가 좋음을 의미한다[18, 21].

4) 모형의 임상적 유용성 평가를 위해 예측된 CRE 획득위험 .10, .15, .20 등을 절단점으로 하여 절단점 이상은 “CRE 획득”, 절단점 미만은 “CRE 비획득”으로 분류하고 실제 CRE 획득결과를 이용하여 2 × 2 의사결정 매트릭스를 작성한 후 민감도, 특이도, 그리고 옳은 분류율을 계산하였다. 그리고, ‘모든 대상자 검사’, ‘모든 대상자 비검사’, ‘CRE 예측모형에 기반한 검사’ 등 3가지 상황에서 특정 역치확률(threshold probability)에서 순편익을 계산하고 의사결정곡선(decision curve)을 작성하였다. 순편익은 위양성자에게 불필요하게 검사하지 않고 진양성자만을 대상으로 검사할 수 있는 비율을 의미하며, 계산식은 다음과 같다;

순편익 = (진양성 / N) − {(위양성 / N) × (p / 1 − p)} (N: 전체 대상자수, p: 역치확률) [22, 23].

이 때 역치확률(p)은 검사실시로 인한 위험을 의미하며, 검사실시로 인한 위험이 미실시로 인한 위험보다 크면 역치확률을 크게, 반대라면 작게 설정한다. 즉, 역치확률을 작게 설정하는 것은 위양성으로 인한 위험을 상대적으로 작게 보는 것을 의미하며, 본 연구에서는 검사의 위험성이 작은 반면 미검사시 CRE 전파의 우려가 커지므로 위양성으로 인한 위험이 크지 않다고 판단하여 역치확률을 작은 수준인 .01 (1%)에서 .70 (70%)까지 .05 단위로 설정하였다. P / 1 − p는 검사실시와 미실시로 인한 위험의 비로, 이 값을 커질수록 위양성으로 인한 위험이 증가하고 진양성과의 차이가 감소하므로 순편익은 감소한다[18, 23, 24].

5) CRE 예측모형의 적합의 일정성 평가를 위해 성별, 연령군별(70세 미만, 70세 이상), 입원경로별(응급실 경유, 병동 경유) 하위집단에서의 일치도(L-H 적합도 검정, 일치도 곡선의 절편과 기울기), 판별도(C통계량과 95% 신뢰구간), 임상적 유용성(민감도, 특이도, 옳은 분류율, 순편익)에 대한 지표를 산출하였다.

1. 본 연구대상자와 예측모형 개발대상자와의 특성 비교

Table 1은 본 연구대상자와 예측모형 개발대상자의 특성을 비교하기 위한 분석결과이다. 두 대상자는 의료기관의 유형과 조사시점에 차이가 있으며, CRE 획득율, 연령, 예측요인 중 다제내성균 분리, 15일 이상 세팔로스포린계 항생제 사용, 21점 이상의 APACHE II 점수에서 유의한 차이를 보였다. 구체적으로, 본 연구대상자는 예측모형 개발대상자에 비해 CRE 획득률이 낮고(11.3% 대 20.0%, p < .001), 연령이 높고(70.7세 대 46.5세, p < .001), 다제내성균 분리비율이 낮고(13.4% 대 41.2%, p < .001), 15일 이상 세팔로스포린계 항생제 사용비율이 낮고(5.2% 대 14.6%, p < .001), 21점 이상의 APACHE II 점수 비율도 낮았다(7.8% 대 29.7%, p < .001).

Table 1
Comparison of Characteristics between Validation Subjects and Development Subjects for CRE Colonization Prediction Model^†

• Download Table

예측요인에 대한 회귀계수는 본 연구대상자가 예측모형 개발대상자에 비해 다제내성균 분리(0.59 대 1.61), 15일 이상 카바페넴계 항생제 사용(0.69 대 0.98)에서 낮고, 15일 이상 세팔로스포린계 항생제 사용(1.92 대 1.35)과 21점 이상의 APACHE II 점수(2.15 대 0.54)에서 차이를 보였으나, 21점 이상의 APACHE II 점수에서만 통계적으로 유의한 차이를 보였다. 예측모형에 따른 평균 CRE 획득위험(0.10 대 0.20)과 표준편차(0.12 대 0.18)도 차이를 보였으며, 평균의 차이는 매우 유의하였다(p < .001).

2. CRE 획득위험 예측모형 실행도 평가

1) 일치도

L-H 적합성 검정결과 χ²값은 31.44, p값은 < .001로 예측모형이 적합하지 않은 것으로 나타났으며, 성별, 연령별, 입원경로별 하부집단에서 모두 예측모형이 적합하지 않은 것으로 나타났다(Table 2). 일치도 곡선의 절편은 0.12 (95% CI: − 0.16~0.39)이며, 성별로는 0.16과 0.07, 연령별로는 0.20과 0.27, 입원경로별로는 0.00과 0.41로 다소 차이가 있었으나 70세 미만을 제외하고 95% 신뢰구간에 모두 0을 포함하였다. 기울기는 0.87 (95% CI: 0.63~1.12)이며, 성별로는 0.86과 0.90, 연령별로는 0.96과 0.80, 입원경로별로는 0.99와 0.63로 다소 차이가 있었으나 병동을 제외하고 모두 95% 신뢰구간에 모두 1을 포함하였다(Table 2, Figure 1).

Figure 1
Calibration curve for CRE colonization prediction model.
a = Calibration-in-the-large; b = Calibration slope; c = Concordance statistic; CRE = Carbapenem-resistant Enterobacteriaceae.

• Download Figure

Table 2
Indices of Calibration and Discrimination of CRE Colonization Prediction Model

• Download Table

3) 임상적 유용성

예측된 CRE 획득위험 .10, .15, .20에서 2 × 2 매트릭스를 구성하고 민감도 특이도, 그리고 옳은 분류율울 구한 결과는 Table 3과 같았다. 절단점 .10에서 민감도는 43.5%, 특이도는 84.2%, 옳은 분류율은 79.6%이고, 절단점 .20에서는 각각 33.3%, 88.1%, 81.9%이었다. 절단점 .10에서 성별 민감도는 37.8%와 50.0%, 특이도는 87.5%와 80.3%, 옳은 분류율은 81.9%와 76.9%이며, 입원경로별 민감도는 39.5%와 50.0%, 특이도는 8 6.6%와 74.1%, 옳 은 분 류율은 82.4%와 69.4% 등으로 하부집단별로 다소 차이를 보였다.

Table 3
Predictive Accuracy of CRE Colonization Prediction Model

• Download Table

Figure 2는 ‘모든 대상자 검사’, ‘모든 대상자 비검사’, ‘CRE 예측모형에 기반한 검사’ 등 3가지 상황에서 진양성값과 위양성값을 이용한 순편익 계산 결과를 의사결정 곡선으로 나타낸 것이다. ‘모든 대상자 검사’는 역치확률을 초과하는 대상자는 모두 검사하는 것으로 역치확률 .10에서 순편익은 0.014이고, 역치확률이 증가함에 따라 감소한다. 본 연구대상자 613명 중 진양성은 69명, 위양성은 544명이며, 만약 검사실시로 인한 위험(역치확률, 위양성 위험)을 10%로 간주할 때 검사실시와 미실시 위험비는 0.11이며, 544명의 0.11에 해당하는 약 60명에서 위양성으로 인한 위험이 있다. 따라서, 역치확률이 0.1에서 진양성자 69명 외에 위양성자 60명도 같이 검사를 받게되므로 위양성자 없이 진양성자만이 검사를 받을 수 있는 것은 613명 중 9명(100명당 약 1.4명)이다.

Figure 2
Decision curve for CRE colonization prediction model.
CRE = Carbapenem-resistant Enterobacteriaceae.

• Download Figure

‘CRE 예측모형에 기반한 검사’는 역치확률 .01에서 순편익은 .033이며, 역치확률이 증가함에 따라 감소한다. 본 연구대상자 613명에게 예측모형을 적용하는 경우 역치확률 10%에서 진양성은 30명, 위양성은 86명이며, 검사실시와 미실시 위험비 0.11을 적용하면, 86명의 0.11에 해당하는 약 10명에서 위양성으로 인한 위험이 있다. 따라서, 역치확률이 0.1에서 진양성자 30명 외에 위양성자 10명도 같이 검사를 받게 되므로 위양성자 없이 진양성자만이 검사를 받을 수 있는 것은 613명 중 20명(100명당 약 3.3명)이다.