스터디 후기

[shstat1729]

스터디 후기

[shstat1729]

24.9.25 OT 모임
참석자 : 이승미, 박상호, 이현빈, 차현실, 최재윤, 김청수, 전인영, 곽수영, 정현우
청강 : 김승찬, 윤우
후기 : OT를 하였고, 앞으로의 모임이 기대됨

[shstat1729]

24.10.2 모임
참석자 : 이승미, 박상호, 이현빈, 차현실, 최재윤, 김청수, 전인영, 곽수영, 정현우, 김태헌
청강 : 김승찬, 윤우
후기 :
지난주 수요일에 가짜연구소 RWE(real world evidence) 가이드라인 스터디 첫 모임을 가졌습니다. Real world data로부터 real world evidence를 창출하기 위해서는 인과추론 개념을 알아야 합니다.

가장 중요한 개념 중 하나인 comparability와 randomization에 대해 공부하였습니다. 두 군 사이의 comparability는 거칠게 설명하면, 두 군이 비슷해야 성립하는 것입니다. 처치군에서의 처치를 받기 전의 상태가 통제군에서 처치(ex 위약)를 받기 전의 상태와 비슷해야 합니다. 또한 두 군이 처치에 비슷하게 반응해야 합니다.

이렇게 된다면 두 군은 원래 비슷했는데, 하나의 군에 처치를 하게 되고, 다른 군은 처치를 받지 않으니 비교가 가능하겠죠. 하지만 이것이 어떻게 가능할까요? 정답은 무작위배정에 있습니다. 무작위로 두 군에 대상자를 배정하게 되면 기본적인 특성이 서로 비슷해지게 됩니다.

하지만 현실적으로 표본수가 적은 경우에는 특성이 불균형할 수 있습니다. 그밖에 중요한 변수(모집한 병원 등)가 있을 수 있습니다. 그래서 해당 정보를 층화하여 무작위 배정을 하기도 합니다.

[shstat1729]

24.10.16 모임
참석자 : 이승미, 박상호, 이현빈, 차현실, 최재윤, 전인영, 곽수영, 정현우, 김태헌
청강 : 김승찬, 윤우
후기 :
지난 10월 16일에 가짜연구소 RWE 가이드라인 스터디를 하였습니다. 인과추론 개념을 다루는 마지막 주였습니다. 다음주에는 FDA framework 가이드라인을 다룹니다. 이번에 다룬 주제는 statistics review와 graphical causal model에 관한 것입니다. Jaeyun Choi님께서 자료 제작하시고 발표하셨습니다. Statistics review에서는 점추정과 구간 추정, 그리고 가설검정을 살펴보았습니다. 우리가 스터디한 자료는 Causal inference for brave and true 라는 자료인데, 설명이 대체로 잘 되어있으나 아쉬운 것은 중심극한정리에 대한 설명이었습니다.

다음과 같이 설명이 되어 있습니다.

“중심극한정리는 표본의 크기가 충분히 클 때, 모집단의 분포와 상관없이 모평균을 추정하기 위해 사용되는 표본평균들의 분포는 정규분포를 따른다는 이론입니다. 따라서 모평균에 대한 신뢰구간을 구하기 위해 정규분포의 특성을 이용하여 계산할 수 있습니다.”

사실은 모집단의 분포의 평균과 분산이 존재해야 성립하는 정리입니다. 예를 들어 파레토 법칙에서 나타나는 분포를 예로 들 수 있습니다. 사람들이 가지고 있는 돈의 액수 분포 또한 파레토 법칙을 따르지요. 이 때 평균은 무한대입니다. 다른 예시로는 코시 분포를 들 수 있습니다. 우리가 의학 논문 table 1에서 군에 따른 변수들의 평균값, 표준편차, 평균 차이에 대한 검정 등을 하는데요, 비모수 분포를 따르는 것으로 보이는 경우에는 비모수 검정을 하는 이유도 중심극한정리가 적용되지 않는 경우가 종종 있기 때문입니다.

Graphical model에서는 세 가지 인과 그래프 구조 모형을 다루었습니다. 첫 번째 구조는 사슬구조인데요, 중간에 매개효과가 있는 구조입니다. Mediation analysis에서 다루는 구조(여기서는 direct effect만 존재하는 경우)이기도 하지요. T는 M의 원인이 되고, M은 Y의 원인이 됩니다. 다음과 같이 표현할 수 있습니다.

T -> M -> Y

만약 여기서 M을 조건부(또는 보정한다고 표현함)로 하게 되면, T와 Y는 독립이 됩니다. 보통은 M을 보정하지 않지만 연구 목적에 따라 T와 Y를 독립으로 만들기도 합니다.

두 번째 구조는 분기 구조인데, 흔히 말하는 confounder의 개념이 여기서 등장합니다. 분기 구조는 공통 원인을 말합니다. T와 Y의 공통 원인으로 X가 있는 것이지요. X가 confounder에 해당합니다. Confounder를 제대로 보정해야 T가 Y에 미치는 영향을 파악할 수 있습니다. 예를 들면, X는 국가의 GDP에 해당하고 T는 1인당 초콜릿 소비량, Y는 노벨상 수상자수라고 말할 수 있을 것입니다. 1인당 초콜릿 소비량이 클수록 노벨상 수상자 수가 많다고 할 때, 그게 초콜릿 소비량의 영향인지 초콜릿 소비량이 큰 국가가 GDP도 커서 그런건지 알기가 어렵습니다. 따라서 국가의 GDP를 통제하고 초콜릿 소비량에 따른 노벨상 수상자 수를 살펴보는 것도 좋은 방법입니다.

세 번째 구조는 충돌부 구조입니다. Collider라고 표현하며 T와 Y가 X의 원인이 되는 경우 X가 collider입니다. T와 Y가 인과관계가 없는데 X를 조건부로 하면 T와 Y가 연관관계가 생깁니다. 예를 들어보면, T는 통계학 지식, Y는 아첨, X는 승진이라고 해봅시다. 승진했다고 하면, 그 사람은 통계학 지식이 많거나 아첨을 잘하는 경우일 것입니다. 만약에 통계학 지식이 없다는 것을 알게 되면 아첨을 잘한다는 사실을 알게 될 것입니다. 따라서 X(승진)을 조건으로 하게 되면 통계학 지식과 아첨에서 inverse relationship이 생기게 되는 것입니다.

선택편향도 다루었습니다. 선택편향은 통제해야 하는 변수보다 더 많은 변수를 통제할 때 발생하게 됩니다. 재윤님이 두 가지 예시를 들어주셨습니다. 첫 번째 예시는 하늘을 쳐다보는 것이 다른 보행자들이 하늘을 쳐다보게 하는 데 영향을 줄까? 라는 물음에서 출발한 무작위 실험입니다. 무작위 실험을 통해 confounder가 발생하지 않을 것이지만, 하늘을 쳐다보는 행동과 주변 사람들이 하늘을 쳐다보는 것의 인과성을 파악할 수 있을까요? 아마도 모집 단계에서 부끄러움을 많이 타는 사람들이 연구에 참여하지 않아서 일반화하기 어려울 수 있습니다. 이 경우에는 internal validity는 성립하지만 external validity는 성립하지 않는다고 말할 수 있을 것입니다.

두 번째 예시로는 per protocol set을 들 수 있습니다. 임상시험계획서에 따라서 잘 순응한 사람들만 대상으로 하여 분석하는 경우입니다. 그런데 약이 매우 독하여 처치군에서 drop out(탈락)이 많이 발생하면 선택편향이 발생할 것입니다. 이 경우에는 internal validity가 떨어진다고 말할 수 있을 것입니다.

https://causalinferencelab.github.io/Bridging-Causal-Inference-and-Real-World-Evidence-A-Study-of-FDA-and-Other-Regulatory-Guidelines/docs/causal_inference_part2.html

[shstat1729]

24.10.23
참석자 : 이승미, 박상호, 이현빈, 차현실, 최재윤, 김청수, 곽수영, 정현우, 김태헌
청강 : 김승찬, 윤우
후기 :

Real world evidence (RWE)에 대해 FDA의 관점을 살펴볼 수 있었다. 다만, 가이드라인이 초창기에 2018년 12월에 작성되어서 그런지 상당히 조심스럽게 접근하는 면이 있었다. Real world data는 전통적인 임상시험(explanatory trial)이 아닌 곳에서 수집한 안전성과 효과에 대한 데이터를 말한다. Electronic health record(EHR)나 보험 청구 데이터 역시 real world data가 될 수 있다.

Pragmatic trial을 RWD의 증거로 삼는다는 것도 인상 깊었다. Pragmatic trial이란 일상 진료 환경과 비슷한 상황에서 임상시험을 하는 것을 의미한다. PRESIS-2에서는 관련하여 임상시험이 explanatory(이상적인 환경)에 가까운지, pragmatic trial(실제 진료환경)에 가까운지 점수를 매겨 평가한다. 즉, 이분법적인 관점에서 explanatory / pragmatic trial을 바라보는 것이 아니라 continuum으로 바라본다. 여기서도 hybrid design이라 하여 전통적인 임상시험과 실제 진료 환경에서 접근하는 것(medical claim / EHR 등 활용하여 데이터 수집)을 결합하는 경우도 있었다.

임상시험의 효율성을 위해 real world evidence가 사용되기도 하는데, randomized controlled trial의 가설 생성, 사전확률분포를 구하는 것, intervention이 잘 작용하는 target population을 찾는 것 등에 활용할 수 있다. Real world evidence는 역사적으로 약물의 안전성을 확인하는 데 사용해왔다. 그러나 효과(effectiveness) 파악하는 데에는 제한적이었으나 점점 더 RWE의 사용이 확대되고 있다.

효과성 관련해서는 평행 대조군 설정이 비윤리적이거나 prevalence가 너무 낮아서 불가능한 경우에 external control arm을 활용하여 single-arm intervention trial을 승인한 사례도 있다. Blincyto의 경우 단일군 시험 결과로 가속 승인을 받았으며 historical data를 활용하였다. 그 외에도 pragmatic trial의 요소를 활용하여 RWE를 창출하는 사례들이 있다.

결국 clinical trial에서 보여진 효능과 안전성이 실제 real world에서도 효과와 안전성으로 나타나야 의미가 있다는 것을 강조하였다. 다만 그러한 재현이 항상 이루어지는 것이 아니다. 앞으로 분석 방법론이 발달하고 데이터 관리 방법이 발전하여 임상시험에서 나온 결과가 observational study에서도 잘 재현되기를 기대한다.

https://causalinferencelab.github.io/Bridging-Causal-Inference-and-Real-World-Evidence-A-Study-of-FDA-and-Other-Regulatory-Guidelines/docs/Framework_for_FDAs_RWE_Program.html

[shstat1729]

24.10.30
참석자 : 이승미, 박상호, 이현빈, 최재윤, 김청수, 곽수영, 정현우, 김태헌, 전인영
청강 : 김승찬, 윤우
후기 :
요즘에는 Real World Evidence(RWE)를 effectiveness를 활용하고자 하는 흐름이 있다. 다만 RWE를 활용하기 위해서는 연구 디자인이 real world data(RWD)를 활용하는 것이 적합한지, 과학적으로 제대로 설계된 연구인지, 데이터를 신뢰할 수 있는지 등을 종합적으로 검토해야 한다. 또한 각 규제 조건에 알맞게 RWD를 선정하여야 한다.

RWD는 데이터의 특성상 한계가 명확하다. 본질적으로 임상시험을 위해 만들어진 것이 아니기 때문에 연구자가 가지고 있는 질문에 충분히 답하지 못할 수도 있다. 보험청구에 사용되는 ICD-10 code나 Electronic Health Record(EHR)에 기록되는 변수의 경우 실제 진료환경에서 어떻게 적용되는지 충분히 이해하고 있어야 한다. 또한, 다른 EHR 시스템 간의 차이로 인해 통합이 어려울 수 있다.

RWD를 활용하여 external control arm을 활용하기도 한다. 이를 통해 comparative effectiveness를 측정한다. 연구의 comparability를 높이기 위해 propensity score matching을 하지만 본질적으로 시기가 다르고 population이 다르기 때문에 potential bias가 존재한다. 임상시험처럼 연구설계 및 분석 계획을 미리 공유하여 결과에 대한 신뢰성을 확보하는 것이 중요하다. 임상시험의 경우 clinicaltrials.gov에 미리 임상시험 프로토콜 관련 정보를 올렸으나 observational study의 경우에는 그러한 경우가 적었다. 최근에는 RWE도 점점 미리 계획을 올리도록 요구하고 있는 추세이다. 다음과 같은 곳에 업로드할 수 있다.

RWE study protocol registers
ClinicalTrial.gov: https://clinicaltrials.gov/
EU-RWD catalogue (구 EU-PAS) : https://catalogues.ema.europa.eu/search?f%5B0%5D=content_type%3Adarwin_study
ISPOR-ISPE (학회주도) : https://osf.io/registries/rwe/discover

그 외에 @worldwidey 님께서 발표하실 때 실제 예시를 발표하셨다. 여기서 external control arm을 활용한 경우이다.

RWE 활용은 앞으로 어떻게 될까? FDA framework 뒷부분에 stakeholder engagement 내용이 나온다. FDA 내부에서 RWE 관련 논의를 하는 내용, 외부의 환자 단체, 제약회사, 학계 등이 RWE 관련하여 함께 논의한다. 이해관계자들이 RWE를 어떻게 바라보느냐에 따라 향방이 달라질 것으로 보인다. 조심스럽게 이야기하자면 필요에 의해 앞으로도 RWE 활용이 더 활발해질 것으로 보인다.

https://causalinferencelab.github.io/Bridging-Causal-Inference-and-Real-World-Evidence-A-Study-of-FDA-and-Other-Regulatory-Guidelines/docs/Framework_for_FDAs_RWE_Program_2.html

[olivia-ywB]

Review for 24.10.23 and 24.10.30

For the last two weeks, the topic has been the FDA's real-world evidence program. Before diving into the paper, I want to clarify what real-world evidence (RWE) data is, as this is my first exposure to the concept.

Real-world evidence (RWE) data refers to information collected outside of traditional clinical trials. This data comes from various sources, such as:

• Electronic Health Records (EHRs): Patient data collected during routine healthcare.
• Claims and Billing Data: Information from insurance claims that provide insights into treatment patterns and outcomes.
• Patient Registries: Databases that track patient outcomes over time for specific conditions or treatments.
• Surveys and Patient-Reported Outcomes: Feedback directly from patients about their health status and experiences with treatments.
  RWE is used to understand how treatments perform in diverse patient populations and to inform clinical guidelines and decision-making. It can provide insights into long-term outcomes and real-life effectiveness. It is also able to capture data from a broader and more diverse patient population than traditional clinical trials.

In the past, I worked on analyses using TOPCAT and REDCap data (TOPCAT stands for Treatment of Preserved Cardiac Function Heart Failure with an Aldosterone Antagonist, and REDCap stands for Research Electronic Data Capture). The TOPCAT trial is primarily classified as a clinical trial; it was a randomized controlled trial designed to evaluate the efficacy and safety of spironolactone in patients with heart failure and preserved ejection fraction (HFpEF). The TOPCAT trial can also be used as real-world evidence (RWE) when applied to broader patient populations or in real-world settings.
REDCap data can be classified as either real-world evidence (RWE) or clinical trial data, depending on the context. If the data pertains to a controlled clinical trial, it is considered clinical trial data. However, if the data is collected from routine clinical practice or observational studies outside of a controlled trial, it can be considered RWE.

As I reflect on my work, I realize that I was conducting RWE data analysis without even realizing it. I had a wonderful opportunity to learn about RWE and explore the FDA program.

[scstatgit]

24.11.13
후기 :
연구 시작전 포로토콜과 통계분서계획에 기술해야할 부분은 많으나, 교란요인이 매우 많은 Real World Data라는 점을 감안하면 모든 것을 고려하기에는 어려움이 있어 보인다. 이러한 어려움속에도 예상되는 교란과 편향에 대해서 방지하는게 Biostatistician의 역할이 될 것 같다.

• 교란변수란?
  커피와 폐암의 발생가능성에 대한 연구, 그 이면에는 커피를 많이 마시는 사람이 담배를 많이 피기에 폐암이 발생할 수 있음.
  이때 담배를 고려하지 않고 분석시 잘못된 결과를 낼 수 있다. 여기서 담배가 교란변수가 된다.

• Bias and Confounding?
  계통오차 (Systematic error)는 연구의 디자인, 실행 및 분석 단계에서 다루어져야 한다.
  편향의 종류는 매우많으며, 대표적으로 선택 편향(Selection Bias), 정보 편향(Information Bias), 불멸 시간 편향(Immortal time bias)을 들 수 있다.
  불멸 시간 편향(Immortal time bias)에 대해서는 최근 연구에서도 크게 이슈가 된적이 있다. 연구설계상 문제점으로 지적될 수 있으므로 주의깊게 봐야한다.
  예시) 불멸 시간 편향
  연구디자인상 outcome이 발생할 수 없는 구간이 잡힘, 두 군에서 밸런스가 안맞으면 생기는 문제. (특정 군은 7일간 outcome이 발생할 수 없음 vs 특정 군은 7일동안 outcome 발생가능)

• negative controls?
  A라는 약의 심혈관보호효과를 평가하고 싶음, B라는 약과 비교. 여기서 감기가 negative controls. 차이가 없어야 하는 결과변수. 실제로 차이가 없다고 알려져있는 outcome들로 구성해야함.
  (요즘 약학연구 관련 논문 에서는 한두개정도는 넣어서 검증하는 경향이 있음.)

그 외,

의약품의 처방은 투약을 의미하지 않는다. (처방과 투약을 구별함. 투약이 복용을 의미하지도 않음. 이러한 것을 복약순응도로 구분해야함.)
의료기기 또한 비슷한 점을 고려해야할 것으로 보임.

당뇨약을 처방받은 직후 다음날 암에 걸렸다면 암의 직접적인 원인으로 볼수 있을까? 그렇게 보기 어려울 것이다.
이에대해 결과변수가 최초 발생사건, 지연사건, 악화 혹은 재발인지 명확히 정의해야함.

다국가 연구를 진행하고자 한다면, 같은 데이터라도 품질이 다를 수 있음.
국내의 경우, 사망사건이 비교적 정확히 입력돼있으나, 미국은 사망사건이 개인정보로 분류되기에 다소 부정확할 수 있음.

https://causalinferencelab.github.io/Bridging-Causal-Inference-and-Real-World-Evidence-A-Study-of-FDA-and-Other-Regulatory-Guidelines/docs/ICH_M14_part2.html

[olivia-ywB]

Review for 24.11.13

First of all, I looked up what ICH M14 is before reading the guideline.
The ICH M14 guideline refers to a document issued by the International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use (ICH), which focuses on pharmacoepidemiological studies. Specifically, ICH M14 deals with the statistical analysis of pharmacoepidemiological studies using real-world data (RWD) to assess the safety of medicines. The guideline provides guidance on how to properly analyze data from studies comparing the safety profiles of different drug formulations, typically a reference drug and a generic version. The aim of the guideline is to ensure that safety data collected from real-world settings is robust, reliable, and appropriately analyzed.
Since we reviewed the FDA guideline last week, I was wondering about the differences between the ICH M14 guideline and the FDA guideline. Here is a table summarizing the key differences.

[shstat1729]

24.11.6
참석자 : 차현실, 김태헌, 곽수영, 최재윤, 박상호, 김청수, 이현빈
청강 : 김승찬
후기 :
ICH M14 guideline에 대해 다루었다. ICH(The International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use) 가이드라인은 규제기관과 제약 회사 등 관련 업계에서 인정받는 과학적이고 기술적인 가이드라인이다. ICH 가이드라인은 크게 4가지로 이루어진다. Quality (Q), Safety (S), Efficacy (E), 그리고 Multidiciplinary (M)이다. Q는 제약 품질을 보장하는 데 관련된 가이드라인이며 S는 비임상시험에서 다루는 safety와 관련이 있다. E는 임상시험에서 효과와 안전성을 다루며, biostatistician은 E6 R2 (Good Clinical Practice, GCP)와 E9 (Statistical Principles for Clinical Trials)를 주로 살펴보게 된다. 마지막으로 M은 Q, S, 그리고 E에도 포함되지 않는 가이드라인이다. 우리가 살펴보는 가이드라인은 M 범주에 해당된다.
ICH M14 가이드라인은 Real World Data (RWD)를 활용하여 의약품의 안전성을 평가하는 데 초점이 맞춰져 있다. 이는 임상시험이 아니라 관찰 혹은 비중재적 데이터를 사용한다. 이 때 필요한 계획, 설계, 분석에 관한 일반적인 원칙을 제시한다.
이 가이드라인은 역학 (Epidemiology) 교과서라고 할 수 있을만큼 하나 하나의 개념에 대해 개괄적으로 잘 다루고 있으며 스터디 디자인에서도 길잡이를 제시한다. 예를 들어, 다음과 같은 사항은 일반적으로 연구를 할 때 권고된다. Research question에서 출발하여 study population, exposure, outcome, covariates를 찾는다. 그리고 이러한 조건에 맞는 최소한의 데이터 요구사항을 파악하고, 데이터 원천(source)이 연구하고자 하는 target population을 잘 나타내고 있는지 평가한다. 더 나아가 잠재적인 편향과 confounding을 평가한다. 그 뒤에 데이터를 정하면 프로토콜을 완성하고 프로토콜에 따라 분석을 실시하고 평가한다.
다만 이 가이드라인이 매우 현실적으로 어려움이 있다는 느낌도 받았다. 데이터 원천을 찾았으면 분석 전에 프로토콜을 완성하고 프로토콜에 따라 계획을 실시하여야 한다. 하지만 RWD는 confounding과 여러가지 잠재적인 편향이 크게 존재하기 때문에 고려할 사항이 굉장히 많다. 임상시험보다 더 많은 고민을 해야할 수도 있다.
실질적으로는 RWD 분석을 하기 전에 프로토콜을 쓰는 경우는 많지 않다고 한다. 규제 기관에서 선제적으로 이러한 방향으로 나아갔으면 하는 마음에 가이드라인을 제시한 것으로 보인다. 만약 임상시험처럼 프로토콜을 미리 작성하고 분석을 하게 된다면, 그 분석은 믿을만한 과학적인 증거가 될 것이기 때문이다.
또한 RWD 분석을 할 때 고려해야 할 사항은 각 데이터는 연구를 목적으로 생성된 데이터가 아니라 진료 환경에 맞추어 생성된 데이터라는 점이다. 또한, 각 병원이나 의원의 환경에 따라 데이터가 코딩되는 알고리즘이 있다. 이러한 것에 대한 이해가 있어야 제대로 된 분석을 할 수 있다. 예를 들어 우리나라의 국민건강보험공단 데이터가 있는데, 당뇨병 환자를 정의하기 위해 ICD-10 코드와 공복혈당, 당뇨 약제 처방 등을 다양하게 고려하여 당뇨병 환자를 정의하기도 한다. 또 다른 예시로는 각 병원 임상 데이터 웨어하우스 (Clinical Data Warehouse)의 경우 각 병원마다 특정한 당뇨병 약제에 대한 코드가 다를 수가 있다.

https://causalinferencelab.github.io/Bridging-Causal-Inference-and-Real-World-Evidence-A-Study-of-FDA-and-Other-Regulatory-Guidelines/docs/ICH_M14_part1.html

[shstat1729]

24.11.13.
ICH M14 가이드라인 part 2
참석자 : 곽수영, 최재윤, 박상호, 김청수, 이현빈, 정현우
청강 : 윤우, 김승찬

@ChungsooKim님이 발표해주셨다. Protocol development에서 특히 개념적 정의를 operational definition으로 옮기는 내용을 중점적으로 살펴보았다. 먼저 개념적 정의는 연구에서 우리가 측정하고자 하는 개념이다. 예시 : 질환을 정의하기 위한 임상적 진단 기준이나 관심 노출을 정의하기 위한 약물 복용의 측정이다.

그런데 개념적 정의는 각 RWD 시스템에서 바로 코딩되지 않기 때문에 조작적 정의를 통해 변수를 파악해야 한다. 조작적 정의는 시스템 내에서 개념적 정의를 구현하기 포착하기 위한 방법이다. 예를 들어, ICD 10 코드의 E11-E14 진단 및 당뇨 약제 처방 또는 공복혈당 126 이상을 당뇨환자로 정의하는 것이다. 개념적 정의를 조작적 정의로 치환하기 때문에 이 과정에서 존재하는 한계점에 대해 프로토콜에서 논의하여야 한다. 이러한 한계점을 어떻게 개선할 것인지 고민해야 한다.

공변량 (covariates)을 정의할 때에는 confounding과 effect modifier을 고려하여 설계하여야 한다. Confounding은 개념적으로 exposure(노출변수)에 영향을 미치고, outcome에 영향을 미치는 변수이며 인과 경로에는 포함되지 않는다. 예를 들어 국민 1인당 초콜릿 소비량이 국가의 노벨상 수상자수에 미치는 영향을 살펴보았을 때, 국가의 GDP가 높을수록 1인당 초콜릿 소비량을 높이고 노벨상 수상자 수도 높일 것이다. 그러나 1인당 초콜릿 수가 많다고 GDP가 올라가지는 않을 것이다.

또 효과변경인자는 말 그대로 효과를 변경하는 인자이다. 반드시 인과경로에 포함될 필요는 없다. 효과변경인자의 예시로는 인종을 예시로 들 수 있다. 실제로 흑인에게는 효과가 있으나 다른 인종에게는 약이 효과가 없는 경우가 있다.

그밖에도 선택편향, 정보편향, 불멸시간편향(immortal time bias)을 고려해야 한다. 불멸시간편향은 follow-up을 시작하였지만, 한 군이 exposure에 노출될 때까지 outcome이 발생하지 않는 경우이다. 약물역학 연구자 에드워드 라이 (Edward Lai) 선생님이 들어주신 예시를 생각해볼 수 있다 (24년 한국역학회). intensive care unit에 입원한 사람들 중에 bubble tea가 생존에 미치는 효과를 알고 싶어서 3일차에 bubble tea를 한 군에 제공하고 다른 군은 제공하지 않는다. 결과는 bubble tea를 마신 군이 더 오래 생존하는 것으로 나왔지만 이는 사실 3일차까지 생존해있는 사람들을 대상으로 했기 때문에 편향이 발생한 것이다. 불멸시간편향을 고려하지 않아서 논문이 철회(retraction)된 경우가 있다(doi:10.1001/jamainternmed.2018.5394).

이 가이드라인에서는 데이터 관리계획, 통계 분석 계획 등에 대해서도 다루고 있다. 자세한 내용은 발표자료를 참고하길 바란다. RWD가 가장 유용하게 사용될 수 있는 지점은 study population에 포함되어 있지 않던 대상들에게 약이 안전한지 확인하는 것이다. 예를 들어, 소아, 노인, 임신한 사람 등을 생각해볼 수 있다. RWD를 통해 안전성이 확인되면 이들에게도 약을 사용할 수 있기 때문이다. 임신의 경우에는 임신 기간을 셋으로 나누어 살펴보기도 하고, 출산된 아이와 연계하는 등의 노력이 필요할 수도 있다.

https://causalinferencelab.github.io/Bridging-Causal-Inference-and-Real-World-Evidence-A-Study-of-FDA-and-Other-Regulatory-Guidelines/docs/ICH_M14_part2.html

[olivia-ywB]

Review 24.11.27
"Reflection paper on use of real-world data in non-interventional studies to generate real-world evidence - Scientific guideline [RWE Reflection paper - draft for public consultation (europa.eu)]"

In this review, I want to clarify few concept.
1.Differential misclassification vs non differential misclassification
Differential misclassification occurs when the misclassification is related to the exposure or outcome, meaning there is a systematic error in how participants are classified based on either their exposure or their outcome status. This type of misclassification can either exaggerate or underestimate the association, depending on the direction of the bias.
Example - Exposure Misclassification; Suppose you're studying the association between smoking and lung cancer, and you have different methods of assessing smoking status. If people with lung cancer are more likely to misreport their smoking status, but people without lung cancer are less likely to do so, this could lead to differential misclassification of smoking status. This could either exaggerate or reduce the observed relationship between smoking and lung cancer, depending on the pattern of misreporting.
Outcome Misclassification; In a study looking at the effect of an intervention on reducing blood pressure, participants who are not compliant with the intervention might be misclassified as having a successful outcome (because of incorrect measurement or reporting). If this misclassification is more likely to happen in one group, it would lead to differential misclassification of the outcome. This could either underestimate the effect of the intervention or produce a false positive association.

Non-differential misclassification occurs when the misclassification of participants is unrelated to their exposure or outcome status.
It typically biases the results towards the null hypothesis, meaning that it makes the association between exposure and outcome seem weaker than it actually is.
Example - Misclassification of Exposure; Suppose you are studying the relationship between a specific dietary factor and heart disease. If some participants inaccurately report their fruit and vegetable intake due to recall bias, but the error is equally distributed across both those with and without heart disease, this would constitute non-differential misclassification. Since the misclassification error affects all participants equally, it typically results in an underestimation of the true association between fruit and vegetable intake and heart disease (bias toward the null), because the measurement error leads to random misclassification of exposure status, diluting the observed relationship.
Misclassification of Outcome; In a study investigating the relationship between physical activity and obesity, suppose the weight of participants is measured with an inaccurate scale, but this measurement error is equally applied to both the control group and the intervention group. This would be an example of non-differential misclassification of the outcome (obesity status). If the measurement error in weight is random and does not differ by group (intervention vs. control), the true effect of physical activity on obesity may be underestimated, because the random error could cause misclassification in both directions.

2.superiority trial
A superiority trial is a type of clinical trial designed to determine whether a new treatment, intervention, or procedure is more effective than an existing standard treatment or a placebo. The primary goal is to show that the new treatment has a significantly better effect on the outcome of interest compared to the comparator treatment.

[shstat1729]

24.11.27.

참석자 : 곽수영, 최재윤, 박상호, 김청수, 이현빈, 정현우, 이승미, 김태헌
청강 : 윤우, 김승찬

Reflection Paper on Use of Real World Data in Non-Interventional Studies to Generate Real-World Evidence

@sychanmul 님께서 발표해주셨다. 유럽 EMA의 가이드라인인데, ICH M14 가이드라인과 비교했을 때 내용상의 큰 차이는 없었다. 다만, 여기서는 real world evidence를 활용하여 안전성 뿐만 아니라 효과를 밝히는 연구도 이야기하고 있다. 먼저 outcome의 분포, covariate, exposure 등을 평가하는 feasibility study를 진행한다. 그리고 outcome에 대한 분석을 하기 전에 프로토콜과 통계분석계획서(SAP, Statistical Analysis Plan)이 완성되어야 하고, 프로토콜과 SAP에 따라 분석을 실시해야 한다. 다만 프로토콜 작성이나 규제기관 절차는 EMA의 절차에 따라야 한다.

그 외에 target trial emulation, differential misclasssification과 non-differential misclasssification에 대한 설명도 있다. 먼저 target trial emulation은 관찰 데이터를 분석할 때 엄격한 임상시험 프로토콜을 적용하여 분석하는 것이다. 프로토콜의 요소 중에 명확한 선정 / 제외 기준, 그리고 randomization process, outcome 분석 방법 등 프로토콜에서 중요한 요소들을 고려하여 관찰 데이터에서도 무작위 배정을 한 것처럼 구성한다. 그리고 프로토콜에 따라 분석을 실시한다.

Target trial emulation은 다음과 같은 요소들이 있다.

its target population (목표로 하는 population)

eligibility criteria (명확한 선정 제외기준)

assignment procedure (randomization process)

treatment conditions (treatment의 정의 및 조건)

causal contrasts(i.e., the estimand)

Outcome (결과변수)

analysis plan (통계분석 계획서)

그리고 differential misclasssification은 한 쪽 군에만 bias가 발생해서 결과를 심각하게 뒤틀리게 할 수 있다. 예를 들어, smoker가 non-smoker에 비해 병원에 자주 방문하여 진단이 더 잘 되는 것도 differential misclassification의 예시가 될 수 있다. 그러나 non-differential misclassification은 양쪽 군 모두에 bias가 발생하여 결과를 null로 만드는 방향으로 작용한다. 예를 들어, 질병의 유무를 measurement하는 도구가 있을 때, 어느 exposure에 상관없이 질병의 유무를 찾는 데 bias가 발생한다면 non-differential misclassifcation이라 할 수 있다.

발표자료 : https://causalinferencelab.github.io/Bridging-Causal-Inference-and-Real-World-Evidence-A-Study-of-FDA-and-Other-Regulatory-Guidelines/docs/Reflection_Paper_on_Use_of_Real_World_Data_in_Non-Interventional_Studies_to_Generate_Real-World%20Evidence.html

[scstatgit]

24.12.04
후기 :

RWD를 활용한 의약품 무작위대조군 연구(randomised, controlled clinical trial) 시행을 위한 스폰서(의뢰사) 가이드라인

• RWD라도 데이터 퀄리티가 견고하고 시험 설계가 잘 이루어진 경우,전통적인 RCT에서 생성된 증거보다 규제 결정에 있어 더 가치가 높거나 낮게 간주되지 않음.
• 규제기관 입장에서 허가된 의약품을 허가된 적응증 연구에 적합
• 그러나 새로운 용도를 개발을 위해 RWD를 사용하는 것도 가능할 수 있음. (데이터 품질이 적합하고 시험이 잘 된 경우)
• 규제 관점에서 중요한 점은 충분한 근거를 제공할 수 있도록 설계되는 것이 요구됨

RWD 기반 임상시험 유형 및 고려사항

• Hybrid 데이터: 사전계획단계에서 RWD에서 수집하겠다는 것을 계획서에 작성함. RCT에서 수집하고 수집불가한것들은 RWD(CDW같은)로 확보한다는 개념으로 보임

  • RWD데이터를 이용한 연구에서, 연구 도중에 계획했던것과 다르게 RWD에는 없는 추가적인 변수가 필요하여 RCT로 데이터를 추가하는 것으로 잘못이해함. 연구계획단계에서 미리 RCT와 RWD를 혼합하여 사용할지 정하면 된다.
  • RCT에서 동의받은 환자들을 포함한 더 많은수의 RWD데이터로 추가적인 Endpoint를 볼 수 있을 것 같다.
  • 참고자료: https://www.sciencedirect.com/science/article/abs/pii/S1551714419305713

• 발표자료: https://causalinferencelab.github.io/Bridging-Causal-Inference-and-Real-World-Evidence-A-Study-of-FDA-and-Other-Regulatory-Guidelines/docs/MHRA_guideline_on_RCT_using_RWD_to_support_regulatory_decisions.html

[shstat1729]

24.12.04.

참석자 : 곽수영, 최재윤, 박상호, 김청수, 이현빈, 정현우, 이승미, 김태헌
청강 : 윤우, 김승찬

MHRA guideline on randomised controlled trials using real-world data to support regulatory decisions

Real-World Data (RWD)라고 하면 많은 내용을 포함하고 있다. Randomized Controlled Trial에서 single arm으로 진행할 때에도 RWD가 활용되기도 한다. Historical data를 활용해서 control arm을 구성하는 것이다. 혹은 RWD는 시판 후에 특정한 약제 혹은 의료기기가 안전한지 / 효과가 있는지 평가하는 데 쓰이기도 한다. 여기서 다루는 내용은 routine clinical practice에서 활용되는 RWD에 대한 내용이다. RCT 상황이지만, routine clinical practice에서 수집되는 자료라면 RWD라고 할 수 있다.

RWD를 활용하면 효율적이고 비용이 저렴하겠지만, 기존의 RWD는 모든 연구를 위해서 만들어진 것이 아니기 때문에 어떤 경우에는 추가적으로 데이터를 수집해야 할 수도 있다. 이를 혼합형 임상시험 (hybrid trial)이라고 한다. 이런 경우에는 RWD와 기존의 임상시험 요소가 혼재되어 있다고 볼 수 있다.

비열등성 임상시험에 대한 언급도 나왔는데, 비열등성 임상시험을 계획할 때 어려운 점은 비열등성 마진을 정하는 것이다. 비열등성 임상시험이란, 시험 제품이 기존 제품보다 열등하지 않다는 결론을 만들기 위해서 하는 임상시험이다. 그런데, 시험 제품이 기존 제품보다 열등하지 않다는 것을 밝히면서도 위약 혹은 무처치 군보다 더 낫다는 것이 보장이 되어야 한다.

발표자료 : https://causalinferencelab.github.io/Bridging-Causal-Inference-and-Real-World-Evidence-A-Study-of-FDA-and-Other-Regulatory-Guidelines/docs/MHRA_guideline_on_RCT_using_RWD_to_support_regulatory_decisions.html

[olivia-ywB]

Review 24.12.04

"MHRA guideline on RCT using RWD to support regulatory decisions"

Non-inferiority is a type of clinical trial design used to determine whether a new treatment or intervention is not worse than an existing treatment by more than a pre-specified margin. For example, there is an existing drug for a disease, and a new drug is being tested. In a non-inferiority trial, researchers would aim to show that the new drug's effectiveness is not worse than the existing drug by more than a certain amount.

Type A, Type B, and Type C clinical trials refer to categories often used by regulatory bodies, such as the U.S. Food and Drug Administration (FDA), to describe the risk classification of trials, and sometimes the level of scientific evidence or design approach.
Type A - high risk, Trials for new, experimental treatments with significant safety concerns or unresolved issues. Type A consultations may be needed if a new drug has concerning adverse events or needs to demonstrate its safety more rigorously.
Type B p- moderate risk, Trials involving drugs that have already undergone some safety testing, such as Phase II trials. Type B could be used when proposing a new clinical trial design for an existing drug to evaluate its safety in a new patient population.
Type C - low risk, Type C would be used when evaluating safety, efficacy, and other variables in an existing, approved drug under standard conditions or minor changes.

[shstat1729]

24.12.18
참석자 : 이승미, 곽수영, 최재윤, 박상호, 김청수, 이현빈, 정현우, 김태헌
청강 : 김승찬

[olivia-ywB]

Review 25.01.08

"Real-World Evidence: Considerations Regarding Non-Interventional Studies for Drug and Biological Products Guidance for Industry"

The purpose of the guideline is to help sponsors design and conduct non-interventional studies using real-world data to generate reliable evidence for FDA submissions while ensuring that RWE meets the FDA’s standards for validity, reliability, and regulatory compliance. These studies use RWD from sources such as electronic health records, claims data, registries, and patient-reported outcomes to evaluate the safety, effectiveness, or other outcomes of drugs and biological products under routine clinical practice. The guidance emphasizes that RWE must meet the FDA's standards for validity, reliability, and transparency to support submissions for regulatory purposes, including label expansions and post-market safety assessments.

Key considerations in designing non-interventional studies include selecting an appropriate study design, such as cohort or case-control studies, ensuring the data source is complete and relevant, and minimizing biases such as selection or information bias. The guidance stresses the importance of clearly defining study endpoints that are clinically meaningful and measurable, as well as addressing potential confounders through statistical methods like propensity score matching or multivariate modeling. It also highlights the need for a pre-specified statistical analysis plan to ensure transparency and prevent data-driven results.

The document underscores the importance of data quality and integrity, advising sponsors to implement quality assurance measures to address issues like missing or inconsistent data. Transparency is crucial, and the guidance calls for thorough documentation of the study protocol, statistical analysis plan, and results, including any limitations or assumptions. Sponsors are encouraged to engage with the FDA early in the study design process to align their approach with regulatory requirements and increase the likelihood of generating evidence that meets the agency's expectations.

[shstat1729]

25.01.08
참석자 : 곽수영, 최재윤, 박상호, 김청수, 정현우, 김태헌
청강 : 김승찬, 윤우

Real-World Evidence: Considerations Regarding Non-Interventional Studies for Drug and Biological Products Guidance for Industry

오늘은 정현우님이 발표해주셨다. 이 가이드라인은 약물의 효과와 안전성을 입증하기 위해 Real World Evidence (RWE)를 활용할 때 따라야하는 가이드라인이다. Non-Interventional Study란 계획된 프로토콜에 따라 환자에게 처치를 하는 임상시험이 아니라 일상적인 의료환경에 맞춰서 실시되는 처치를 의미한다.

늘 RWE에서 가장 중요한 것은 데이터의 신뢰성과 관련성이며, 신뢰성과 관련성이 갖춰져있다면, 다음의 두 가지를 신경써야 한다. 첫째는 최종 분석을 하기 전에 프로토콜과 통계분석계획서를 미리 작성하고, 작성된 내용에 따라 분석을 진행하는 것이다. 둘째는 FDA와 조기에 협력하는 것이다.

이 가이드라인은 위의 두 가지 내용에 대해서 상세하게 기술하고 있다. 하지만 ICH M14 가이드라인도 그렇고, 이와 관련된 가이드라인들은 비슷한 내용을 반복해서 이야기하고 있다. ICH M14 가이드라인은 안전성에만 초점을 맞췄지만, 더 깊은 공부를 하고 싶은 사람은 ICH M14 가이드라인을 공부해보는 것도 좋을 것이다.

스터디에서 앞으로는 의료기기와 electronic health record를 살펴볼 계획인데, 조금은 새로운 내용이 나올 것으로 기대하고 있다. 이제까지 다룬 내용은 크게 세 가지 정도 있다. 첫째는 임상시험에서 실제 진료환경과 비슷한 환경을 구성하여 임상시험을 진행하는 경우이다. 이 경우에는 임상시험 환경이라도 RWD로 인정받을 수 있다. 둘째는 약물이 시판되어 RWD가 축적되어 RWE를 창출하고, 처음의 약물의 적응증이 아니라 그 외의 적응증에의 효과와 안전성을 보임으로써 약물의 시판범위를 확대하는 것이다. 셋째는 조금 극단적인 상황인데, 처치를 할만한 약이 없고 상황이 시급하여 한시적으로 약물 사용이 승인되는 경우이다. 이때에도 RWD를 만들 수 있고, 이를 활용하여 RWE를 만들 수 있다. 아직 의료기기에 대해 살펴보지는 않았지만, 아마도 큰 틀에서는 비슷할 것이고 세세하게 조금 다른 내용이 나올 것으로 보인다.

[scstatgit]

각 규제기관별로 제시하는 RWD/RWE에대해 정리해보았습니다.

분류	미국 FDA	국제 ICH	유럽 EMA	영국 MHRA
RWD 정의	ㅁ 전통적인 임상시험이 아닌, 그 외의 출처로부터 얻은 약물의 용례, 잠재적인 이득 또는 위험성에 대한 데이터 로 정의함. 환자의 건강 상태(patient health status)/또는 의료 전달(delivery of health care)과 관련된 데이터. ㅁ 일상적으로 수집(routinely collected)되며, 출처가 다양함. ex) 전자의무기록(EHRs), 보험청구데이터, 질환 레지스트리, 환자 생성 데이터(in home use settings 포함), 건강 상태를 알려줄 수 있는 데이터(핸드폰 수집)	ㅁ 다양한 출처에서 수집된 의료 데이터를 포함하며, 전자건강기록, 보험 청구 데이터, 환자 등록 데이터 등을 포함. 1) Electornic Health Record (EHR) Data 2) Claims Data 3) Registries 4) Digital health technologies (DHTs) 5) Federated Data Networks (FDN) 6) Data Linkage (데이터 연결)	ㅁ RWD를 활용한 비개입 연구(NIS, Non-interventional studies). 주로 시판 허가 후의 안전성 평가에 해당. ㅁ NIS특징: 무작위배정 없으며, 통제되지 않는 조건, 비표준화된 치료 ㅁ Routine clinical practice에서 얻어지는 데이터	ㅁ 전자 건강 기록(EHR, Electronic Healthcare Records) ㅁ 일차 및 이차 진료 기록 ㅁ 질병 등록 데이터 ㅁ 출생 및 사망에 대한 데이터를 포함하며 추가적으로, 환자 보고 결과 데이터 ㅁ 웨어러블 기기, 전문 웹사이트 또는 태블릿과 같은 임상시험 환경 외부에서 수집된 데이터도 포함.
RWE 정의	ㅁ RWD 분석을 통해 도출된 의료제품(medical products) 사용의 잠재적 이점 또는 위험(potential benefits or risks)에 대한 임상적 증거(Clinical Evidence)	ㅁ 의약품의 안전성 평가를 위해 목적에 맞는 데이터를 활용하는 관찰적(비중재적) 약물역학 연구의 계획, 설계 및 분석에 관한 일반 원칙에 대해 국제 표준을 권장하고 조화를 촉진하는 것	ㅁ RWD의 분석에서 도출되는 증거(evidence)	ㅁ RWD 소스를 사용한 무작위 대조시험(RCT)에서 생성된 증거
연구설계	ㅁ RWE를 활용할 수 있는 임상 연구 디자인(trial design) ㅁ traditional clinical trial에서 얻어진 증거는 RWE가 아님 1) hybrid or pragmatic trial designs, obesrvational studies: RWE 도출 가능 2) Observational Studies 비개입 임상 연구 디자인(Non-interventional clinical study designs): clinical trial로 간주되지 않음 4) Retrospective Observational Study 5) Prospective Observational Study	ㅁ 약물역학적 안전 연구는 부작용 outcome의 발생을 추정하는 데 관심이 있다. ㅁ Study design은 코호트, case-control, self-controlled study 등이 있다. ㅁ Comparator의 설정은 다른 약물을 복용하는 사람이나 복용하지 않는 사람, historical control, 과거의 자신이 control이 되는 self-control이 있다. ㅁ 연구자들은 특정한 스터디 설계를 한 근거(rationale)를 프로토콜과 final report에 기술하여야 한다. Graphical representation도 개발하여야 한다(소통을 용이하게 하기 위해).	ㅁ 치료 효과의 인과적 해석 - 비교군 설정이 필요 ㅁ TTE (Target Trial Emulation) 프레임워크 1) 인과성 평가를 위한 NIS의 디자인에 대해 구조화되고 일관적인 프레임워크를 제공 2) 연구자들이 potential bias를 고려하고 이런 bias를 다룰 방법을 제안할 수 있게 함 3) 연구 디자인에서 높은 수준의 투명성이 필요함 4) NIS의 internal validity를 높일 수 있음 ㅁ NIS를 최대한 hypothetical trial과 유사하게 디자인함	ㅁ RWD 기반 임상시험 유형 및 고려사항 ㅁ 가장 단순한 형태의 RWD를 활용한 RCT는 실제 임상 데이터베이스에 포함된 환자들을 하나 이상의 치료 옵션으로 무작위 배정하고, 이후 일반적인 진료 관행을 통해 추적 관찰하는 방식. 1) 눈가림 2) 혼합형 시험 3) 비열등성 시험 4) 안전성 모니터링 5) RWD 기반 시험의 규제 수용성
활용사례	ㅁ 주로 안정성 평가에 사용됨 ㅁ 유효성 관련 결정(effectiveness determinations)에 RWE 사용은 훨씬 제한적임 ㅁ 암 연구(oncology)와 희귀 질환에 대해 RWE를 약물 승인 자료로 수용한 사례가 있음. 임상적 이점(the clinical benefit)을 확인하기 위한 추가 RCT를 FDA가 요구함. ㅁ RWE 생성에 사용되지 않더라도, 임상 연구의 효율성(efficiency of clinical trials) 향상을 위해 RWD 가 사용될 수 있음	ㅁ 특정 집단은 종종 사전 승인 임상 연구에 등록되지 않으며, 여기에는 임신 및 수유 중인 사람, 영아, 어린이, 청소년/청년 성인, 노인, 면역 저하 환자, 장애인 및/또는 희귀 질환이 있는 사람이 포함된다. 따라서 시판 후 약물 역학 연구는 이러한 집단에서 약물의 이점/위험 평가를 뒷받침하는 귀중한 정보를 제공할 수 있다.	ㅁ RWD를 활용한 NIS 예시 1) 시판 후 모니터링 수행 2) 약물 사용 패턴 조사 3) 질병 역학 조사 4) outcome measure 확인	ㅁ 원칙적으로, RWD 소스를 사용한 무작위 대조시험(RCT)에서 생성된 증거는 데이터 퀄리티가 견고하고 시험 설계가 잘 이루어진 경우, 전통적인 RCT에서 생성된 증거보다 규제 결정에 있어 더 가치가 높거나 낮게 간주되지 않음. ㅁ 규제기관의 관점에서 볼 때 RWD를 사용하는 무작위 시험은 일반적으로 약물 재창출과 같이 이미 승인된 제품의 라벨 변경과 같은 경우에 가장 적합함 ㅁ 그러나 새로운 제품 연구를 포함하여 더 광범위한 시험 목표를 위하여 RWD를 사용하는 것도 가능할 수 있음
고려사항	ㅁ confounding (교란 요인) ㅁ other forms of bias 1) 연구 대상 환자를 선정하는 방법 2) 결과를 평가하기 위한 추적 기간이 잘못된 경우 3) 노출 환자와 노출되지 않은 환자에서 결과를 측정하는 정확도가 다른 경우 4) 주요 변수에 대한 데이터가 무작위로 누락된 경우	ㅁ 선택 편향(Selection Bias) ㅁ 정보 편향(Information Bias) ㅁ 불멸 시간 편향(Immortal time bias) ㅁ 교란 (Confounding)	ㅁ NIS 디자인 단계에서 여러 bias와 confounding을 식별하고 처리하는 것이 중요함 1) Selection bias 2) Information bias 3) Time-related bias 4) Confounding 5) Effect Modification
RWE평가	FDA가 RWD를 활용한 pragmatic한 연구를 평가할 때 고려사항 ㅁ Non-Randomized, Single Arm Trials with Eternal RWD Control 1) 외부대조군External Control Arm (ECA) 2) Propensity-score matching을 사용해 RWD ECA를 구성 ㅁ Observational Studies 1) 도움이 되는 ‘데이터’인지 (적절한 endpoint가 있는지, 문서가 일관되는지, 누락데이터가 없는지) 2) 도움이 되는 ‘연구 설계와 분석 방법’인지 3) 사전에 고려해 볼 sensitivity analyses나 statistical diagnostics는 무엇인지?	ㅁ Research question이 먼저 세워져야 함 ㅁ 그 이후에 data relevance와 data reliability가 평가되어야 함 ㅁ 적절한 스터디 설계와 분석 방법 1) 연구 한계와 그 한계가 결과 증거의 궁극적인 타당성과 신뢰성 및 결과 해석에 미치는 영향에 대한 정성적/정량적 평가를 실시한다. 2) 프로토콜 개발 단계에서의 실현 가능성 평가와 스터디 시작 후에 프로토콜에 미리 적힌 민감도 분석을 실시하여 증거의 적절성을 평가한다. ㅁ Feasibility Assessment Research question과 설계(design) 요소가 만들어지면 연구자들은 연구 질문에 답할 수 있는 필수 설계 요소들을 밝혀야 한다. 2) 진단을 위한 코드가 가용한지 (ex : rare disease) 3) Exposure와 outcome의 타당도를 평가하기 위한 연구실 진단(laboratory confirmation) 또는 진료 기록에의 접근 4) 코딩 알고리즘의 타당도의 증거 5) 결측 데이터의 잠재적인 영향에 대해 평가 6) Comparator group을 선택하는 것은 설계 단계에서 매우 중요하다. 의료 정책이나 보험 정책은 disease severity에 의존하여 행해질 수 있기 때문에 이러한 내용을 고려하여야 한다. 7) 하지만 rare disease의 경우에는 historical or former standard of care comparator가 사용된다.	ㅁ 규제 절차를 위해 RWD를 활용한 NIS의 적절성 1) 초기 단계(early stage)에서 규제당국과 논의되어야 함 2) 이 적절성은 case-by-case로 정해짐	ㅁ RWD 기반 시험 및 적절한 설계에 적합한 시나리오 예시 1) 루틴 진료에 포함된 시험 2) 객관적인 Endpoint 3) 기존 허가 제품을 표준 치료에 추가하여, 표준 치료만 시행했을 때와 비교해 우위를 입증 4) 중증 질환 환자에게 허가된 제품을 경증 질환 환자에게 사용했을 때의 효과를 탐구 ㅁ 타당성 연구를 수행하는 것 또한 권장됨

[ChungsooKim]

깔끔하게 정리해주셔서 감사합니다^^

[shstat1729]

25.01.15
참석자 : 곽수영, 최재윤, 박상호, 김청수, 정현우, 이현빈
청강 : 김승찬, 윤우

Use of Real-World Evidence to Support Regulatory Decision-Making for Medical Devices

발표 : 박상호

이번 가이드라인에서도 그동안 다루었던 가이드라인들과 비슷하게 Real World Evidence (RWE)가 어떤 상황에서 생성될 수 있을지 다루고 있다. 또한, 이 가이드라인은 기존의 규제 의사결정에 사용되던 가이드라인을 변경하는 것이 아니라, 기존 증거 기준에 따라 FDA 결정을 뒷받침하는 Real World Data (RWD)에 대해 설명하고 있다.

기존의 임상시험에서는 상당히 제한적인 환자 대상군을 목표로 하고 있고, 통제된 임상시험 환경에서 효과를 나타내기 때문에 이 때의 상황은 실제 임상 환경과는 상이할 가능성이 높다. 따라서 RWD를 활용하면 잠재적으로 더 많은 환자군에 대한 정보를 제공해줄 수 있다. 하지만 실제 임상 환경에서 생성되는 데이터는 연구를 목적으로 생성되지 않은 경우가 많으므로 수많은 편향이 존재할 수 있다. 따라서 이 편향을 완화하기 위해 신중한 연구설계가 필요하고, 연구 프로토콜과 분석계획을 미리 작성하는 것이 중요하다.

이 가이드라인은 그동안 다루었던 가이드라인과 다른 특징이 있다면 Investigational Device Exemption (IDE)에 대해서 상세하게 설명하고 있다는 것이다. 허가받지 않은 의료기기를 사용하는 임상시험을 진행하기 위해서는 IDE를 받아야 한다. 약물의 경우에는 Investigational New Drug (IND)로 대응된다. RWD를 활용하여 RWE를 생성하더라도 경우에 따라서 IDE를 받아야 하는 경우가 있다. 그 경우는 어떤 경우일까? 데이터 수집 여부에 따라 환자에게 처치되는 내용이 변하면 IDE를 받아야 한다. 즉, 데이터 수집 여부와 상관없이 환자에게 일상 의료 관행에 따른 처치가 주어지면 IDE를 받을 필요가 없다. 그러나 환자에 대한 의료기기의 효과와 안전성 정보를 수집하기 위해 환자에게 의료기기를 처방하게 되는 상황이라면 IDE를 받아야 하는 것이다. 그동안 다루었던 약물 가이드라인에서는 IND에 대해서 따로 다루지는 않았는데 이 가이드라인은 IDE에 대해서 상세하게 설명한 점이 인상 깊었다.

그 외에는 RWD의 예시로 다음과 같은 것들이 설명되어있다. 다음에 설명되는 내용은 그동안 다루었던 가이드라인과 비슷한 내용이다.

Expanding device indications using registry data

Postmarket surveillance studies

Post-approval device monitoring

Control groups in clinical studies

Supplementary data for safety evaluations

Developing objective performance criteria

[olivia-ywB]

Review 25.01.15

"Use of Real-World Evidence to Support Regulatory Decision-Making for Medical Devices Guidance for Industry and Food and Drug Administration Staff"

The guidance outlines how RWE can support regulatory decision-making for medical devices. RWD from sources like electronic health records, claims databases, and registries must meet quality, reliability, and relevance standards to ensure accurate assessments of device safety and effectiveness.
Key points include:
-RWE can support premarket submissions, post market surveillance, and labeling changes.
-Robust study designs and transparent data handling are essential to generate credible evidence.
-Collaboration with stakeholders is encouraged to maintain high standards.