Vortragssitzung
Modellierung, Methoden und maschinelles Lernen
Talks
Systematische Evaluation, Replikation und Validierung struktureller gesundheitsökonomischer Modellierungsansätze im Bereich der Adipositas
Bjoern Schwander, AHEAD GmbH
Einleitung / Introduction
Adipositas hat weltweit epidemische Ausmaße erreicht und ist ein wichtiger Faktor, der zur globalen Belastung durch chronische Erkrankungen und Behinderungen beiträgt. Daher gibt es einen großen Bedarf effektive und kosteneffektive Behandlungs- und Präventionsprogramme für Adipositas zu identifizieren. Um den klinischen und ökonomischen Langzeiteinfluss solcher Programme zu untersuchen, sind entscheidungsanalytische Modelle besonders relevant. Daher wurde bereits eine Vielzahl von entscheidungsanalytischen Modellen im Bereich der Adipositas publiziert. In dieser Studie werden die Erkenntnisse aus einem Forschungsprojekt vorgestellt, das darauf abzielte, die Validität häufig verwendeter struktureller Ansätze in gesundheitsökonomischen Adipositas-Modellen zu untersuchen.
Methode / Method
Es wurde ein dreistufiger Prozess durchgeführt. Zunächst wurde eine systematische Evaluation durchgeführt, um die häufig angewandten gesundheitsökonomischen Modellierungsansätze zu ermitteln. Zweitens wurde eine Replikation von qualitativ hochwertigen gesundheitsökonomischen Modellen durchgeführt und der Reproduktionserfolg bewertet. Drittens wurde auf Basis der erfolgreich replizierten Modelle eine externe Validierung und ein Vergleich der gesundheitsökonomischen Ergebnisse durchgeführt.
Ergebnisse / Results
Von 87 eingeschlossenen Arbeiten, die gesundheitsökonomische Adipositas-Modelle widerspiegeln, verwendeten 69 (79%) einzigartige Modellierungsansätze, aber nur für eine Minderheit (14%) wurde eine externe Validierung durchgeführt. Die am häufigsten simulierten Adipositas-bedingten Ereignisse waren koronare Herzkrankheit (83%), Typ-2-Diabetes (74%) und Schlaganfall (65%). Die häufigsten Ansätze zur Ereignissimulation waren entweder die Verwendung spezifischer Risikofunktionen (die von verschiedenen Risikofaktoren beeinflusst werden) oder einfachere, auf dem Body-Mass-Index (BMI) basierende Ansätze, unter Verwendung BMI-bezogener relativer Risiken (RR), die entweder auf einem kontinuierlichen oder einem kategorialen Bezug zum BMI basieren. Drei Modelle, die diese drei Hauptansätze widerspiegeln, wurden erfolgreich reproduziert. Bei der externen Ereignisvalidierung zeigte der Risikofunktionsansatz die besten Ergebnisse, gefolgt vom kontinuierlichen und dem kategorialen BMI-bezogenen Ansatz. Obwohl eine Variation im medianen und durchschnittlichen inkrementellen Kosteneffektivitätsverhältnis festgestellt wurde, gab es keinen statistisch signifikanten Unterschied in Bezug auf die inkrementelle Kosteneffektivität zwischen den Ansätzen.
Zusammenfassung / Conclusion
In diesem Forschungsprojekt wurden wichtige Aspekte in Bezug auf die Dokumentation, Reproduktion und Validierung gesundheitsökonomischer Modelle im Bereich der Adipositas ermittelt und wichtige Themenfelder für die zukünftige Forschung in diesen Bereichen identifiziert.
Authors
Björn Schwander, AHEAD GmbH
Mark Nuijten, a2m - Ars Accessus Medica
Silvia Evers, Maastricht University / Trimbos Institute
Mickaël Hiligsmann, Maastricht University
Modelling the Cost-Effectiveness of Treatments for Parkinson’s Disease: An updated Methodological Review
Judith Dams, Universitätsklinikum Hamburg-Eppendorf
Einleitung / Introduction
This article systematically reviewed the methodological quality of modelling approaches for economic evaluations of treatment of motor symptoms in Parkinson’s disease in studies published after 2010.
Methode / Method
A systematic literature search was undertaken using PubMed, EconLit, the Cochrane Database of Systematic Reviews, NHS EED (Economic Evaluation Database) and HTA databases of the UK NHS Centre for Review and Dissemination (March 2010 to July 2022). Quality was assessed using a checklist from the German Scientific Working Group.
Ergebnisse / Results
A total of 20 studies were evaluated, with the majority based on Markov models (n=18). Studies assessed the cost-effectiveness of medical (n=12) or surgical (n=8) treatment, and included costs from a payer or healthcare provider’s perspective (n=17). Furthermore, all studies included quality-adjusted life years as an effect measure. In the quality assessment of the literature, a mean score of 42.1 points (out of 56 points) on the checklist of the German Scientific Working Group was achieved. Seventeen studies concluded the intervention under study was (likely) cost-effective. No intervention was classified as cost-ineffective.
Zusammenfassung / Conclusion
The quality of economic evaluation models in Parkinson’s disease has improved in terms of calculating cost and transition parameters, as well as carrying out probabilistic sensitivity analyses, compared to published literature of previous systematic reviews up to 2010. However, there is still potential for further development in terms of the integration of non-motor complications and treatment changes, the transparent presentation of parameter estimates, as well as conducting sensitivity analyses and validations to support the interpretation of results.
Authors
Judith Dams, Universitätsklinikum Hamburg-Eppendorf
Johann-Jacob Zapp, Universitätsklinikum Hamburg-Eppendorf
Hans-Helmut König, Universitätsklinikum Hamburg-Eppendorf
Finding critical PROM-values for physician visits post knee replacement surgeries trough machine-learning approaches and its effects on equity
Johannes Cordier, University of St. Gallen - School of Medicine
Einleitung / Introduction
Knee replacement patients regularly see their physician after surgery to receive feedback on their recovery progress, and on potential alteration of their post-surgery treatment protocol. In a world with increasing healthcare costs and limited availability of healthcare personnel, only patients that require a visit should see their physician. Analytics can help to steer patients to visit their physician only if it benefits their recovery progress. With this paper we aim to develop an algorithm that optimally assigns rules for physician visits at three-, six- and twelve-months post-surgery based on patient characteristics and recovery pathways. Optimal assignment rules are built to maximize functional improvement and functional outcome of the patient, measured by the Knee injury and Osteoarthritis Outcome Score (KOOS), a disease specific patient-reported outcome measure (PROM). Finally, we analyze the distributional effect of assignment rules depending on the chosen dependent variable.
Methode / Method
We use patient-level data for 3’110 cases that underwent surgery in nine German hospitals in 2020 and 2021. Data was collected in the “PROMoting Quality” trial and contains patient characteristics, the post-treatment path, physician visits, and the KOOS at three-, six- and twelve-months post-surgery. We use a causal forest to estimate the double-robust treatment effects of visiting a physician, controlling for patient characteristics. Subsequently, we build a policy tree to develop the optimal treatment assignment rules, whether a patient should see her physician.
Ergebnisse / Results
On average we see that physician visits have a small insignificant effect on the functional improvement and outcome. However, we see heterogeneous effects allowing the model to optimally assign patient profiles to physician visits, and in turn to see overall welfare increases as only patients in need see their physician. Additionally, we see that choosing the 12-Months KOOS compared to the KOOS improvement as a dependent variable decreases equity.
Zusammenfassung / Conclusion
We present a novel approach to determine the optimal assignment to physician visits for patients after knee replacement. Selecting the right patients for a physician visit increases the average KOOS improvement, and therefore has a positive effect on overall welfare. We also show that is it not irrelevant what measure is chosen as dependent variable as this decision influences patient's equity .
Authors
Johannes Cordier, University of St. Gallen - School of Medicine
Benedikt Langenberger, TU Berlin
Irene Salvi, University of St. Gallen - School of Medicine
David Kuklinski, University of St. Gallen - School of Medicine
Alexander Geissler, University of St. Gallen - School of Medicine
Quantifizierung und Analyse von Heterogenität in Meta-Analysen am Beispiel von Risikofaktoren für Herpes Zoster
Maren Steinmann, Universität Bielefeld, Fakultät für Gesundheitswissenschaften, Arbeitsgruppe für Gesundheitsökonomie und Gesundheitsmanagement
Einleitung / Introduction
Meta-Analysen zielen darauf ab, Effektstärken verschiedener Studien zu einem Schätzer zu vereinen. Dies ist nur sinnvoll, wenn die Studien untereinander vergleichbar sind. Ist die Heterogenität zwischen den Studien sehr groß, können die wahren Effektschätzer erheblich über- bzw. unterschätzt werden. Es sollten daher verschiedene Methoden zur Quantifizierung und Analyse der Heterogenität herangezogen werden. Anhand einer Meta-Analyse zu Herpes Zoster Infektionen und 21 identifizierten Risikogruppen sollen die Modelle zur Quantifizierung der Heterogenität dargestellt und ihre Eignung diskutiert werden.
Methode / Method
Zur Schätzung eines gepoolten Odds Ratios (OR) wurde ein Random-Effects-Modell unter Verwendung der Hartung-Knapp/Sidik-Jonkman Adjustierung genutzt. Die Heterogenität der Studien wurde anhand der I²-Statistik bewertet. Zur Quantifizierung der Heterogenität wurden in einem ersten Modell Ausreißer ausgeschlossen, deren 95 %-Konfidenzintervall (CI) außerhalb des Bereichs der gepoolten OR lag. Anschließend wurde mittels der Leave-One-Out-Kreuzvalidierung iterativ der gepoolte OR rekalkuliert (aOR). Als weitere Möglichkeit der Untersuchung von Heterogenitätsmustern wurden Graphic Display of Heterogeneity (GOSH) Plots mit verschiedenen Algorithmen (Connectivity, Gaussian Mixture Model und k-means Clustering) getestet. Schließlich wurde eine multiple Meta-Regression mit Korrelationsmatrixen zur Bestimmung der Multikollinearität durchgeführt.
Ergebnisse / Results
Es konnte für alle Risikogruppen ein erhöhtes Risiko einer Herpes Zoster Infektion festgestellt werden, wobei die Heterogenität substantiell (d.h. I² ≥ 75%) war. Während für die Risikogruppe der Krebserkrankungen die einfache Entfernung von Ausreißern eine robustere Schätzung bewirkte (OR = 2.42, 95% CI: 1.91-3.07; I² = 99.07 vs. aOR = 2.21, 95% CI: 1.60-2.60; I² = 95.93) , konnte diese bei der Risikogruppe Depression im Vergleich zur GOSH-Diagnostik nur bedingt die Heterogenität erklären (OR = 1.27, 95% CI 1.03-1.54; I² = 95.98 vs. aOR = 1.20, 95% CI = 1.10-1.30; I² = 82.43). Lediglich zwei der in der Meta-Regression betrachteten Moderatoren (Region und Jahr) zeigten einen signifikanten Einfluss auf die OR der untersuchten Risikogruppen.
Zusammenfassung / Conclusion
Wie dieser Use Case zeigt, können in Abhängigkeit der untersuchten Outcomes unterschiedliche Modelle hilfreich sein, um potentielle Ausreißer zu identifizieren oder das Maß der Heterogenität zu erklären. Daher sollten die klassischen Random-Effects oder Fixed-Effects Modelle in Meta-Analysen mit sehr heterogenen Gruppen durch Sensitivitätsanalysen ergänzt werden, um möglichst robuste Ergebnisse zu erzielen. Neben frequentistischen Ansätzen sollte auch die Anwendung von bayesianischen Modellen in Erwägung gezogen werden, um der Heterogenität in Meta-Analysen angemessen Rechnung zu tragen.