Sie befinden sich hier: gap-medinfo.de » Methoden-Leitfaden » Portalnutzung evaluieren

Portalnutzung evaluieren

Wie wirksam und wie praxistauglich ist eine neue entwickelte Intervention? Um diese zentralen Fragen zu beurteilen, ist eine Evaluation erforderlich. Im Projekt GAP wurde die Evaluation von der Sektion Versorgungsforschung und Rehabilitationsforschung (SEVERA) vorgenommen. Die SEVERA ist eine Forschungseinrichtung des Universitätsklinikums Freiburg, die nicht in die Entwicklung der Intervention involviert war und langjährige Expertise in der Evaluation komplexer Interventionen aufweist.

Hintergrund

Bei dem Online-Portal tala-med handelt es sich um eine komplexe Intervention, da sie aus mehreren ineinandergreifenden Komponenten besteht und in unterschiedlichen Kontexten eingesetzt wird (Farin et al. 2017). Zur Evaluation von komplexen Interventionen wird empfohlen, außer dem Ergebnis der Intervention auch zu evaluieren, wie die Implementierung umgesetzt wurde (Moore et al. 2015).

Die Ergebnisevaluation untersucht dabei die Wirksamkeit einer Intervention, die Prozessevaluation liefert Einblicke in deren Umsetzung und damit in die Praxistauglichkeit. Die Prozessevaluation liefert zudem Hinweise darauf, inwiefern der Erfolg der Implementierung oder der Wirkung einer Intervention von bestimmten Kontextfaktoren abhängt. Für die Ergebnisevaluation stellen quantitative Ansätze meist die Methode der Wahl dar, allen voran die randomisiert kontrollierte Studie. Die Prozessevaluation erfordert meist qualitative Methoden wie Einzelinterviews oder Fokusgruppen.

Der Mixed Methods-Ansatz kombiniert quantitative und qualitative Ergebnisse. So können die Wirkung und die Generalisierbarkeit von Interventionen umfassender verstanden werden. Die folgenden Abschnitte skizzieren die Ergebnis- und die Prozessevaluation im Projekt GAP.

Ergebnisevaluation

Im Mittelpunkt der Ergebnisevaluation steht die Überprüfung der Wirksamkeit. Hierfür wurde in GAP eine cluster-randomisierte Kontrollstudie durchgeführt. Ergänzt wurde sie durch eine gesundheitsökonomische Evaluation, um die finanzielle Wirkung der Intervention zu beurteilen.

PICOS-Steckbrief zur randomisierten Kontrollstudie

Das Akronym PICOS steht für ein international etabliertes Schema, um Wirksamkeitsstudien strukturiert darzustellen und schnell erfassen zu können.

  • P steht für Population (in GAP: Hausärzte und Patienten mit Rückenschmerzen).
  • I steht für Intervention oder Maßnahmen (in GAP: Portalnutzung).
  • C steht für Comparator (englisch für Vergleich, in GAP: hausärztliche Routineberatung ohne Portalnutzung).
  • O steht für Outcome (englisch für Endpunkt oder zu verändernde Zielgröße, in GAP: z. B. Informiertheit des Patienten).
  • S steht für Studiendesign (in GAP: cluster-randomisierte Studie, d.h. es wird durch das Zufallsprinzip festgelegt, welche der teilnehmenden Hausärzte das Portal nutzen und welche nicht).
P Über 70 Hausärzte aus dem nordbayerischen Raum und von ihren Patienten mehrere hundert erwachsene BKK-Versicherte mit Rückenschmerzen.
IDie Nutzung des Rückenschmerz-Portals.
Während der Konsultation: Der Arzt nutzt Hilfen für die Diagnostik und die gemeinsame Therapiefindung mit dem Patienten sowie Erklär- und Anschauungsmaterial für den Patienten und empfiehlt dem Patienten, das Portal nach der Konsultation zuhause zu nutzen.
Nach der Konsultation: Der Patient nutzt das empfohlene Material aus dem Portal inkl. Trainingsvideos zur Mobilisierung und Kräftigung sowie weitere, verständlich aufbereitete Informationen zu Rückenschmerz und zur Vorbereitung auf weitere Arzt-Patienten-Gespräche.
CDie Kontrollintervention ist die Routinekonsultation ohne Portalnutzung. Ärzte und Patienten der Kontrollgruppe erhalten keinen Zugang zum Rückenschmerz-Portal.
OPrimärer Endpunkt ist die Informiertheit des Patienten sowie die vom Arzt wahrgenommene Qualität der Arzt-Patienten-Kommunikation. Der Patient bewertet seine Informiertheit vor der Konsultation sowie nach 3 Wochen. Der Hausarzt bewertet die Qualität der Arzt-Patienten-Kommunikation bevor er den ersten Patienten in die Studie eingeschlossen und nachdem er den letzten Studienpatienten behandelt hat.
Sekundäre Endpunkte sind die Qualität der Arzt-Patienten-Kommunikation aus Perspektive des Patienten, die Gesundheitskompetenz, die Intensität der Rückenschmerzen, die Fehltage bei der Arbeit, die rückenschmerzbezogenen Gesundheitskosten aus der Perspektive des Gesundheitssystems und die vom Arzt wahrgenommene Deckung des Informationsangebotes mit den Informationsbedürfnissen.
SDie Hausarztpraxen sind die Cluster in dem cluster-randomisierten Design. Befragungen erfolgen über validierte Selbsteinschätzungsfragebögen in der Hausarztpraxis, per Post oder online und somit nicht verblindet. Routinedaten der BKKen werden zur gesundheitsökonomischen Evaluation herangezogen.

Gesundheitsökonomische Evaluation

In Ergänzung zur Wirksamkeit der Intervention, die mit der randomisierten Kontrollstudie überprüft wird, betrachtet die gesundheitsökonomische Evaluation die finanzielle Wirkung der Intervention aus Sicht der Kostenträger. Zu diesem Zweck wird eine Budget-Impact Analyse durchgeführt. Mit Blick auf die rückenschmerz­bezogene Inanspruchnahme des Gesundheitsversorgungssystems und die Kosten durch Arbeitsunfähigkeit wird bei dieser Analysemethode die Kostenersparnis durch die Intervention mit den budgetwirksamen Kosten verglichen, die mit der Intervention verbunden sind. Außerdem werden explorative Kosten-Wirksamkeits-Analysen durchgeführt, um zu beurteilen, welche Kosten mit dem Anstieg der Informiertheit (dem primären Endpunkt) um eine Einheit einhergehen. Dadurch wird beispielsweise ersichtlich, welche Kosten für den Kostenträger entstehen, wenn die Informiertheit von Patienten durch den Einsatz der überprüften Intervention (bei GAP das Online-Rückenschmerzportal) um einen bestimmten Prozentsatz erhöht werden soll.

Prozessevaluation

Die Prozessevaluation untersucht die Umsetzung einer Intervention. Hierfür wurden in GAP Tiefeninterviews durchgeführt, in denen die teilnehmenden Hausärzte und Patienten gefragt wurden, wie sie das Portal genutzt haben, wie benutzerfreundlich sie es empfanden, wie zufrieden sie mit der Nutzung des Portals und dessen Einbezug im Arztgespräch waren und wie sie ihr eigenes Kommunikationsverhalten einschätzen.

Darüber hinaus wurde das Nutzungsverhalten von Patienten und Hausärzten, denen das Online-Portal tala-med zur Verfügung gestellt wurde, von dem Online-Portal aufgezeichnet und analysiert. Diese Aufzeichnungen boten Einblicke in den Umfang der Nutzung und besonders häufig genutzte Inhalte. Ein Vorteil dieser Nutzungsdaten besteht darin, dass von Seiten der Nutzenden kein aktives Zutun nötig ist (abgesehen von einer vorausgehenden Einwilligung zur Datenerhebung) und die Daten automatisch – quasi beiläufig – erhoben werden. Nachteile dieser Erhebungsform bestehen darin, dass die Aufzeichnungen mitunter von den Sicherheitseinstellungen der IT-Systeme der Nutzenden beeinträchtigt werden (z. B. können Ad-Blocker die Aufzeichnungen unterbinden) und dass im Vergleich zu kontrollierten Laborbedingungen unklar bleibt, was zu einem bestimmten Nutzerverhalten geführt hat. Besonders lange Nutzungszeiten können beispielsweise durch eine intensive Auseinandersetzung mit den Inhalten einer Seite entstanden sein oder dadurch, dass der Nutzer zwischenzeitlich etwas anderes getan hat.

Interviews mit Hausärzten

Aus den Interviews mit Hausärzten ging hervor, dass das Online-Portal vor allem dann nicht in dem intendierten Umfang in die Konsultation einbezogen wurde, wenn es aus Sicht des Hausarztes keine Erleichterung oder Verbesserung bot oder wenn es zu stark von seinem gewohnten Konsultationsablauf abwich und ein Einbezug somit zu viel zusätzliche Zeit erfordert hätte. Es gab große Unterschiede in den Aspekten des Online-Portals, die Hausärzte als Mehrwert angesehen und die sie genutzt haben. Das verdeutlicht, wie heterogen die Präferenzen der teilnehmenden Hausärzte sind (siehe auch van der Keylen et al. 2020).

Interviews mit Patienten

Die Interviews mit Patienten ergaben, dass die Hausärzte den Patienten insbesondere die Übungen empfahlen und das Online-Portal somit überwiegend als eine zusätzliche Therapieform anwendeten. Von den Patienten wurde das Portal insgesamt gut akzeptiert. Die große Mehrheit der interviewten Patienten fand das Portal gut, kam gut alleine damit zurecht und sah darin viele zusätzliche Mehrwerte (Schlett et al. 2020). Gegenüber anderen Informationsquellen wurde beispielsweise die hohe Vertrauenswürdigkeit und die Fundiertheit der Informationen des Portals angeführt. Zusätzlichen Nutzen zum Hausarztbesuch sahen Patienten u. a. darin, dass sie es zeitlich flexibel und eigenständig verwenden können und dass sie in dem Portal nützliche Informationen zum Wiederholen, Vertiefen und Reflektieren des Arztgespräches vorfinden.

Nutzungsdaten

Ergänzend zu den Interviews mit Patienten ließen die Nutzungsdaten erkennen, dass das Portal von den meisten Patienten nur ein oder zwei Mal (85%) genutzt wurde und dass tala-med mit einer durchschnittlichen Nutzungsdauer von 6 bzw. 16 Minuten (Median bzw. Mittelwert) meist nur kurz genutzt wurde.

Wie eine Nutzung gefördert werden kann, dafür boten sowohl die Analysen der Nutzungsdaten als auch die Antworten der interviewten Patienten zu Barrieren und Förderfaktoren aussichtsreiche Ansatzpunkte.

Als relevante Faktoren erwiesen sich hierbei

  • Aspekte des Arztgespräches, in dem tala-med den Patienten vorgestellt wurde (z. B. das Ausmaß des Einbezugs im Arztgespräch)
  • Aspekte der Patienten (z. B. das Ausmaß der Rückenbeschwerden und welche Komorbiditäten Patienten aufweisen)
  • Aspekte des Portals (z. B. dessen Nutzbarkeit per Smartphone).

Die Studien der Prozessevaluation boten somit einen Einblick in das Ausmaß und in Limitationen der Umsetzung. Sie ermöglichen eine Einschätzung der generellen Praxistauglichkeit von tala-med und liefern Hinweise zu Anpassungen, die Hausärzten und Patienten die Nutzung von tala-med in ihrem Alltag erleichtern.

Nähere Informationen zu der GAP-Studie finden sich im englischprachig publizierten Studienprotokoll.

Autoren: Prof. Dr. Erik Farin-Glattacker , Dr. Christian Schlett , Dr. Sebastian Voigt-Radloff , Nicole Röttele M. Sc.
Erstmals veröffentlicht: 20.05.2021
Aktualisiert vom Editoren-Team: 02.07.2021

Literatur

Farin E, Möhler R & Meyer G (2017):  Doppelte Komplexität: komplexe Interventionen in komplexen Kontexten, in Lehrbuch Versorgungsforschung Systematik – Methodik – Anwendung (Pfaff H, Neugebauer EAM, Glaeske G & Schrappe M. Hrsg.), 84-88.

Moore GF, Audrey S, Barker M, Bond L, Bonell C, Hardeman W, Moore L, O’Caithain A, Tinati T, Wight D, & Baird J (2015): Process evaluation of complex interventions: Medical Research Council guidance. BMJ, 350: h1258.

Schlett C, Röttele N, van der Keylen P, Schöpf-Lazzarino AC, Klimmek M, Körner M, Schnitzius K & Farin-Glattacker E (2020): Akzeptanz, Benutzerfreundlichkeit und Mehrwert eines Webportals zu Rückenschmerzen aus der Perspektive von Patienten – eine qualitative Interviewstudie. Vortrag auf dem Deutschen Kongress für Versorgungsforschung, digital.

Van der Keylen P, Tomandl J, Wollmann K, Möhler R, Sofroniou M, Maun A, Voigt-Radloff S & Frank L. (2020): The Online Health Information Needs of Family Physicians (FPs): A Systematic Review of Qualitative and Quantitative Studies. J Med Internet Res, 22 (12): e18816.

Voigt-Radloff S, Schöpf AC, Boeker M, Frank L, Farin E, Kaier K, Körner M, Wollmann K, Lang B, Meerpohl JJ, Möhler R, Niebling W, Serong J, Lange R, van der Keylen P, Maun A (2019): Well informed physician patient communication in consultations on back pain – study protocol of the cluster randomized GAP trial. BMC Fam Pract, 20 (1): 33.