Portalnutzung evaluieren

Bei dem Online-Portal tala-med handelt es sich um eine komplexe Intervention, da sie aus mehreren ineinandergreifenden Komponenten besteht und in unterschiedlichen Kontexten eingesetzt wird (Farin et al. 2017). Zur Evaluation von komplexen Interventionen wird empfohlen, außer dem Ergebnis der Intervention auch zu evaluieren, wie die Implementierung umgesetzt wurde (Moore et al. 2015).

Die Ergebnisevaluation untersucht dabei die Wirksamkeit einer Intervention, die Prozessevaluation liefert Einblicke in deren Umsetzung und damit in die Praxistauglichkeit. Die Prozessevaluation liefert zudem Hinweise darauf, inwiefern der Erfolg der Implementierung oder der Wirkung einer Intervention von bestimmten Kontextfaktoren abhängt. Für die Ergebnisevaluation stellen quantitative Ansätze meist die Methode der Wahl dar, allen voran die randomisiert kontrollierte Studie. Die Prozessevaluation erfordert meist qualitative Methoden wie Einzelinterviews oder Fokusgruppen.

Der Mixed Methods-Ansatz kombiniert quantitative und qualitative Ergebnisse. So können die Wirkung und die Generalisierbarkeit von Interventionen umfassender verstanden werden. Die folgenden Abschnitte skizzieren die Ergebnis- und die Prozessevaluation im Projekt GAP.

Im Mittelpunkt der Ergebnisevaluation steht die Überprüfung der Wirksamkeit. Hierfür wurde in GAP eine cluster-randomisierte Kontrollstudie durchgeführt. Ergänzt wurde sie durch eine gesundheitsökonomische Evaluation, um die finanzielle Wirkung der Intervention zu beurteilen.

Die Prozessevaluation untersucht die Umsetzung einer Intervention. Hierfür wurden in GAP Tiefeninterviews durchgeführt, in denen die teilnehmenden Hausärzte und Patienten gefragt wurden, wie sie das Portal genutzt haben, wie benutzerfreundlich sie es empfanden, wie zufrieden sie mit der Nutzung des Portals und dessen Einbezug im Arztgespräch waren und wie sie ihr eigenes Kommunikationsverhalten einschätzen.

Darüber hinaus wurde das Nutzungsverhalten von Patienten und Hausärzten, denen das Online-Portal tala-med zur Verfügung gestellt wurde, von dem Online-Portal aufgezeichnet und analysiert. Diese Aufzeichnungen boten Einblicke in den Umfang der Nutzung und besonders häufig genutzte Inhalte. Ein Vorteil dieser Nutzungsdaten besteht darin, dass von Seiten der Nutzenden kein aktives Zutun nötig ist (abgesehen von einer vorausgehenden Einwilligung zur Datenerhebung) und die Daten automatisch – quasi beiläufig – erhoben werden. Nachteile dieser Erhebungsform bestehen darin, dass die Aufzeichnungen mitunter von den Sicherheitseinstellungen der IT-Systeme der Nutzenden beeinträchtigt werden (z. B. können Ad-Blocker die Aufzeichnungen unterbinden) und dass im Vergleich zu kontrollierten Laborbedingungen unklar bleibt, was zu einem bestimmten Nutzerverhalten geführt hat. Besonders lange Nutzungszeiten können beispielsweise durch eine intensive Auseinandersetzung mit den Inhalten einer Seite entstanden sein oder dadurch, dass der Nutzer zwischenzeitlich etwas anderes getan hat.

Interviews mit Hausärzten

Aus den Interviews mit Hausärzten ging hervor, dass das Online-Portal vor allem dann nicht in dem intendierten Umfang in die Konsultation einbezogen wurde, wenn es aus Sicht des Hausarztes keine Erleichterung oder Verbesserung bot oder wenn es zu stark von seinem gewohnten Konsultationsablauf abwich und ein Einbezug somit zu viel zusätzliche Zeit erfordert hätte. Es gab große Unterschiede in den Aspekten des Online-Portals, die Hausärzte als Mehrwert angesehen und die sie genutzt haben. Das verdeutlicht, wie heterogen die Präferenzen der teilnehmenden Hausärzte sind (siehe auch van der Keylen et al. 2020).

Interviews mit Patienten

Die Interviews mit Patienten ergaben, dass die Hausärzte den Patienten insbesondere die Übungen empfahlen und das Online-Portal somit überwiegend als eine zusätzliche Therapieform anwendeten. Von den Patienten wurde das Portal insgesamt gut akzeptiert. Die große Mehrheit der interviewten Patienten fand das Portal gut, kam gut alleine damit zurecht und sah darin viele zusätzliche Mehrwerte (Schlett et al. 2022). Gegenüber anderen Informationsquellen wurde beispielsweise die hohe Vertrauenswürdigkeit und die Fundiertheit der Informationen des Portals angeführt. Zusätzlichen Nutzen zum Hausarztbesuch sahen Patienten u. a. darin, dass sie es zeitlich flexibel und eigenständig verwenden können und dass sie in dem Portal nützliche Informationen zum Wiederholen, Vertiefen und Reflektieren des Arztgespräches vorfinden.

Nutzungsdaten

Ergänzend zu den Interviews mit Patienten ließen die Nutzungsdaten erkennen, dass das Portal von den meisten Patienten nur ein oder zwei Mal (85%) genutzt wurde und dass tala-med mit einer durchschnittlichen Nutzungsdauer von 6 bzw. 16 Minuten (Median bzw. Mittelwert) meist nur kurz genutzt wurde.

Wie eine Nutzung gefördert werden kann, dafür boten sowohl die Analysen der Nutzungsdaten als auch die Antworten der interviewten Patienten zu Barrieren und Förderfaktoren aussichtsreiche Ansatzpunkte.

Als relevante Faktoren erwiesen sich hierbei

• Aspekte des Arztgespräches, in dem tala-med den Patienten vorgestellt wurde (z. B. das Ausmaß des Einbezugs im Arztgespräch)
• Aspekte der Patienten (z. B. das Ausmaß der Rückenbeschwerden und welche Komorbiditäten Patienten aufweisen)
• Aspekte des Portals (z. B. dessen Nutzbarkeit per Smartphone).

Die Studien der Prozessevaluation boten somit einen Einblick in das Ausmaß und in Limitationen der Umsetzung. Sie ermöglichen eine Einschätzung der generellen Praxistauglichkeit von tala-med und liefern Hinweise zu Anpassungen, die Hausärzten und Patienten die Nutzung von tala-med in ihrem Alltag erleichtern.