Bewertungskriterien analysieren

Als Basis für die Qualitätskriterien diente der Artikel von Eysenbach et al. 2002. Hierbei handelt es sich um ein Review, das zusammenfasst, welche Kriterien in bisherigen Studien verwendet wurden. Da die Vorgehensweise in der Arbeit von Eysenbach et al. 2002 als Beispiel für best practice genannt werden kann, haben wir die Qualitätskriterien zunächst übernommen.

Anschließend wurden die Informationen aus der bestehenden Literatur ergänzt. (Da es sich hierbei um einige Hundert eingeschlossene Studien handelt, werden diese hier nicht alle zitiert. Gerne können wir auf Anfrage die Suche in den Datenbanken transparent darstellen) Hierbei hielten wir fest, wie die Autoren das jeweilige Kriterium genannt und wie sie es gemessen haben. So können Unterschiede und Gemeinsamkeiten direkt erkannt werden. Neue Kriterien aus der Literatur, die in der ursprünglichen Liste (von Eysenbach et al. 2002) nicht genannt werden, wurden ergänzt und farbig markiert.

Nach der Sammlung der Kriterien und Operationalisierungsmöglichkeiten (wie wird das Kriterium überprüft) einigten wir uns auf eine einheitliche Bezeichnung. Das war notwendig, weil sich die Bezeichnungen von an sich gleichen Kriterien innerhalb der Literatur unterschieden. Ein weiteres Problem war, dass nicht aus jeder Publikation eine passende Operationalisierung für die Kriterien hervorging. Wenn dies der Fall war, haben wir zusätzlich recherchiert, um eine Möglichkeit zur Operationalisierung der Kriterien zu finden.

Alle unsere Entscheidungen wurden in einem GAP-Expertengremium diskutiert.

Im weiteren Verlauf wurden redundante, im Rahmen des Suchmaschinen-Projektes schwer umsetzbare oder aus User-Sicht verzichtbare Kriterien gelöscht.