Delphi4All — Benutzerhandbuch

Konsensuskonferenzen nach der Delphi-Methode

Was Delphi4All ist

Delphi4All dient dazu, eine Konsensuskonferenz nach der Delphi-Methode durchzuführen. Eine Gruppe von Fachleuten — die Panelisten — stimmt über viele mögliche klinische Fälle ab; das System ermittelt, wo Einigkeit besteht und wo nicht, stellt nur das erneut zur Abstimmung, worüber die Gruppe geteilter Meinung ist, und beschreibt die Ergebnisse am Ende so knapp wie möglich.

Die zwei Rollen

Der Koordinator registriert sich auf der Website, erstellt die Studie, lädt die Panelisten ein, öffnet und schließt die Runden und liest den Abschlussbericht.
Der Panelist registriert sich nicht: Er erhält per E-Mail einen persönlichen Zugangscode und stimmt damit ab. Der Code kennzeichnet seine Stimmen und darf daher nicht weitergegeben werden.

Als Koordinator registrieren

Die Registrierung erfordert zwei Bestätigungen und erfolgt in vier Schritten.

Man füllt das Registrierungsformular mit Name, E-Mail-Adresse, Einrichtung und Grund der Anfrage aus.
Es kommt eine E-Mail mit einem Link: Ihn zu öffnen bestätigt, dass die Adresse Ihnen gehört.
Der Administrator erhält die Anfrage und entscheidet, ob er sie genehmigt.
Wird die Anfrage genehmigt, kommt eine zweite E-Mail mit dem Link zur Wahl des Passworts. Ab da kann man sich anmelden.

Name, Einrichtung, Sprache und Passwort lassen sich jederzeit im eigenen Profil ändern: der eigene Name in der oberen Leiste.

Bevor Sie beginnen: was vorzubereiten ist

Eine Studie lässt sich leichter aufbauen, wenn man sie zuerst auf Papier skizziert, und es lohnt sich, sie vor der Eingabe mit der Gruppe zu besprechen: Nach der ersten Runde lässt sich ihr Aufbau nicht mehr ändern. Sie brauchen drei Listen.

Die Frage: was Sie vom Panel wissen wollen. Zum Beispiel: „Wann ist eine Ultraschalluntersuchung bei einem Erwachsenen mit akuten Bauchschmerzen angemessen?“.
Die Verfahren: die zu beurteilenden Entscheidungen, also die möglichen Antworten auf die Frage. Im Beispiel: Ultraschall, Bauch-CT, stationäre Aufnahme.
Die Faktoren, die die Antwort ändern können: die Merkmale des Patienten, die ein Verfahren nach Ansicht der Fachleute mehr oder weniger angemessen machen. Im Beispiel: Geschlecht, Alter, Schwangerschaft, Fieber. Sie werden zu den Variablen.

Ein Rat: Nehmen Sie nur die Faktoren auf, von denen jemand in der Gruppe wirklich glaubt, dass sie das Urteil ändern können. Jeder zusätzliche Faktor vervielfacht die Arbeit der Panelisten, wie weiter unten gezeigt wird.

Die Studie anlegen

Unter „Meine Studien“ fragt der Bereich „Neue Studie“ nur wenig ab:

„Titel“ und „Beschreibung“: so sehen die Panelisten die Studie oben auf der Abstimmungsseite. Schreiben Sie am besten die Studienfrage in die Beschreibung.
„Mindestbewertung“ und „Höchstbewertung“: die Skala. Die RAND/UCLA-Methode verwendet 1 bis 9, und so lässt man sie am besten: Die drei Bereiche niedrig, mittel und hoch sind für diese Skala gedacht.
„Anzahl der Panelisten“: wie viele Fachleute Sie erwarten. Das ist ein Richtwert; entscheidend ist, wen Sie im Reiter Panelisten tatsächlich eintragen.
„Maximale Rundenzahl“: Meist reichen zwei oder drei.

Nach „Erstellen“ öffnet sich die Seite der Studie, aufgeteilt in Reiter: Kapitel, Verfahren, Panelisten, Zugriffsmatrix, Runden, Einstellungen, Bericht. Füllen Sie sie am besten in dieser Reihenfolge aus, die auch die der folgenden Abschnitte ist.

Kapitel, Variablen und Optionen

Eine Studie besteht aus Kapiteln. Jedes Kapitel enthält die Variablen, die den Fall beschreiben, und jede Variable hat eine feste Liste von Optionen: etwa Geschlecht mit männlich und weiblich, Alter mit unter 65 Jahre und 65 Jahre oder älter, Schwangerschaft mit ja und nein. Der Panelist schreibt nie freien Text: Er wählt unter den von Ihnen festgelegten Optionen.

Ein Kapitel fasst Fälle zusammen, die mit denselben Variablen beschrieben werden. Betrifft die Studie Erwachsene und Kinder, und zählen bei Kindern andere Faktoren — etwa das Gewicht —, legen Sie zwei Kapitel an: „Erwachsene“ und „Kinder“. Werden alle Fälle gleich beschrieben, genügt ein Kapitel.

So geht es im Reiter Kapitel:

Geben Sie unter „Neues Kapitel“ den Titel ein und klicken Sie auf „Erstellen“.
Geben Sie im Kapitel unter „Name der neuen Variable“ den Namen ein — zum Beispiel „Geschlecht“ — und drücken Sie die Eingabetaste oder „Neue Variable“. Der Cursor bleibt im Feld, sodass Sie gleich die nächste Variable eingeben können. Der Name genügt; den internen Code leitet das Programm selbst ab.
Geben Sie neben jeder Variable unter „Name der Option“ ihre Optionen einzeln ein, wieder mit der Eingabetaste: „Männlich“, dann „Weiblich“.

Zwei Regeln für Optionen, die funktionieren. Sie müssen sich gegenseitig ausschließen: Ein Patient kann nicht in zwei Optionen derselben Variable fallen. Und sie müssen alle Fälle abdecken: Jeder Patient muss in eine davon fallen. Beim Alter passen also „unter 65 Jahre“ und „65 Jahre oder älter“; „jung“ und „alt“ sind für einen Fünfzigjährigen mehrdeutig.

Wie viele Szenarien: Vorsicht beim Wachstum

Das Programm erzeugt alle möglichen Kombinationen der Optionen. Ihre Zahl ergibt sich, wenn man die Anzahl der Optionen jeder Variable multipliziert, und sie wächst sehr schnell:

Geschlecht (2) × Alter (2) × Fieber (2) = 8 Szenarien.
Mit Schwangerschaft (2) dazu: 16 Szenarien.
Wenn das Alter in drei statt zwei Gruppen geteilt wird: 24 Szenarien.
Mit fünf Variablen zu je drei Optionen: 243 Szenarien.

Und jedes Szenario wird für jedes Verfahren bewertet: Bei 24 Szenarien und 3 Verfahren gibt jeder Panelist pro Runde 72 Stimmen ab. Unter jedem Kapitel steht immer, wie viele Szenarien entstehen werden, vor und nach den Ausnahmen. Behalten Sie das beim Hinzufügen von Variablen und Optionen im Blick, und fragen Sie sich, ob jede Variable die Arbeit wirklich wert ist, die sie verlangt.

Ausnahmen und Szenarien

Ein Szenario ist eine Kombination von Optionen, eine je Variable: etwa Geschlecht = männlich, Alter = unter 65 Jahre, Schwangerschaft = nein. Das System erzeugt alle möglichen Kombinationen jedes Kapitels selbst. Ausnahmen schließen die unmöglichen aus — Geschlecht = männlich zusammen mit Schwangerschaft = ja —, die dann nicht zur Abstimmung erscheinen.

Um eine Ausnahme anzulegen, wählen Sie unten im Kapitel in zwei oder mehr Auswahllisten einen Wert — etwa „Männlich“ bei Geschlecht und „Ja“ bei Schwangerschaft —, lassen die übrigen auf „—“ und klicken auf „Neue Ausnahme“. Eine Liste auf „—“ bedeutet „beliebiger Wert“. Die Zahl der Szenarien unter dem Kapitel sinkt sofort: im Beispiel von 16 auf 12.

Wenn Variablen, Optionen und Ausnahmen stehen, klicken Sie auf „Szenarien erzeugen“. Achtung: Sobald die erste Runde angelegt ist, lassen sich die Szenarien nicht mehr neu erzeugen, weil sich die abgegebenen Stimmen darauf beziehen. Prüfen Sie die Liste, bevor Sie beginnen.

Die Verfahren

Die Verfahren sind die Fragen, die zu jedem Szenario gestellt werden: meist wenige, selten mehr als fünf. In der Abstimmungstabelle sind sie die Spalten. Zu jedem Szenario gibt der Panelist je Verfahren eine Bewertung ab.

Geben Sie im Reiter Verfahren den Namen und bei Bedarf eine Beschreibung ein und klicken Sie auf „Neues Verfahren“. Formulieren Sie sie als genaue Entscheidungen, die ein Panelist als angemessen oder nicht beurteilen kann: „Abdomen-Ultraschall innerhalb von 6 Stunden“ funktioniert besser als „Bildgebung“. Sind sich zwei Verfahren zu ähnlich, geben die Panelisten fast gleiche Stimmen ab und das Ergebnis sagt wenig.

Panelisten und Zugangscodes

Der Koordinator trägt Namen und Adressen der Panelisten ein — meist neun, die Zahl ist aber frei. Das System erzeugt für jeden einen eindeutigen Code und schickt ihn per E-Mail zusammen mit dem Link zum Abstimmen. Wer den Code verliert, kann ihn sich vom Koordinator erneut senden lassen.

Im Reiter Panelisten braucht jeder „Vor- und Nachname“, „E-Mail-Adresse“ und „Sprache“: Einladung und Abstimmungsseite erhält er in dieser Sprache. „Einladung senden“ verschickt die E-Mail mit dem persönlichen Link; „Link kopieren“ ist für den Fall, dass Sie ihn lieber selbst schicken. Senden Sie die Einladungen nicht, bevor die Runde geöffnet ist: Wer den Link öffnet, fände eine Seite ohne etwas zum Abstimmen.

Die Berechtigungsmatrix

Nicht alle müssen über alles abstimmen. Die Matrix legt für jeden Panelisten fest, welche Kombinationen aus Kapitel und Verfahren ihm zufallen. Eine für ein Paar Kapitel-Verfahren erteilte Berechtigung gilt für alle Szenarien dieses Kapitels, denn abgestimmt wird über die Szenarien, nicht über die Kapitel.

Im Reiter Zugriffsmatrix sind die Zeilen die Panelisten und die Spalten die Paare aus Kapitel und Verfahren; ein Klick auf ein Feld schaltet es ein oder aus, danach „Speichern“. Beispiel: Soll in einem gemischten Panel der Radiologe nur Ultraschall und CT beurteilen, nicht die Aufnahme, schalten Sie sein Feld für die Aufnahme aus. „Alles erlauben“ und „Alles verbieten“ wirken auf die ganze Tabelle.

Felder, die Sie nicht anfassen, folgen der „Standardberechtigung für nicht gesetzte Zellen“: Deshalb bleibt ein später hinzugefügtes Kapitel oder Verfahren nicht aus Versehen ausgeschlossen. Stimmen alle über alles ab, ist nichts zu tun.

Die Einstellungen

Der Reiter Einstellungen enthält die Konsensregel, ihre Schwellen und die Wörter in den Berichten. Die Standardwerte entsprechen der weiter unten beschriebenen RAND/UCLA-Methode: Lassen Sie sie so, wenn Sie keinen bestimmten Grund zur Änderung haben.

„Zu verwerfende niedrigste Stimmen“ und „Zu verwerfende höchste Stimmen“: wie viele Extremwerte vor dem Zählen entfernt werden. Standard: je eine auf jeder Seite.
„Für Einigkeit zulässige Stimmen außerhalb des Bereichs“: wie viele Stimmen außerhalb des Bereichs liegen dürfen, ohne die Einigkeit aufzuheben. Standard: eine.
„Stimmen außerhalb des Bereichs, ab denen die Uneinigkeit stark ist“: bis zu dieser Zahl ist die Uneinigkeit schwach, darüber stark. Standard: zwei.
„Mindeststimmen zur Beurteilung einer Zelle“: darunter wird die Zelle nicht beurteilt. Standard: drei.
„Begriffe“: die Wörter für Bereiche und Ergebnisse, etwa „angemessen“ statt „hoch“. Sie lassen sich jederzeit ändern, auch während die Studie läuft.

Letzte Prüfung vor der ersten Runde

Bevor Sie die Panelisten einbeziehen, erspart eine kurze Prüfung einen Neuanfang:

Jedes Kapitel hat seine Variablen, und jede Variable mindestens zwei Optionen.
Die Zahl der Szenarien in jedem Kapitel entspricht Ihren Erwartungen.
Sie haben auf „Szenarien erzeugen“ geklickt.
Alle Verfahren sind da und klar formuliert.
Die Panelisten haben die richtige Adresse und Sprache, und die Matrix legt fest, wer worüber abstimmt.
Im Reiter Runden: „Neue Runde“, dann „Runde öffnen“.
Erst jetzt senden Sie im Reiter Panelisten die Einladungen.

Von hier an beschreibt das Handbuch, was während der Abstimmung geschieht.

Wie abgestimmt wird

Der Panelist öffnet den erhaltenen Link und findet eine Tabelle: In der ersten Spalte stehen die Kapitel, unterteilt in eine Zeile je Szenario; die übrigen Spalten sind die Verfahren. In jeder Zelle stehen die Zahlen der Skala — meist 1 bis 9 — nebeneinander: Man klickt die gewählte Zahl an und darum erscheint ein Kreis. Die Stimmen werden unterwegs von selbst gespeichert; am Ende bestätigt man die Abgabe.

Wann Einigkeit besteht

Die Skala teilt sich in drei Bereiche: niedrige Stimmen, mittlerer Bereich, hohe Stimmen. Je Zelle werden die höchste und die niedrigste Stimme beiseitegelegt — die einzelnen Ausreißer — und die übrigen betrachtet. Fallen sie alle bis auf höchstens eine in denselben Bereich, besteht Einigkeit. Bleiben zwei außerhalb, ist die Uneinigkeit schwach; sind es mehr als zwei, ist sie stark.

Die Schwellen, die Grenzen der Bereiche und die Wörter, mit denen sie benannt werden, lassen sich in den Studieneinstellungen ändern: Es sind Ihre Entscheidungen, nicht die des Programms.

Die zweite Runde

Nach dem Schließen der ersten Runde kann der Koordinator eine zweite öffnen: Nur die Zellen mit Uneinigkeit kommen erneut zur Abstimmung. Wer abstimmt, sieht sie mit einem waagerechten Balken unter den Zahlen wieder, der von der niedrigsten bis zur höchsten Stimme des letzten Mals reicht, und direkt darunter den Median der vorigen Runde. So sieht jeder, wo die Gruppe stand, bevor er erneut entscheidet.

Eine im mittleren Bereich entstandene Einigkeit bleibt Einigkeit und kommt nicht erneut zur Abstimmung: Sie ist eine Entscheidung der Gruppe, keine Unentschlossenheit.

Eine Zelle von Hand schließen

Löst sich eine Zelle nicht von selbst, kann der Koordinator sie aus der Statistiktabelle heraus schließen, mit einer Notiz und auf Wunsch mit einem in der Konferenz beschlossenen Ergebnis. Eine geschlossene Zelle kommt nicht erneut zur Abstimmung, und im Abschlussbericht erscheint das gewählte Ergebnis. Ein Wiederöffnen stellt alles wieder her.

Der Abschlussbericht

Der Bericht zählt die Szenarien nicht einzeln auf: Er reduziert sie auf die Variablen, die einen Unterschied machen. Gilt bei einem Verfahren die Einigkeit für Männer, junge wie alte, sagt der Bericht «Geschlecht = männlich» und schweigt zum Alter, weil es das Ergebnis nicht ändert. Zu jedem Kapitel und Verfahren werden die bestimmenden und die einflusslosen Variablen genannt.

Am Anfang des Berichts stehen dieselben Bereiche als Sätze, zum Einfügen in den Ergebnisteil eines Artikels. Alles lässt sich als CSV und als reiner Text ausgeben, und die Seite druckt ohne die Navigation.

Sprachen und Wörter der Studie

Die Oberfläche gibt es in mehreren Sprachen und wird über die obere Leiste umgestellt: Jeder Panelist stimmt in seiner eigenen ab. Die Wörter für Bereiche und Ergebnisse — angemessen, unsicher, nicht angemessen, Einigkeit, Uneinigkeit — werden dagegen nicht übersetzt: Sie sind Daten Ihrer Studie, in den Einstellungen geschrieben, und erscheinen daher für alle gleich und ebenso im Abschlussbericht.