Delphi4All — Handleiding

Consensusconferenties met de Delphi-methode

Wat Delphi4All is

Delphi4All dient om een consensusconferentie met de Delphi-methode te houden. Een groep deskundigen — de panelleden — stemt over veel mogelijke klinische gevallen; het systeem bepaalt waar overeenstemming is en waar niet, brengt alleen datgene opnieuw in stemming waarover de groep verdeeld is, en beschrijft de resultaten ten slotte zo beknopt mogelijk.

De twee rollen

De coördinator registreert zich op de site, bouwt de studie, nodigt de panelleden uit, opent en sluit de rondes en leest het eindrapport.
Het panellid registreert zich niet: het ontvangt per e-mail een persoonlijke toegangscode en stemt daarmee. De code identificeert de stemmen en mag dus niet worden gedeeld.

Registreren als coördinator

Registratie vraagt twee bevestigingen en verloopt in vier stappen.

U vult het registratieformulier in met naam, e-mailadres, instelling en de reden van de aanvraag.
Er komt een e-mail met een link: die openen bevestigt dat het adres van u is.
De beheerder ontvangt de aanvraag en beslist of hij die goedkeurt.
Als de aanvraag wordt goedgekeurd, komt een tweede e-mail met de link om een wachtwoord te kiezen. Vanaf dan kunt u inloggen.

Naam, instelling, taal en wachtwoord kunt u altijd wijzigen in uw profiel: uw eigen naam in de bovenbalk.

Voordat u begint: wat u voorbereidt

Een studie is makkelijker op te bouwen als u haar eerst op papier schetst, en het loont om haar met de groep te bespreken voordat u haar invoert: na de eerste ronde kan de opbouw niet meer worden gewijzigd. U hebt drie lijsten nodig.

De vraag: wat u van het panel wilt weten. Bijvoorbeeld: ‘wanneer is een echografie passend bij een volwassene met acute buikpijn?’.
De procedures: de te beoordelen beslissingen, dus de mogelijke antwoorden op de vraag. In het voorbeeld: echografie, CT van de buik, ziekenhuisopname.
De factoren die het antwoord kunnen veranderen: de kenmerken van de patiënt die een procedure volgens de deskundigen meer of minder passend maken. In het voorbeeld: geslacht, leeftijd, zwangerschap, koorts. Dat worden de variabelen.

Een tip: neem alleen factoren op waarvan iemand in de groep echt denkt dat ze het oordeel kunnen veranderen. Elke extra factor vermenigvuldigt het werk van de panelleden, zoals verderop blijkt.

De studie aanmaken

Onder ‘Mijn studies’ vraagt het vak ‘Nieuwe studie’ om een paar gegevens:

‘Titel’ en ‘Beschrijving’: zo zien de panelleden de studie bovenaan de stempagina. Zet de onderzoeksvraag het best in de beschrijving.
‘Minimale score’ en ‘Maximale score’: de schaal. De RAND/UCLA-methode gebruikt 1 tot 9, en die laat u het best zo: de drie gebieden laag, midden en hoog zijn voor die schaal bedoeld.
‘Aantal panelleden’: hoeveel deskundigen u verwacht. Het is een richtgetal; wat telt is wie u werkelijk toevoegt op het tabblad Panelleden.
‘Maximaal aantal rondes’: meestal zijn twee of drie genoeg.

Na ‘Aanmaken’ opent de pagina van de studie, verdeeld in tabbladen: Hoofdstukken, Procedures, Panelleden, Toegangsmatrix, Rondes, Instellingen, Rapport. Vul ze het best in deze volgorde in; dat is ook de volgorde van de volgende hoofdstukken van deze handleiding.

Hoofdstukken, variabelen en opties

Een studie bestaat uit hoofdstukken. Elk hoofdstuk bevat de variabelen die het geval beschrijven, en elke variabele heeft een gesloten lijst met opties: bijvoorbeeld geslacht met man en vrouw, leeftijd met jonger dan 65 en 65 of ouder, zwangerschap met ja en nee. Het panellid schrijft nooit vrije tekst: het kiest uit de opties die u hebt vastgelegd.

Een hoofdstuk groepeert gevallen die met dezelfde variabelen worden beschreven. Gaat de studie over volwassenen én kinderen, en tellen bij kinderen andere factoren — het gewicht bijvoorbeeld —, maak dan twee hoofdstukken: ‘Volwassenen’ en ‘Kinderen’. Worden alle gevallen op dezelfde manier beschreven, dan is één hoofdstuk genoeg.

Zo gaat het, op het tabblad Hoofdstukken:

Typ bij ‘Nieuw hoofdstuk’ de titel en klik op ‘Aanmaken’.
Typ in het hoofdstuk bij ‘Naam van de nieuwe variabele’ de naam — bijvoorbeeld ‘Geslacht’ — en druk op Enter of op ‘Nieuwe variabele’. De cursor blijft in het veld, zodat u meteen de volgende variabele kunt typen. De naam is genoeg; de interne code bepaalt het programma zelf.
Typ naast elke variabele bij ‘Naam van de optie’ de opties één voor één, ook weer met Enter: ‘Man’, daarna ‘Vrouw’.

Twee regels voor opties die werken. Ze moeten elkaar uitsluiten: een patiënt kan niet in twee opties van dezelfde variabele vallen. En ze moeten alle gevallen dekken: elke patiënt moet in één ervan vallen. Voor leeftijd werken ‘jonger dan 65’ en ‘65 of ouder’ dus goed; ‘jong’ en ‘oud’ zijn dubbelzinnig voor iemand van vijftig.

Hoeveel scenario's: let op de groei

Het programma maakt alle mogelijke combinaties van de opties. Hun aantal is het product van het aantal opties van elke variabele, en het groeit heel snel:

Geslacht (2) × Leeftijd (2) × Koorts (2) = 8 scenario's.
Met Zwangerschap (2) erbij: 16 scenario's.
Als leeftijd in drie groepen wordt verdeeld in plaats van twee: 24 scenario's.
Met vijf variabelen van elk drie opties: 243 scenario's.

En elk scenario wordt per procedure beoordeeld: bij 24 scenario's en 3 procedures geeft elk panellid 72 stemmen per ronde. Onder elk hoofdstuk staat altijd hoeveel scenario's er zullen ontstaan, voor en na de uitzonderingen. Houd dat in het oog terwijl u variabelen en opties toevoegt, en vraag u af of elke variabele het werk dat ze vraagt echt waard is.

Uitzonderingen en scenario's

Een scenario is een combinatie van opties, één per variabele: bijvoorbeeld geslacht = man, leeftijd = jonger dan 65, zwangerschap = nee. Het systeem maakt zelf alle mogelijke combinaties van elk hoofdstuk. Uitzonderingen sluiten de onmogelijke uit — geslacht = man samen met zwangerschap = ja — die dan niet in de stemming verschijnen.

Kies om een uitzondering te maken onderaan het hoofdstuk een waarde in twee of meer keuzelijsten — bijvoorbeeld ‘Man’ bij Geslacht en ‘Ja’ bij Zwangerschap —, laat de andere op ‘—’ staan en klik op ‘Nieuwe uitzondering’. Een lijst op ‘—’ betekent ‘elke waarde’. Het aantal scenario's onder het hoofdstuk daalt meteen: in het voorbeeld van 16 naar 12.

Als variabelen, opties en uitzonderingen klaar zijn, klik dan op ‘Scenario's genereren’. Let op: zodra de eerste ronde is aangemaakt, kunnen de scenario's niet meer opnieuw worden gegenereerd, want de uitgebrachte stemmen verwijzen ernaar. Controleer de lijst voordat u begint.

De procedures

De procedures zijn de vragen die bij elk scenario worden gesteld: meestal weinig, zelden meer dan vijf. In de stemtabel zijn het de kolommen. Bij elk scenario geeft het panellid per procedure één stem.

Typ op het tabblad Procedures de naam en zo nodig een beschrijving, en klik op ‘Nieuwe procedure’. Formuleer ze als precieze beslissingen die een panellid passend of niet passend kan vinden: ‘Echografie van de buik binnen 6 uur’ werkt beter dan ‘Beeldvorming’. Lijken twee procedures te veel op elkaar, dan geven de panelleden bijna gelijke stemmen en zegt de uitkomst weinig.

Panelleden en toegangscodes

De coördinator voert de namen en adressen van de panelleden in — meestal negen, maar het aantal is vrij. Het systeem maakt voor elk een unieke code en stuurt die per e-mail samen met de link om te stemmen. Wie de code kwijtraakt, kan die door de coördinator opnieuw laten sturen.

Op het tabblad Panelleden zijn per persoon ‘Volledige naam’, ‘E-mailadres’ en ‘Taal’ nodig: de uitnodiging en de stempagina komen in die taal. ‘Uitnodiging sturen’ verstuurt de e-mail met de persoonlijke link; ‘Link kopiëren’ is voor als u hem liever zelf stuurt. Stuur de uitnodigingen niet voordat de ronde open is: wie de link opent, vindt dan een pagina zonder iets om over te stemmen.

De rechtenmatrix

Niet iedereen hoeft over alles te stemmen. De matrix legt per panellid vast welke combinaties van hoofdstuk en procedure hem toekomen. Een recht dat op een paar hoofdstuk-procedure is gegeven, geldt voor alle scenario's in dat hoofdstuk, want er wordt over de scenario's gestemd en niet over de hoofdstukken.

Op het tabblad Toegangsmatrix zijn de rijen de panelleden en de kolommen de paren hoofdstuk-procedure; een klik op een vakje zet het aan of uit, daarna ‘Opslaan’. Voorbeeld: moet in een gemengd panel de radioloog alleen echografie en CT beoordelen, en niet de opname, zet dan zijn vakje voor de opname uit. ‘Alles toestaan’ en ‘Alles weigeren’ werken op de hele tabel.

Vakjes die u niet aanraakt volgen de ‘Standaardtoestemming voor niet-ingestelde cellen’: daardoor blijft een hoofdstuk of procedure die later wordt toegevoegd niet per ongeluk buiten beschouwing. Stemt iedereen over alles, dan hoeft u niets te doen.

De instellingen

Het tabblad Instellingen bevat de consensusregel, de drempels en de woorden in de rapporten. De standaardwaarden komen overeen met de RAND/UCLA-methode die verderop wordt beschreven: laat ze zo als u geen concrete reden hebt om ze te wijzigen.

‘Laagste stemmen die vervallen’ en ‘Hoogste stemmen die vervallen’: hoeveel uitschieters worden weggelaten voordat er geteld wordt. Standaard: één aan elke kant.
‘Toegestane stemmen buiten de band voor overeenstemming’: hoeveel stemmen buiten het gebied mogen vallen zonder dat de overeenstemming vervalt. Standaard: één.
‘Stemmen buiten de band waarboven de onenigheid sterk is’: tot dit aantal is de onenigheid zwak, daarboven sterk. Standaard: twee.
‘Minimum aantal stemmen om een cel te beoordelen’: daaronder wordt de cel niet beoordeeld. Standaard: drie.
‘Terminologie’: de woorden voor gebieden en uitkomsten, bijvoorbeeld ‘passend’ in plaats van ‘hoog’. Ze kunnen op elk moment worden gewijzigd, ook terwijl de studie loopt.

Laatste controle vóór de eerste ronde

Voordat u de panelleden erbij haalt, voorkomt een snelle controle dat u opnieuw moet beginnen:

Elk hoofdstuk heeft zijn variabelen, en elke variabele minstens twee opties.
Het aantal scenario's per hoofdstuk is wat u verwacht.
U hebt op ‘Scenario's genereren’ geklikt.
Alle procedures staan erin, duidelijk geformuleerd.
De panelleden hebben het juiste adres en de juiste taal, en de matrix bepaalt wie waarover stemt.
Op het tabblad Rondes: ‘Nieuwe ronde’, daarna ‘Ronde openen’.
Pas nu stuurt u op het tabblad Panelleden de uitnodigingen.

Vanaf hier beschrijft de handleiding wat er tijdens de stemming gebeurt.

Hoe er gestemd wordt

Het panellid opent de ontvangen link en vindt een tabel: in de eerste kolom de hoofdstukken, opgesplitst in één rij per scenario; in de andere kolommen de procedures. In elke cel staan de getallen van de schaal — meestal 1 tot 9 — naast elkaar: u klikt het gekozen getal aan en er verschijnt een cirkel omheen. De stemmen worden onderweg vanzelf bewaard; aan het eind bevestigt u de inzending.

Wanneer er overeenstemming is

De schaal is verdeeld in drie gebieden: lage stemmen, middengebied, hoge stemmen. Per cel worden de hoogste en de laagste stem terzijde gelegd — de losse uitschieters — en wordt gekeken waar de rest valt. Vallen ze op ten hoogste één na allemaal in hetzelfde gebied, dan is er overeenstemming. Blijven er twee buiten, dan is de onenigheid zwak; zijn het er meer dan twee, dan is ze sterk.

De drempels, de grenzen van de gebieden en de woorden waarmee ze worden benoemd, wijzigt u in de instellingen van de studie: het zijn uw keuzes, niet die van het programma.

De tweede ronde

Na het sluiten van de eerste ronde kan de coördinator een tweede openen: alleen de cellen waar onenigheid was, gaan opnieuw in stemming. Wie stemt, ziet ze terug met een horizontale balk onder de getallen, die loopt van de laagste tot de hoogste stem van de vorige keer, en daar vlak onder de mediaan van de vorige ronde. Zo ziet ieder waar de groep stond voordat hij opnieuw beslist.

Overeenstemming die in het middengebied is ontstaan, blijft overeenstemming en gaat niet opnieuw in stemming: het is een besluit van de groep, geen besluiteloosheid.

Een cel met de hand sluiten

Als een cel zichzelf niet oplost, kan de coördinator die sluiten vanuit de statistiektabel, met een notitie en desgewenst met een op de conferentie besloten uitkomst. Een gesloten cel gaat niet opnieuw in stemming en in het eindrapport verschijnt de gekozen uitkomst. Heropenen zet alles terug zoals het was.

Het eindrapport

Het rapport somt de scenario's niet één voor één op: het brengt ze terug tot de variabelen die verschil maken. Geldt bij een procedure de overeenstemming voor mannen, jong zowel als oud, dan zegt het rapport «geslacht = man» en zwijgt over de leeftijd, want die verandert de uitkomst niet. Per hoofdstuk en procedure worden de bepalende en de niet-bepalende variabelen genoemd.

Boven aan het rapport staan dezelfde gebieden als zinnen, om in het resultatendeel van een artikel te plakken. Alles is te exporteren als CSV en als platte tekst, en de pagina drukt af zonder de navigatie.

Talen en woorden van de studie

De interface bestaat in meerdere talen en wisselt u via de bovenbalk: elk panellid stemt in de eigen taal. De woorden voor de gebieden en de uitkomsten — passend, onzeker, niet passend, overeenstemming, onenigheid — worden echter niet vertaald: het zijn gegevens van uw studie, in de instellingen geschreven, en ze verschijnen dus voor iedereen gelijk en ook in het eindrapport.