Delphi4All — Podręcznik użytkownika

Czym jest Delphi4All

Delphi4All służy do prowadzenia konferencji uzgodnieniowej metodą delficką. Grupa ekspertów — panel — ocenia wiele możliwych przypadków klinicznych; system wylicza, gdzie jest zgoda, a gdzie jej nie ma, kieruje do ponownego głosowania tylko to, co grupę dzieli, i na koniec opisuje wyniki możliwie najkrócej.

Dwie role

• Koordynator rejestruje się w serwisie, buduje badanie, zaprasza ekspertów, otwiera i zamyka rundy oraz czyta raport końcowy.
• Ekspert się nie rejestruje: otrzymuje e-mailem osobisty kod dostępu i nim głosuje. Kod identyfikuje jego głosy, więc nie wolno go nikomu udostępniać.

Rejestracja jako koordynator

Rejestracja wymaga dwóch potwierdzeń i przebiega w czterech krokach.

1. Wypełnia się formularz rejestracji: imię i nazwisko, adres e-mail, instytucja i powód wniosku.
2. Przychodzi e-mail z odnośnikiem: otwarcie go potwierdza, że adres należy do Ciebie.
3. Administrator otrzymuje wniosek i decyduje, czy go zatwierdzić.
4. Po zatwierdzeniu przychodzi drugi e-mail z odnośnikiem do ustawienia hasła. Od tej chwili można się logować.

Imię i nazwisko, instytucję, język i hasło można zmienić w każdej chwili w swoim profilu: własne nazwisko na górnym pasku.

Zanim zaczniesz: co przygotować

Badanie łatwiej zbudować, jeśli najpierw naszkicuje się je na papierze, i warto omówić je z grupą przed wprowadzeniem: po pierwszej rundzie struktury nie da się już zmienić. Potrzebne są trzy listy.

• Pytanie: czego chcecie się dowiedzieć od panelu. Na przykład: «kiedy właściwe jest wykonanie USG u dorosłego z ostrym bólem brzucha?».
• Procedury: decyzje do oceny, czyli możliwe odpowiedzi na pytanie. W przykładzie: USG, tomografia jamy brzusznej, przyjęcie do szpitala.
• Czynniki, które mogą zmienić odpowiedź: cechy pacjenta, które zdaniem ekspertów czynią procedurę bardziej lub mniej właściwą. W przykładzie: płeć, wiek, ciąża, gorączka. Staną się zmiennymi.

Rada: uwzględniajcie tylko te czynniki, o których ktoś w grupie naprawdę sądzi, że mogą zmienić ocenę. Każdy dodatkowy czynnik zwielokrotnia pracę ekspertów, jak widać dalej.

Utworzenie badania

Na stronie «Moje badania» pole «Nowe badanie» pyta o niewiele rzeczy:

• «Tytuł» i «Opis»: tak eksperci zobaczą badanie u góry strony głosowania. W opisie warto zapisać pytanie badawcze.
• «Ocena najniższa» i «Ocena najwyższa»: skala. Metoda RAND/UCLA używa skali od 1 do 9 i najlepiej tak ją zostawić: trzy pasma — dolne, środkowe i górne — są pomyślane dla tej skali.
• «Liczba ekspertów»: ilu ekspertów przewidujecie. To tylko wskazówka; liczy się to, kogo faktycznie dodacie w zakładce Eksperci.
• «Maksymalna liczba rund»: zwykle wystarczą dwie lub trzy.

Po «Utwórz» otwiera się strona badania podzielona na zakładki: Rozdziały, Procedury, Eksperci, Macierz uprawnień, Rundy, Ustawienia, Raport. Najlepiej wypełniać je w tej kolejności, w której idą też następne rozdziały podręcznika.

Rozdziały, zmienne i warianty

Badanie składa się z rozdziałów. Każdy rozdział zawiera zmienne opisujące przypadek, a każda zmienna ma zamkniętą listę wariantów: na przykład płeć z wariantami mężczyzna i kobieta, wiek z poniżej 65 lat i 65 lat lub więcej, ciąża z tak i nie. Ekspert nigdy nie wpisuje własnego tekstu: wybiera spośród wariantów, które określiliście.

Rozdział łączy przypadki opisywane tymi samymi zmiennymi. Jeśli badanie dotyczy i dorosłych, i dzieci, a u dzieci liczą się inne czynniki — na przykład masa ciała — utwórzcie dwa rozdziały: «Dorośli» i «Dzieci». Jeśli wszystkie przypadki opisuje się tak samo, wystarczy jeden rozdział.

Jak to zrobić w zakładce Rozdziały:

1. W polu «Nowy rozdział» wpisz tytuł i naciśnij «Utwórz».
2. W rozdziale, w polu «Nazwa nowej zmiennej», wpisz nazwę — na przykład «Płeć» — i naciśnij Enter albo «Nowa zmienna». Kursor zostaje w polu: można od razu wpisać następną zmienną. Wystarczy nazwa; kod wewnętrzny program wyznacza sam.
3. Obok każdej zmiennej, w polu «Nazwa wariantu», wpisuj jej warianty po kolei, również Enterem: «Mężczyzna», potem «Kobieta».

Dwie zasady dobrych wariantów. Muszą się wzajemnie wykluczać: pacjent nie może należeć do dwóch wariantów tej samej zmiennej. I muszą obejmować wszystkie przypadki: każdy pacjent musi należeć do jednego z nich. Dla wieku sprawdzają się więc «poniżej 65 lat» i «65 lat lub więcej»; «młody» i «starszy» są niejednoznaczne dla pięćdziesięciolatka.

Ile scenariuszy: uwaga na przyrost

Program tworzy wszystkie możliwe kombinacje wariantów. Ich liczba to iloczyn liczby wariantów każdej zmiennej i rośnie bardzo szybko:

• Płeć (2) × Wiek (2) × Gorączka (2) = 8 scenariuszy.
• Po dodaniu Ciąży (2): 16 scenariuszy.
• Po podzieleniu wieku na trzy przedziały zamiast dwóch: 24 scenariusze.
• Przy pięciu zmiennych po trzy warianty każda: 243 scenariusze.

A każdy scenariusz ocenia się dla każdej procedury: przy 24 scenariuszach i 3 procedurach każdy ekspert oddaje 72 głosy na rundę. Pod każdym rozdziałem zawsze widać, ile scenariuszy powstanie, przed wyjątkami i po nich. Patrzcie na tę liczbę, dodając zmienne i warianty, i pytajcie siebie, czy każda zmienna jest naprawdę warta pracy, której wymaga.

Wyjątki i scenariusze

Scenariusz to kombinacja wariantów, po jednym na zmienną: na przykład płeć = mężczyzna, wiek = poniżej 65 lat, ciąża = nie. System sam tworzy wszystkie możliwe kombinacje każdego rozdziału. Wyjątki wykluczają te niemożliwe — płeć = mężczyzna razem z ciąża = tak — które nie pojawią się w głosowaniu.

Aby utworzyć wyjątek, na dole rozdziału wybierz wartość w dwóch lub więcej listach — na przykład «Mężczyzna» przy Płci i «Tak» przy Ciąży — pozostałe zostaw na «—» i naciśnij «Nowy wyjątek». Lista zostawiona na «—» oznacza «dowolna wartość». Liczba scenariuszy pod rozdziałem od razu spada: w przykładzie z 16 na 12.

Gdy zmienne, warianty i wyjątki są gotowe, naciśnij «Utwórz scenariusze». Uwaga: po utworzeniu pierwszej rundy scenariuszy nie da się już utworzyć ponownie, bo oddane głosy do nich się odnoszą. Sprawdź listę, zanim zaczniesz.

Procedury

Procedury to pytania stawiane przy każdym scenariuszu: zwykle nieliczne, rzadko więcej niż pięć. W tabeli głosowania są kolumnami. Przy każdym scenariuszu ekspert ocenia każdą procedurę.

W zakładce Procedury wpisz nazwę i w razie potrzeby opis, a potem naciśnij «Nowa procedura». Formułujcie je jako precyzyjne decyzje, które ekspert może uznać za właściwe albo nie: «USG jamy brzusznej w ciągu 6 godzin» działa lepiej niż «Diagnostyka obrazowa». Jeśli dwie procedury są zbyt podobne, eksperci dadzą niemal identyczne oceny, a wynik niewiele powie.

Eksperci i kody dostępu

Koordynator wprowadza nazwiska i adresy ekspertów — zwykle dziewięciu, ale liczba jest dowolna. System tworzy dla każdego niepowtarzalny kod i wysyła go e-mailem razem z odnośnikiem do głosowania. Kto zgubi kod, może poprosić koordynatora o ponowne wysłanie.

W zakładce Eksperci dla każdego potrzebne są «Imię i nazwisko», «Adres e-mail» i «Język»: zaproszenie i strona głosowania dotrą do niego w tym języku. «Wyślij zaproszenie» wysyła e-mail z osobistym odnośnikiem; «Kopiuj odnośnik» przyda się, gdy wolicie wysłać go sami. Nie wysyłajcie zaproszeń przed otwarciem rundy: kto otworzyłby odnośnik, zobaczyłby stronę, na której nie ma czego oceniać.

Macierz uprawnień

Nie wszyscy muszą oceniać wszystko. Macierz określa dla każdego eksperta, które pary rozdziału i procedury do niego należą. Uprawnienie nadane dla pary rozdział-procedura obowiązuje dla wszystkich scenariuszy w tym rozdziale, bo ocenia się scenariusze, a nie rozdziały.

W zakładce Macierz uprawnień wiersze to eksperci, a kolumny to pary rozdział-procedura; kliknięcie pola włącza je lub wyłącza, potem «Zapisz». Przykład: jeśli w mieszanym panelu radiolog ma oceniać tylko USG i tomografię, a nie przyjęcie do szpitala, wyłączcie jego pole przyjęcia. «Zezwól na wszystko» i «Zabroń wszystkiego» działają na całą tabelę.

Pola, których nie ruszycie, podlegają ustawieniu «Domyślne uprawnienie dla komórek nieustawionych»: dlatego rozdział albo procedura dodane później nie zostają pominięte przez zapomnienie. Jeśli wszyscy mają oceniać wszystko, nie trzeba nic robić.

Ustawienia

W zakładce Ustawienia są reguła konsensusu, jej progi i słowa używane w raportach. Wartości domyślne odpowiadają metodzie RAND/UCLA opisanej dalej: jeśli nie macie wyraźnego powodu, by je zmieniać, zostawcie je tak.

• «Ile najniższych głosów odrzucić» i «Ile najwyższych głosów odrzucić»: ile skrajnych głosów usunąć przed liczeniem. Domyślnie: po jednym z każdej strony.
• «Głosy poza pasmem dopuszczalne przy zgodzie»: ile głosów może wypaść poza pasmem, nie psując zgody. Domyślnie: jeden.
• «Głosy poza pasmem, powyżej których niezgoda jest silna»: do tej liczby niezgoda jest słaba, powyżej — silna. Domyślnie: dwa.
• «Minimalna liczba głosów do oceny komórki»: poniżej tej liczby komórka nie jest oceniana. Domyślnie: trzy.
• «Terminologia»: słowa, którymi nazywa się pasma i wyniki, na przykład «właściwe» zamiast «górne». Można je zmienić w każdej chwili, także w trakcie badania.

Ostatnie sprawdzenie przed pierwszą rundą

Zanim włączycie ekspertów, szybkie sprawdzenie oszczędza zaczynania od nowa:

1. Każdy rozdział ma swoje zmienne, a każda zmienna co najmniej dwa warianty.
2. Liczba scenariuszy w każdym rozdziale jest taka, jakiej się spodziewacie.
3. Nacisnęliście «Utwórz scenariusze».
4. Wszystkie procedury są na miejscu i jasno sformułowane.
5. Eksperci mają właściwy adres i język, a macierz mówi, kto co ocenia.
6. W zakładce Rundy: «Nowa runda», potem «Otwórz rundę».
7. Dopiero teraz, w zakładce Eksperci, wyślijcie zaproszenia.

Od tego miejsca podręcznik opowiada, co dzieje się w trakcie głosowania.

Jak przebiega głosowanie

Ekspert otwiera otrzymany odnośnik i widzi tabelę: w pierwszej kolumnie rozdziały, podzielone na wiersze — po jednym na scenariusz; w pozostałych kolumnach procedury. W każdej komórce liczby skali — zwykle od 1 do 9 — stoją obok siebie: klika się wybraną liczbę i wokół niej pojawia się kółko. Głosy zapisują się same w trakcie pracy; na końcu potwierdza się wysłanie.

Kiedy jest zgoda

Skala dzieli się na trzy pasma: oceny niskie, pasmo środkowe, oceny wysokie. W każdej komórce odrzuca się ocenę najwyższą i najniższą — odosobnione skrajności — i patrzy, gdzie wypadają pozostałe. Jeśli wszystkie poza co najwyżej jedną trafiają w to samo pasmo, jest zgoda. Jeśli poza pasmem zostaną dwie, niezgoda jest słaba; jeśli więcej niż dwie — silna.

Progi, granice pasm i słowa, którymi się je nazywa, zmienia się w ustawieniach badania: to wasze wybory, nie wybory programu.

Druga runda

Po zamknięciu pierwszej rundy koordynator może otworzyć drugą: do głosowania wracają tylko komórki, w których była niezgoda. Głosujący widzą je z poziomym paskiem pod liczbami, sięgającym od najniższej do najwyższej oceny z poprzedniego razu, a tuż pod nim medianę poprzedniej rundy. Dzięki temu każdy widzi, gdzie stała grupa, zanim zdecyduje ponownie.

Zgoda powstała w paśmie środkowym pozostaje zgodą i nie wraca do głosowania: to decyzja grupy, a nie niezdecydowanie.

Ręczne zamknięcie komórki

Jeśli komórka nie rozstrzygnie się sama, koordynator może ją zamknąć z tabeli statystyk, z notatką i — jeśli chce — z wynikiem ustalonym na konferencji. Zamknięta komórka nie wraca do głosowania, a w raporcie końcowym widnieje wybrany wynik. Ponowne otwarcie przywraca wszystko do stanu poprzedniego.

Raport końcowy

Raport nie wylicza scenariuszy po kolei: sprowadza je do zmiennych, które mają znaczenie. Jeśli przy jakiejś procedurze zgoda obowiązuje dla mężczyzn, i młodych, i starszych, raport pisze «płeć = mężczyzna» i o wieku nie wspomina, bo wiek nie zmienia wyniku. Dla każdego rozdziału i procedury podaje zmienne rozstrzygające i te bez wpływu.

Na początku raportu te same obszary są zapisane zdaniami, gotowymi do wklejenia w sekcję wyników artykułu. Całość eksportuje się do CSV i zwykłego tekstu, a strona drukuje się bez paska nawigacji.

Języki i słowa badania

Interfejs istnieje w kilku językach i przełącza się go na górnym pasku: każdy ekspert głosuje w swoim. Natomiast słowa nazywające pasma i wyniki — właściwe, niepewne, niewłaściwe, zgoda, niezgoda — nie są tłumaczone: to dane waszego badania, wpisane w ustawieniach, więc dla wszystkich i w raporcie końcowym wyglądają tak samo.