Delphi4All — Посібник користувача

Консенсусні конференції за методом Дельфі

Що таке Delphi4All

Delphi4All призначений для проведення консенсусної конференції за методом Дельфі. Група експертів — панелісти — голосує щодо багатьох можливих клінічних випадків; система визначає, де є згода, а де немає, повертає на повторне голосування лише те, щодо чого група розділилася, і наприкінці описує результати якомога стисліше.

Дві ролі

Координатор реєструється на сайті, створює дослідження, запрошує панелістів, відкриває та закриває раунди й читає підсумковий звіт.
Паноліст не реєструється: він отримує електронною поштою особистий код доступу і голосує з ним. Код ідентифікує його голоси, тому його не можна нікому передавати.

Реєстрація як координатор

Реєстрація потребує двох підтверджень і відбувається в чотири кроки.

Заповнюють форму реєстрації: ім'я, електронна адреса, установа та причина запиту.
Надходить лист із посиланням: відкривши його, ви підтверджуєте, що адреса ваша.
Адміністратор отримує запит і вирішує, чи схвалити його.
Якщо запит схвалено, надходить другий лист із посиланням для вибору пароля. Відтоді можна входити.

Ім'я, установу, мову й пароль можна будь-коли змінити у своєму профілі: власне ім'я у верхній смузі.

Перш ніж почати: що підготувати

Дослідження легше побудувати, якщо спершу накреслити його на папері, і варто обговорити його з групою до внесення: після першого раунду його структуру вже не можна змінити. Потрібні три переліки.

Питання: що ви хочете дізнатися від групи експертів. Наприклад: «коли доречно робити УЗД дорослому з гострим болем у животі?».
Процедури: рішення, які треба оцінити, тобто можливі відповіді на питання. У прикладі: УЗД, КТ черевної порожнини, госпіталізація.
Фактори, що можуть змінити відповідь: характеристики пацієнта, які, на думку експертів, роблять процедуру більш чи менш доречною. У прикладі: стать, вік, вагітність, гарячка. Вони стануть змінними.

Порада: включайте лише ті фактори, які хтось у групі справді вважає здатними змінити оцінку. Кожен додатковий фактор множить роботу експертів, як видно далі.

Створення дослідження

На сторінці «Мої дослідження» блок «Нове дослідження» просить лише кілька речей:

«Заголовок» та «Опис»: так експерти побачать дослідження вгорі сторінки голосування. В описі варто написати питання дослідження.
«Мінімальна оцінка» та «Максимальна оцінка»: шкала. Метод RAND/UCLA використовує від 1 до 9, і її краще так і залишити: три зони — низька, проміжна й висока — розраховані саме на цю шкалу.
«Кількість експертів»: скільки експертів ви очікуєте. Це орієнтир; важить те, кого ви справді додасте на вкладці «Експерти».
«Максимальна кількість раундів»: зазвичай достатньо двох-трьох.

Після «Створити» відкривається сторінка дослідження, поділена на вкладки: Розділи, Процедури, Експерти, Матриця доступу, Раунди, Налаштування, Звіт. Заповнювати їх найкраще саме в такому порядку — у ньому ж ідуть і наступні розділи посібника.

Розділи, змінні та варіанти

Дослідження складається з розділів. Кожен розділ містить змінні, які описують випадок, і кожна змінна має закритий перелік варіантів: наприклад стать із значеннями чоловіча та жіноча, вік — до 65 років і 65 років і більше, вагітність — так і ні. Паноліст ніколи не пише вільний текст: він обирає з визначених вами варіантів.

Розділ об'єднує випадки, що описуються тими самими змінними. Якщо дослідження стосується і дорослих, і дітей, а для дітей важать інші фактори — наприклад, вага, — створіть два розділи: «Дорослі» та «Діти». Якщо всі випадки описуються однаково, достатньо одного розділу.

Як це зробити на вкладці «Розділи»:

У блоці «Новий розділ» напишіть заголовок і натисніть «Створити».
Усередині розділу в полі «Назва нової змінної» напишіть назву — наприклад, «Стать» — і натисніть Enter або «Нова змінна». Курсор залишиться в полі: можна одразу писати наступну змінну. Досить назви — внутрішній код програма визначить сама.
Поруч із кожною змінною в полі «Назва варіанта» пишіть її варіанти по одному, так само з Enter: «Чоловіча», потім «Жіноча».

Два правила для вдалих варіантів. Вони мають взаємно виключатися: пацієнт не може належати до двох варіантів однієї змінної. І мають охоплювати всі випадки: кожен пацієнт має належати до одного з них. Тож для віку «до 65 років» і «65 років і більше» підходять, а «молодий» і «літній» неоднозначні для людини п'ятдесяти років.

Скільки сценаріїв: обережно зі зростанням

Програма створює всі можливі поєднання варіантів. Їхня кількість — це добуток кількості варіантів кожної змінної, і вона зростає дуже швидко:

Стать (2) × Вік (2) × Гарячка (2) = 8 сценаріїв.
Якщо додати Вагітність (2): 16 сценаріїв.
Якщо поділити вік на три групи замість двох: 24 сценарії.
П'ять змінних по три варіанти кожна: 243 сценарії.

І кожен сценарій оцінюють для кожної процедури: за 24 сценаріїв і 3 процедур кожен експерт дає 72 оцінки за раунд. Під кожним розділом завжди видно, скільки сценаріїв вийде — до і після винятків. Стежте за цим числом, коли додаєте змінні й варіанти, і запитуйте себе, чи варта кожна змінна тієї роботи, якої вона вимагає.

Винятки та сценарії

Сценарій — це поєднання варіантів, по одному на змінну: наприклад стать = чоловіча, вік = до 65 років, вагітність = ні. Система сама створює всі можливі поєднання кожного розділу. Винятки вилучають неможливі — стать = чоловіча разом із вагітність = так, — які не з'являться в голосуванні.

Щоб створити виняток, унизу розділу виберіть значення у двох чи більше списках — наприклад, «Чоловіча» у списку Стать і «Так» у списку Вагітність, — решту залиште на «—» і натисніть «Новий виняток». Список, залишений на «—», означає «будь-яке значення». Кількість сценаріїв під розділом одразу зменшиться: у прикладі з 16 до 12.

Коли змінні, варіанти та винятки готові, натисніть «Створити сценарії». Увага: після створення першого раунду сценарії вже не можна створити заново, бо подані оцінки стосуються саме їх. Перевірте перелік, перш ніж починати.

Процедури

Процедури — це запитання, які ставлять до кожного сценарію: зазвичай їх небагато, рідко більше п'яти. У таблиці голосування це стовпці. Для кожного сценарію паноліст дає оцінку кожній процедурі.

На вкладці «Процедури» напишіть назву і, за потреби, опис, потім натисніть «Нова процедура». Формулюйте їх як точні рішення, які експерт може оцінити як доречні чи ні: «УЗД черевної порожнини протягом 6 годин» працює краще, ніж «Візуалізація». Якщо дві процедури надто схожі, експерти дадуть майже однакові оцінки, і результат мало що скаже.

Панолісти та коди доступу

Координатор вносить імена та адреси панолістів — зазвичай дев'ять, але кількість довільна. Система створює для кожного унікальний код і надсилає його електронною поштою разом із посиланням для голосування. Хто загубив код, може попросити координатора надіслати його знову.

На вкладці «Експерти» для кожного потрібні «Ім'я та прізвище», «Електронна пошта» та «Мова»: запрошення і сторінка голосування надійдуть цією мовою. «Надіслати запрошення» відправляє лист з особистим посиланням; «Копіювати посилання» — якщо ви хочете надіслати його самі. Не надсилайте запрошень, доки не відкрили раунд: хто відкрив би посилання, побачив би сторінку, де нема за що голосувати.

Матриця дозволів

Не всі мають голосувати за все. Матриця визначає для кожного паноліста, які поєднання розділу та процедури йому належать. Дозвіл, наданий на пару розділ-процедура, діє для всіх сценаріїв цього розділу, бо голосують за сценарії, а не за розділи.

На вкладці «Матриця доступу» рядки — це експерти, а стовпці — пари розділ-процедура; клік по клітинці вмикає або вимикає її, потім «Зберегти». Приклад: якщо в змішаній групі рентгенолог має оцінювати лише УЗД і КТ, але не госпіталізацію, вимкніть його клітинку госпіталізації. «Дозволити все» і «Заборонити все» діють на всю таблицю.

Клітинки, яких ви не торкалися, дотримуються налаштування «Типовий дозвіл для невизначених клітинок»: тому розділ чи процедура, додані пізніше, не лишаються виключеними через неуважність. Якщо всі голосують за все, нічого робити не треба.

Налаштування

На вкладці «Налаштування» є правило консенсусу, його порогові значення та слова, що використовуються у звітах. Типові значення відповідають методу RAND/UCLA, описаному далі: якщо немає конкретної причини їх змінювати, залиште як є.

«Найнижчих оцінок відкинути» та «Найвищих оцінок відкинути»: скільки крайніх оцінок прибрати перед підрахунком. Типово: по одній з кожного боку.
«Дозволено оцінок поза смугою для згоди»: скільки оцінок може випасти за межі зони, не порушуючи згоди. Типово: одна.
«Оцінок поза смугою, після яких розбіжність сильна»: до цього числа розбіжність слабка, понад нього — сильна. Типово: дві.
«Мінімум оцінок для оцінювання клітинки»: якщо оцінок менше, клітинку не оцінюють. Типово: три.
«Термінологія»: слова для зон і результатів, наприклад «доречно» замість «високо». Їх можна змінити будь-коли, навіть під час дослідження.

Остаточна перевірка перед першим раундом

Перш ніж залучати експертів, швидка перевірка вбереже від необхідності починати спочатку:

Кожен розділ має свої змінні, а кожна змінна — щонайменше два варіанти.
Кількість сценаріїв у кожному розділі така, як ви очікуєте.
Ви натиснули «Створити сценарії».
Усі процедури на місці й сформульовані чітко.
Експерти мають правильні адреси й мову, а матриця визначає, хто за що голосує.
На вкладці «Раунди»: «Новий раунд», потім «Відкрити раунд».
Лише тепер на вкладці «Експерти» надішліть запрошення.

Далі посібник розповідає, що відбувається під час голосування.

Як відбувається голосування

Паноліст відкриває отримане посилання й бачить таблицю: у першому стовпці розділи, поділені на рядки — по одному на сценарій; в інших стовпцях процедури. У кожній комірці числа шкали — зазвичай від 1 до 9 — написані поруч: клацають обране число, і навколо нього з'являється кружечок. Голоси зберігаються самі під час роботи; наприкінці підтверджують надсилання.

Коли є згода

Шкала поділена на три зони: низькі оцінки, проміжна зона, високі оцінки. Для кожної комірки відкидають найвищу та найнижчу оцінки — поодинокі крайні — і дивляться, куди потрапляють решта. Якщо всі, крім щонайбільше однієї, у тій самій зоні — є згода. Якщо поза зоною дві — розбіжність слабка; якщо більше двох — сильна.

Порогові значення, межі зон і слова, якими їх називають, змінюють у налаштуваннях дослідження: це ваш вибір, а не програми.

Другий раунд

Після закриття першого раунду координатор може відкрити другий: на голосування повертаються лише комірки, де була розбіжність. Ті, хто голосує, бачать їх зі горизонтальною смугою під числами — від найнижчої до найвищої оцінки минулого разу, — а одразу під нею медіану попереднього раунду. Так кожен бачить, де була група, перш ніж вирішувати знову.

Згода, що склалася в проміжній зоні, залишається згодою і не повертається на голосування: це рішення групи, а не нерішучість.

Закрити комірку вручну

Якщо комірка не вирішиться сама, координатор може закрити її з таблиці статистики — з приміткою і, за бажанням, з результатом, ухваленим на конференції. Закрита комірка не повертається на голосування, а в підсумковому звіті з'являється обраний результат. Повторне відкриття повертає все як було.

Підсумковий звіт

Звіт не перелічує сценарії по одному: він зводить їх до змінних, які мають значення. Якщо для процедури згода діє для чоловіків — і молодих, і літніх, — звіт каже «стать = чоловіча» і про вік не згадує, бо він не змінює результату. Для кожного розділу та процедури вказано визначальні та невпливові змінні.

Угорі звіту ті самі зони записані реченнями, які можна вставити в розділ результатів статті. Усе експортується у CSV та звичайний текст, а сторінка друкується без навігації.

Мови та слова дослідження

Інтерфейс існує кількома мовами і перемикається у верхній смузі: кожен паноліст голосує своєю. А слова, якими називають зони та результати — доречно, невизначено, недоречно, згода, розбіжність, — не перекладаються: це дані вашого дослідження, записані в налаштуваннях, тож вони однакові для всіх і в підсумковому звіті.