Delphi4All — Руководство пользователя

Согласительные конференции по методу Дельфи

Что такое Delphi4All

Delphi4All предназначен для проведения согласительной конференции по методу Дельфи. Группа экспертов — панелисты — голосует по множеству возможных клинических случаев; система определяет, где есть согласие, а где нет, возвращает на повторное голосование только то, в чём группа разделилась, и в конце описывает результаты как можно короче.

Две роли

Координатор регистрируется на сайте, создаёт исследование, приглашает панелистов, открывает и закрывает раунды и читает итоговый отчёт.
Панелист не регистрируется: он получает по электронной почте личный код доступа и голосует с ним. Код идентифицирует его голоса, поэтому его нельзя никому передавать.

Регистрация как координатор

Регистрация требует двух подтверждений и происходит в четыре шага.

Заполняют форму регистрации: имя, электронный адрес, организация и причина запроса.
Приходит письмо со ссылкой: открыв её, вы подтверждаете, что адрес ваш.
Администратор получает заявку и решает, одобрить ли её.
Если заявка одобрена, приходит второе письмо со ссылкой для выбора пароля. С этого момента можно входить.

Имя, организацию, язык и пароль можно в любой момент изменить в своём профиле: собственное имя в верхней панели.

Прежде чем начать: что подготовить

Исследование проще построить, если сначала набросать его на бумаге, и его стоит обсудить с группой до ввода: после первого раунда структуру уже нельзя изменить. Нужны три списка.

Вопрос: что вы хотите узнать у экспертной группы. Например: «когда уместно делать УЗИ взрослому с острой болью в животе?».
Процедуры: решения, которые нужно оценить, то есть возможные ответы на вопрос. В примере: УЗИ, КТ брюшной полости, госпитализация.
Факторы, которые могут изменить ответ: характеристики пациента, которые, по мнению экспертов, делают процедуру более или менее уместной. В примере: пол, возраст, беременность, лихорадка. Они станут переменными.

Совет: включайте только те факторы, которые кто-то в группе действительно считает способными изменить оценку. Каждый лишний фактор умножает работу экспертов, как видно дальше.

Создание исследования

На странице «Мои исследования» блок «Новое исследование» просит всего несколько вещей:

«Заголовок» и «Описание»: так эксперты увидят исследование вверху страницы голосования. В описании стоит написать вопрос исследования.
«Минимальная оценка» и «Максимальная оценка»: шкала. Метод RAND/UCLA использует от 1 до 9, и её лучше так и оставить: три зоны — низкая, промежуточная и высокая — рассчитаны именно на эту шкалу.
«Количество экспертов»: сколько экспертов вы ожидаете. Это ориентир; важно то, кого вы действительно добавите на вкладке «Эксперты».
«Максимальное число раундов»: обычно достаточно двух-трёх.

После «Создать» открывается страница исследования, разделённая на вкладки: Разделы, Процедуры, Эксперты, Матрица доступа, Раунды, Настройки, Отчёт. Заполнять их лучше именно в таком порядке — в нём же идут и следующие разделы руководства.

Разделы, переменные и варианты

Исследование состоит из разделов. Каждый раздел содержит переменные, описывающие случай, и у каждой переменной закрытый список вариантов: например пол со значениями мужской и женский, возраст — до 65 лет и 65 лет и старше, беременность — да и нет. Панелист никогда не пишет свободный текст: он выбирает из заданных вами вариантов.

Раздел объединяет случаи, которые описываются одними и теми же переменными. Если исследование касается и взрослых, и детей, а для детей важны другие факторы — например, вес, — создайте два раздела: «Взрослые» и «Дети». Если все случаи описываются одинаково, достаточно одного раздела.

Как это сделать на вкладке «Разделы»:

В блоке «Новый раздел» напишите заголовок и нажмите «Создать».
Внутри раздела в поле «Название новой переменной» напишите название — например, «Пол» — и нажмите Enter или «Новая переменная». Курсор останется в поле: можно сразу писать следующую переменную. Достаточно названия — внутренний код программа определит сама.
Рядом с каждой переменной в поле «Название варианта» пишите её варианты по одному, тоже с Enter: «Мужской», затем «Женский».

Два правила для удачных вариантов. Они должны взаимно исключать друг друга: пациент не может относиться к двум вариантам одной переменной. И должны охватывать все случаи: каждый пациент должен относиться к одному из них. Поэтому для возраста «до 65 лет» и «65 лет и старше» подходят, а «молодой» и «пожилой» неоднозначны для человека пятидесяти лет.

Сколько сценариев: осторожно с ростом

Программа создаёт все возможные сочетания вариантов. Их число — это произведение количества вариантов каждой переменной, и оно растёт очень быстро:

Пол (2) × Возраст (2) × Лихорадка (2) = 8 сценариев.
Если добавить Беременность (2): 16 сценариев.
Если разделить возраст на три группы вместо двух: 24 сценария.
Пять переменных по три варианта в каждой: 243 сценария.

И каждый сценарий оценивается для каждой процедуры: при 24 сценариях и 3 процедурах каждый эксперт даёт 72 оценки за раунд. Под каждым разделом всегда видно, сколько сценариев получится — до и после исключений. Следите за этим числом, добавляя переменные и варианты, и спрашивайте себя, стоит ли каждая переменная той работы, которой она требует.

Исключения и сценарии

Сценарий — это сочетание вариантов, по одному на переменную: например пол = мужской, возраст = до 65 лет, беременность = нет. Система сама создаёт все возможные сочетания каждого раздела. Исключения убирают невозможные — пол = мужской вместе с беременность = да, — которые не появятся в голосовании.

Чтобы создать исключение, внизу раздела выберите значение в двух или более списках — например, «Мужской» в списке Пол и «Да» в списке Беременность, — остальные оставьте на «—» и нажмите «Новое исключение». Список, оставленный на «—», означает «любое значение». Число сценариев под разделом сразу уменьшится: в примере с 16 до 12.

Когда переменные, варианты и исключения готовы, нажмите «Создать сценарии». Внимание: после создания первого раунда сценарии уже нельзя пересоздать, потому что поданные оценки относятся именно к ним. Проверьте список, прежде чем начинать.

Процедуры

Процедуры — это вопросы, задаваемые к каждому сценарию: обычно их немного, редко больше пяти. В таблице голосования это столбцы. Для каждого сценария панелист даёт оценку каждой процедуре.

На вкладке «Процедуры» напишите название и, при необходимости, описание, затем нажмите «Новая процедура». Формулируйте их как точные решения, которые эксперт может оценить как уместные или нет: «УЗИ брюшной полости в течение 6 часов» работает лучше, чем «Визуализация». Если две процедуры слишком похожи, эксперты дадут почти одинаковые оценки, и результат мало что скажет.

Панелисты и коды доступа

Координатор вносит имена и адреса панелистов — обычно девять, но число произвольно. Система создаёт для каждого уникальный код и отправляет его по электронной почте вместе со ссылкой для голосования. Потерявший код может попросить координатора выслать его снова.

На вкладке «Эксперты» для каждого нужны «Имя и фамилия», «Электронная почта» и «Язык»: приглашение и страница голосования придут на этом языке. «Отправить приглашение» отправляет письмо с личной ссылкой; «Копировать ссылку» — если вы хотите отправить её сами. Не отправляйте приглашения, пока не открыт раунд: открывший ссылку увидел бы страницу, где не за что голосовать.

Матрица разрешений

Не все должны голосовать по всему. Матрица определяет для каждого панелиста, какие сочетания раздела и процедуры ему поручены. Разрешение, данное на пару раздел-процедура, действует для всех сценариев этого раздела, потому что голосуют за сценарии, а не за разделы.

На вкладке «Матрица доступа» строки — это эксперты, а столбцы — пары раздел-процедура; щелчок по ячейке включает или выключает её, затем «Сохранить». Пример: если в смешанной группе рентгенолог должен оценивать только УЗИ и КТ, но не госпитализацию, выключите его ячейку госпитализации. «Разрешить всё» и «Запретить всё» действуют на всю таблицу.

Ячейки, которые вы не трогали, следуют настройке «Разрешение по умолчанию для незаданных ячеек»: поэтому раздел или процедура, добавленные позже, не остаются исключёнными по забывчивости. Если все голосуют по всему, делать ничего не нужно.

Настройки

На вкладке «Настройки» находятся правило консенсуса, его пороговые значения и слова, используемые в отчётах. Значения по умолчанию соответствуют методу RAND/UCLA, описанному далее: если нет конкретной причины их менять, оставьте как есть.

«Отбросить самых низких оценок» и «Отбросить самых высоких оценок»: сколько крайних оценок убрать перед подсчётом. По умолчанию: по одной с каждой стороны.
«Допустимо оценок вне полосы для согласия»: сколько оценок может выйти за пределы зоны, не нарушая согласия. По умолчанию: одна.
«Оценок вне полосы, свыше которых разногласие сильное»: до этого числа разногласие слабое, свыше — сильное. По умолчанию: две.
«Минимум оценок для оценки ячейки»: если оценок меньше, ячейку не оценивают. По умолчанию: три.
«Терминология»: слова для зон и результатов, например «уместно» вместо «высоко». Их можно изменить в любой момент, даже во время исследования.

Итоговая проверка перед первым раундом

Прежде чем привлекать экспертов, быстрая проверка избавит от необходимости начинать заново:

У каждого раздела есть свои переменные, а у каждой переменной — не менее двух вариантов.
Число сценариев в каждом разделе такое, как вы ожидаете.
Вы нажали «Создать сценарии».
Все процедуры на месте и сформулированы чётко.
У экспертов верные адреса и язык, а матрица определяет, кто за что голосует.
На вкладке «Раунды»: «Новый раунд», затем «Открыть раунд».
Только теперь на вкладке «Эксперты» отправьте приглашения.

Дальше руководство рассказывает, что происходит во время голосования.

Как проходит голосование

Панелист открывает полученную ссылку и видит таблицу: в первом столбце разделы, разбитые на строки — по одной на сценарий; в остальных столбцах процедуры. В каждой ячейке числа шкалы — обычно от 1 до 9 — написаны рядом: щёлкают выбранное число, и вокруг него появляется кружок. Голоса сохраняются сами по ходу работы; в конце подтверждают отправку.

Когда есть согласие

Шкала делится на три зоны: низкие оценки, промежуточная зона, высокие оценки. Для каждой ячейки отбрасывают самую высокую и самую низкую оценки — одиночные крайние — и смотрят, куда попадают остальные. Если все, кроме не более чем одной, в одной зоне — есть согласие. Если вне зоны две — разногласие слабое; если больше двух — сильное.

Пороговые значения, границы зон и слова, которыми их называют, меняют в настройках исследования: это ваш выбор, а не программы.

Второй раунд

После закрытия первого раунда координатор может открыть второй: на голосование возвращаются только ячейки, где было разногласие. Голосующие видят их с горизонтальной полосой под числами — от самой низкой до самой высокой оценки прошлого раза, — а сразу под ней медиану предыдущего раунда. Так каждый видит, где была группа, прежде чем решать снова.

Согласие, сложившееся в промежуточной зоне, остаётся согласием и не возвращается на голосование: это решение группы, а не нерешительность.

Закрыть ячейку вручную

Если ячейка не разрешится сама, координатор может закрыть её из таблицы статистики — с примечанием и, при желании, с результатом, принятым на конференции. Закрытая ячейка не возвращается на голосование, а в итоговом отчёте появляется выбранный результат. Повторное открытие возвращает всё как было.

Итоговый отчёт

Отчёт не перечисляет сценарии по одному: он сводит их к переменным, которые имеют значение. Если для процедуры согласие действует для мужчин — и молодых, и пожилых, — отчёт говорит «пол = мужской» и о возрасте не упоминает, потому что он не меняет результата. Для каждого раздела и процедуры указаны определяющие и не влияющие переменные.

В начале отчёта те же зоны записаны предложениями, которые можно вставить в раздел результатов статьи. Всё экспортируется в CSV и обычный текст, а страница печатается без навигации.

Языки и слова исследования

Интерфейс существует на нескольких языках и переключается в верхней панели: каждый панелист голосует на своём. А слова, которыми называют зоны и результаты — уместно, неопределённо, неуместно, согласие, разногласие, — не переводятся: это данные вашего исследования, записанные в настройках, поэтому они одинаковы для всех и в итоговом отчёте.