Хорошая презентация для журнального клуба даёт группе достаточно информации для оценки статьи и оставляет время на обсуждение. Постройте рассказ вокруг исследовательского вопроса, сравнения, которое помогает на него ответить, и неопределённости, влияющей на использование результата. Пересказывать статью раздел за разделом не требуется.
Сначала отделите сообщения авторов от собственной интерпретации. Когда записи точно отражают статью, можно воспользоваться созданием презентации из текста в Presenti и получить редактируемый черновик. При проверке держите статью открытой: генератор слайдов не может установить, корректно ли сравнение и следует ли вывод из представленных данных.
Определите, какой вопрос должна решить встреча
Выберите вопрос, который задаёт цель обсуждению. «Хорошая ли это статья?» — слишком широкая формулировка, способная привести к разрозненным мнениям. «Достаточно ли этого исследования, чтобы изменить наши семинары в следующем семестре?» направляет внимание на дизайн, величину наблюдаемой разницы и сходство исследованной ситуации с вашей.
Вопрос должен подходить группе. Встреча по методологии может быть посвящена обработке пропущенных наблюдений. Группа, планирующая исследование, может обсуждать следующий эксперимент. Обозначьте вопрос в начале, чтобы участники понимали, зачем нужны подробности.
Не ограничивайтесь аннотацией. Найдите описание метода, определение показателя, движение выборки, таблицы и нужные дополнительные материалы. Если важного сведения нет, запишите: «В рассмотренных материалах не сообщается». Не дополняйте метод молча тем, что исследователи, по вашему предположению, наверняка сделали.
Разберите один неклинический пример
Представим вымышленное исследование двух способов повторить главу по истории. Восемьдесят студентов случайно распределены на две равные группы. Первая пять минут вспоминает основные положения по памяти и ещё пять минут повторяет главу. Вторая перечитывает её десять минут. Через неделю студентов приглашают пройти тест с максимальной оценкой 20 баллов.
В кратком описании исследования приведены такие сведения:
| Показатель | Вспомнить, затем повторить | Перечитать |
|---|---|---|
| Распределено студентов | 40 | 40 |
| Прошли отсроченный тест | 34 | 38 |
| Средний балл среди прошедших тест | 14 из 20 | 11 из 20 |
Описание не сообщает разброс оценок, причины отсутствия студентов или результаты анализа, учитывающего пропущенные баллы. Эти пробелы заложены в учебный пример. Они создают конкретные вопросы для обсуждения, но не дают права придумывать ответы.
Аккуратная формулировка результата: «Среди студентов, прошедших отсроченный тест, группа воспроизведения по памяти с последующим повторением в среднем получила на три балла больше по 20-балльной шкале». Число напрямую следует из разности 14 и 11. Слова «доказанное улучшение долговременного усвоения» добавляют утверждения о причинности, определённости и длительности, которых это описание не устанавливает.
Проследите сравнение от распределения до результата
Изобразите короткую последовательность: 80 распределённых студентов, две группы по 40, два способа повторения и две наблюдаемые группы при последующем тестировании. Рядом с первой ветвью отметьте шесть отсутствующих студентов, рядом со второй — двух. Схема объяснит, почему итоговое сравнение включает 72 человека, а не исходные 80.
Затем поясните вклад каждой особенности дизайна. Случайное распределение должно обеспечивать сопоставимость групп на момент назначения. Оно не объясняет, почему люди пропустили последующий тест. Одинаковое время делает сопоставимой запланированную длительность повторения, но процедуры различаются и воспроизведением по памяти, и порядком действий. Исследование сравнивает эти две процедуры целиком, в том виде, в котором они проводились.
Сам отсроченный тест тоже требует внимания. Соответствовал ли он изученному материалу? Повторял ли в основном тренировочные вопросы или требовал применять идеи в новых ситуациях? Одинаково ли оценивались ответы обеих групп? От этого зависит смысл «лучшего результата». Не называйте незнакомую оценочную процедуру валидированной мерой лишь потому, что она даёт число.
Для реальной статьи приведите сообщённые ответы и укажите, где их найти. В вымышленном описании часть ответов отсутствует. Явно показанный пробел полезен: группа видит, какая информация могла бы изменить её оценку.
Стройте слайды вокруг решений
Последовательность из семи слайдов может задать понятный ход встречи. Используйте её как исходную структуру и адаптируйте к статье и доступному времени.
| Слайд | Что нужно аудитории |
|---|---|
| 1. Статья и наш вопрос | Идентифицировать статью, дать библиографическую ссылку и назвать решение, которое предстоит обсудить. |
| 2. Почему сравнение важно | В нескольких предложениях объяснить практический или теоретический пробел. |
| 3. Кто что делал | Показать распределение, действия и последующее наблюдение, включая пропуски. |
| 4. Основной результат | Показать показатель, шкалу, наблюдаемую выборку и сообщённую неопределённость. |
| 5. Границы результата | Связать конкретные сильные стороны и ограничения с интерпретацией. |
| 6. Что делать дальше | Предложить предварительное действие или исследовательский вопрос вместе с условиями. |
| 7. Обсуждение | Задать два–три вопроса, обсуждать которые позволяют показанные данные. |
В нашем примере на слайде 4 можно показать два явно подписанных значения: «14/20, n = 34» и «11/20, n = 38». Добавьте: «Среднее среди завершивших тест; проверка через неделю». Не придумывайте интервалы ошибок. Без исходных оценок или сообщённого разброса описание не позволяет рассчитать новый доверительный интервал или заявить статистическую значимость.
Слайд 5 должен объяснять последствия ограничений. Формулировка «Малая выборка, короткое наблюдение, нужны дополнительные исследования» помогает мало. Полезнее сказать: «Пропущенные результаты могут изменить сравнение, а одна неделя не показывает, сохранится ли разница в течение семестра». Каждое замечание связано с выводом, который иначе могла бы сделать аудитория.
Разделите результат, свою оценку и предложение
Используйте последовательные речевые обозначения для этих уровней:
- В статье сообщается: «У завершивших тест студентов группы воспроизведения и повторения средний балл составил 14, а в группе перечитывания — 11».
- Моя оценка: «Наблюдаемая разница в пользу первой процедуры, но неодинаковое число пропусков затрудняет интерпретацию сравнения только полных наблюдений».
- Моё предложение: «Прежде чем менять все семинары, можно провести небольшой локальный пилот с учётом посещаемости и более длительным наблюдением».
Предложение — возможная реакция, а не результат исследования. Группа вполне может сначала запросить недостающие методологические сведения. Ваша задача — сделать этот выбор предметом обсуждения, а не представить предпочитаемый следующий шаг единственным научным выводом.
Так же обращайтесь с иллюстрациями. Для воспроизведённого рисунка из статьи нужны источник и необходимые разрешения. Если вы заново изображаете опубликованный результат, сохраните единицы, сравнение и существенную неопределённость, а также укажите источник. Подробнее о размещении ссылок рассказывает руководство о том, как организовать исследовательскую презентацию с цитированием. В вымышленном примере этой статьи не воспроизводятся реальные публикации или результаты исследований.
Используйте одностраничную карточку чтения
Перед подготовкой слайдов заполните эту короткую карточку. Она помогает сверить интерпретацию со статьёй и затем поделиться содержанием обсуждения.
Статья и расположение данных: Полное библиографическое описание; ссылка или идентификатор; место основного результата.
Вопрос и сравнение: У кого или в каких условиях что с чем сравнивали?
Показатель: Что измеряли, по какой шкале и через какое время?
Наблюдаемый результат: Сообщённые значения, размеры выборок и неопределённость; различие между распределёнными и включёнными в анализ участниками.
Граница интерпретации: Одна конкретная особенность, влияющая на допустимый вывод.
Решение для обсуждения: Что нашей группе следует сделать или изучить и какая недостающая информация могла бы изменить ответ?
Карточка должна быть достаточно короткой, чтобы обнаруживать пробелы. Если строка показателя превращается в абзац из-за неясности, какая мера основная, вернитесь к статье до оформления слайдов. Если ограничение обозначено только словом «смещение», назовите возможный механизм и вывод, на который он способен повлиять.
Пусть обсуждение опирается на данные
Для вымышленного исследования три вопроса ведут к конкретному разговору:
- Что нужно знать о восьми пропущенных результатах теста, прежде чем использовать наблюдаемую разницу для изменения преподавания?
- Какую часть процедуры мы сохранили бы в локальном пилоте: воспроизведение по памяти, последующее повторение или оба элемента? Какое сравнение позволит разобраться в этом выборе?
- Какой последующий показатель поможет понять, полезно ли изменение за пределами этого единственного теста?
Оставьте время для ответов, не показывая сразу свои. Если участник поднимает вопрос, не разрешённый статьёй, отделите отсутствие ответа от доказанного недостатка. Пробел в описании может мешать уверенной оценке, не доказывая, что сам метод был плох.
В завершение зафиксируйте реальную позицию группы: результат, который она принимает, вывод, в котором сомневается, и действие, которое хочет предпринять. Тогда встреча даст больше, чем ещё одну аннотацию: общее суждение, связь которого с данными можно проследить.
