Проверка статистических гипотез — бесплатный тест онлайн

Вопрос 1 из 25

Ситуация: Незначимый результат объявляют доказательством полного отсутствия различий между методами. Какое правило нужно применить к этому фрагменту прежде всего?

x <- c(10,11,9,10,12)
result <- t.test(x, mu=10)
result

Валидность теста зависит от независимости, распределения, схемы выборки и заранее определённого анализа При множестве гипотез вероятность хотя бы одного случайного открытия растёт, поэтому нужна коррекция или иерархический план Ошибка I рода — ложное отклонение H0, а ошибка II рода — пропуск реально существующего эффекта; их баланс зависит от порога и дизайна Нулевая гипотеза задаёт конкретную модель или отсутствие эффекта, относительно которой оценивается совместимость наблюдаемых данных p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы

Вопрос 2 из 25

Ситуация: Незначимый результат объявляют доказательством полного отсутствия различий между методами. Что в этой ситуации способно исказить вывод без явной синтаксической ошибки?

x <- c(10,11,9,10,12)
result <- t.test(x, mu=10)
result

Снижение alpha без увеличения выборки обычно повышает риск пропустить эффект, а не делает исследование безусловно надёжнее Выбор только минимального p-value среди сотен тестов без учёта множественности создаёт ложное открытие Неотклонение H0 не доказывает её истинность и может отражать недостаточную мощность или шумные измерения Выбор теста после просмотра данных и многократная смена фильтров делают заявленный уровень ошибки недостоверным Малый p-value не измеряет размер или практическую важность эффекта и уменьшается при большом n даже для ничтожного различия

Вопрос 3 из 25

Ситуация: Незначимый результат объявляют доказательством полного отсутствия различий между методами. Что следует изменить в коде или процессе?

Задайте семейство гипотез и примените подходящую коррекцию, например Holm для FWER или BH для FDR Выбирайте alpha, мощность и минимально важный эффект до сбора данных, учитывая цену двух типов ошибок Заранее задайте эффект, тест и критерий решения, а при интересе к эквивалентности используйте соответствующий дизайн Зафиксируйте план, проверяйте допущения и показывайте все существенные аналитические решения Сообщайте размер эффекта и интервал вместе с p-value, связывая вывод с заранее заданным вопросом

Вопрос 4 из 25

Ситуация: Незначимый результат объявляют доказательством полного отсутствия различий между методами. Какой тест лучше всего ловит повтор этой ошибки?

Воспроизведите анализ по протоколу, проведите диагностику и сравните устойчивость к альтернативным разумным спецификациям Сравните сырые и скорректированные p-value и число открытий при разных разумных методах Проверьте размер эффекта, интервал и мощность, а не только бинарное решение Проведите расчёт мощности и анализ чувствительности к размеру эффекта и дисперсии Сравните p-value при разных n для одинакового эффекта и оцените предметную значимость

Вопрос 5 из 25

Ситуация: Незначимый результат объявляют доказательством полного отсутствия различий между методами. Как сформулировать вывод без лишних обобщений?

x <- c(10,11,9,10,12)
result <- t.test(x, mu=10)
result

Ошибка I рода — ложное отклонение H0, а ошибка II рода — пропуск реально существующего эффекта; их баланс зависит от порога и дизайна; при этом главный риск состоит в том, что снижение alpha без увеличения выборки обычно повышает риск пропустить эффект, а не делает исследование безусловно надёжнее Нулевая гипотеза задаёт конкретную модель или отсутствие эффекта, относительно которой оценивается совместимость наблюдаемых данных; поэтому отсутствие сообщения об ошибке уже подтверждает корректность результата Нулевая гипотеза задаёт конкретную модель или отсутствие эффекта, относительно которой оценивается совместимость наблюдаемых данных; при этом главный риск состоит в том, что малый p-value не измеряет размер или практическую важность эффекта и уменьшается при большом n даже для ничтожного различия Нулевая гипотеза задаёт конкретную модель или отсутствие эффекта, относительно которой оценивается совместимость наблюдаемых данных; при этом главный риск состоит в том, что неотклонение H0 не доказывает её истинность и может отражать недостаточную мощность или шумные измерения p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы; при этом главный риск состоит в том, что неотклонение H0 не доказывает её истинность и может отражать недостаточную мощность или шумные измерения

Вопрос 6 из 25

Ситуация: Разница в три сотых единицы статистически значима на огромной выборке, и её называют крупным улучшением. Какой механизм точнее всего объясняет связь кода с ситуацией?

set.seed(2)
x <- rnorm(10000, mean=.03, sd=1)
result <- t.test(x, mu=0)
result

При множестве гипотез вероятность хотя бы одного случайного открытия растёт, поэтому нужна коррекция или иерархический план Валидность теста зависит от независимости, распределения, схемы выборки и заранее определённого анализа Ошибка I рода — ложное отклонение H0, а ошибка II рода — пропуск реально существующего эффекта; их баланс зависит от порога и дизайна Нулевая гипотеза задаёт конкретную модель или отсутствие эффекта, относительно которой оценивается совместимость наблюдаемых данных p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы

Вопрос 7 из 25

Ситуация: Разница в три сотых единицы статистически значима на огромной выборке, и её называют крупным улучшением. Какой дефект нужно искать в первую очередь?

set.seed(2)
x <- rnorm(10000, mean=.03, sd=1)
result <- t.test(x, mu=0)
result

Неотклонение H0 не доказывает её истинность и может отражать недостаточную мощность или шумные измерения Выбор только минимального p-value среди сотен тестов без учёта множественности создаёт ложное открытие Снижение alpha без увеличения выборки обычно повышает риск пропустить эффект, а не делает исследование безусловно надёжнее Выбор теста после просмотра данных и многократная смена фильтров делают заявленный уровень ошибки недостоверным Малый p-value не измеряет размер или практическую важность эффекта и уменьшается при большом n даже для ничтожного различия

Вопрос 8 из 25

Ситуация: Разница в три сотых единицы статистически значима на огромной выборке, и её называют крупным улучшением. Какой вариант исправления сохраняет смысл анализа?

Заранее задайте эффект, тест и критерий решения, а при интересе к эквивалентности используйте соответствующий дизайн Задайте семейство гипотез и примените подходящую коррекцию, например Holm для FWER или BH для FDR Выбирайте alpha, мощность и минимально важный эффект до сбора данных, учитывая цену двух типов ошибок Сообщайте размер эффекта и интервал вместе с p-value, связывая вывод с заранее заданным вопросом Зафиксируйте план, проверяйте допущения и показывайте все существенные аналитические решения

Вопрос 9 из 25

Ситуация: Разница в три сотых единицы статистически значима на огромной выборке, и её называют крупным улучшением. Какая проверка относится к исходному риску, а не к внешнему виду результата?

Сравните p-value при разных n для одинакового эффекта и оцените предметную значимость Проверьте размер эффекта, интервал и мощность, а не только бинарное решение Воспроизведите анализ по протоколу, проведите диагностику и сравните устойчивость к альтернативным разумным спецификациям Сравните сырые и скорректированные p-value и число открытий при разных разумных методах Проведите расчёт мощности и анализ чувствительности к размеру эффекта и дисперсии

Вопрос 10 из 25

Ситуация: Разница в три сотых единицы статистически значима на огромной выборке, и её называют крупным улучшением. Какое заключение лучше всего выдерживает проверку?

set.seed(2)
x <- rnorm(10000, mean=.03, sd=1)
result <- t.test(x, mu=0)
result

Нулевая гипотеза задаёт конкретную модель или отсутствие эффекта, относительно которой оценивается совместимость наблюдаемых данных; при этом главный риск состоит в том, что неотклонение H0 не доказывает её истинность и может отражать недостаточную мощность или шумные измерения p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы; при этом главный риск состоит в том, что малый p-value не измеряет размер или практическую важность эффекта и уменьшается при большом n даже для ничтожного различия При множестве гипотез вероятность хотя бы одного случайного открытия растёт, поэтому нужна коррекция или иерархический план; при этом главный риск состоит в том, что малый p-value не измеряет размер или практическую важность эффекта и уменьшается при большом n даже для ничтожного различия p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы; при этом главный риск состоит в том, что выбор только минимального p-value среди сотен тестов без учёта множественности создаёт ложное открытие p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы; поэтому достаточно один раз проверить класс объекта на текущем наборе данных

Вопрос 11 из 25

Ситуация: Команда резко снижает порог значимости, но оставляет прежний размер выборки и ожидает ту же чувствительность. На какое свойство R здесь следует опереться?

result <- power.t.test(delta=.5, sd=1, sig.level=.05, power=.8, type='two.sample')
result

Нулевая гипотеза задаёт конкретную модель или отсутствие эффекта, относительно которой оценивается совместимость наблюдаемых данных Ошибка I рода — ложное отклонение H0, а ошибка II рода — пропуск реально существующего эффекта; их баланс зависит от порога и дизайна При множестве гипотез вероятность хотя бы одного случайного открытия растёт, поэтому нужна коррекция или иерархический план p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы Валидность теста зависит от независимости, распределения, схемы выборки и заранее определённого анализа

Вопрос 12 из 25

Ситуация: Команда резко снижает порог значимости, но оставляет прежний размер выборки и ожидает ту же чувствительность. Почему успешный запуск ещё не доказывает корректность?

result <- power.t.test(delta=.5, sd=1, sig.level=.05, power=.8, type='two.sample')
result

Снижение alpha без увеличения выборки обычно повышает риск пропустить эффект, а не делает исследование безусловно надёжнее Выбор теста после просмотра данных и многократная смена фильтров делают заявленный уровень ошибки недостоверным Выбор только минимального p-value среди сотен тестов без учёта множественности создаёт ложное открытие Малый p-value не измеряет размер или практическую важность эффекта и уменьшается при большом n даже для ничтожного различия Неотклонение H0 не доказывает её истинность и может отражать недостаточную мощность или шумные измерения

Вопрос 13 из 25

Ситуация: Команда резко снижает порог значимости, но оставляет прежний размер выборки и ожидает ту же чувствительность. Какая правка лучше локальной заплатки?

Заранее задайте эффект, тест и критерий решения, а при интересе к эквивалентности используйте соответствующий дизайн Задайте семейство гипотез и примените подходящую коррекцию, например Holm для FWER или BH для FDR Зафиксируйте план, проверяйте допущения и показывайте все существенные аналитические решения Сообщайте размер эффекта и интервал вместе с p-value, связывая вывод с заранее заданным вопросом Выбирайте alpha, мощность и минимально важный эффект до сбора данных, учитывая цену двух типов ошибок

Вопрос 14 из 25

Ситуация: Команда резко снижает порог значимости, но оставляет прежний размер выборки и ожидает ту же чувствительность. Как подтвердить корректность на граничном случае?

Проведите расчёт мощности и анализ чувствительности к размеру эффекта и дисперсии Проверьте размер эффекта, интервал и мощность, а не только бинарное решение Сравните сырые и скорректированные p-value и число открытий при разных разумных методах Воспроизведите анализ по протоколу, проведите диагностику и сравните устойчивость к альтернативным разумным спецификациям Сравните p-value при разных n для одинакового эффекта и оцените предметную значимость

Вопрос 15 из 25

Ситуация: Команда резко снижает порог значимости, но оставляет прежний размер выборки и ожидает ту же чувствительность. Какой вывод точнее всего связывает механизм и главный риск?

result <- power.t.test(delta=.5, sd=1, sig.level=.05, power=.8, type='two.sample')
result

Ошибка I рода — ложное отклонение H0, а ошибка II рода — пропуск реально существующего эффекта; их баланс зависит от порога и дизайна; при этом главный риск состоит в том, что снижение alpha без увеличения выборки обычно повышает риск пропустить эффект, а не делает исследование безусловно надёжнее Ошибка I рода — ложное отклонение H0, а ошибка II рода — пропуск реально существующего эффекта; их баланс зависит от порога и дизайна; при этом главный риск состоит в том, что неотклонение H0 не доказывает её истинность и может отражать недостаточную мощность или шумные измерения Ошибка I рода — ложное отклонение H0, а ошибка II рода — пропуск реально существующего эффекта; их баланс зависит от порога и дизайна; следовательно, совпадение числа строк можно считать полной проверкой решения Нулевая гипотеза задаёт конкретную модель или отсутствие эффекта, относительно которой оценивается совместимость наблюдаемых данных; при этом главный риск состоит в том, что снижение alpha без увеличения выборки обычно повышает риск пропустить эффект, а не делает исследование безусловно надёжнее p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы; при этом главный риск состоит в том, что малый p-value не измеряет размер или практическую важность эффекта и уменьшается при большом n даже для ничтожного различия

Вопрос 16 из 25

Ситуация: Из двухсот показателей публикуют пять с наименьшими p-value, не упоминая остальные проверки. Какое утверждение лучше всего объясняет показанный фрагмент?

p <- c(.001,.01,.03,.2,.8)
result <- p.adjust(p, method='BH')
result

p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы Нулевая гипотеза задаёт конкретную модель или отсутствие эффекта, относительно которой оценивается совместимость наблюдаемых данных Ошибка I рода — ложное отклонение H0, а ошибка II рода — пропуск реально существующего эффекта; их баланс зависит от порога и дизайна Валидность теста зависит от независимости, распределения, схемы выборки и заранее определённого анализа При множестве гипотез вероятность хотя бы одного случайного открытия растёт, поэтому нужна коррекция или иерархический план

Вопрос 17 из 25

Ситуация: Из двухсот показателей публикуют пять с наименьшими p-value, не упоминая остальные проверки. Какое скрытое допущение здесь опаснее остальных?

p <- c(.001,.01,.03,.2,.8)
result <- p.adjust(p, method='BH')
result

Выбор теста после просмотра данных и многократная смена фильтров делают заявленный уровень ошибки недостоверным Малый p-value не измеряет размер или практическую важность эффекта и уменьшается при большом n даже для ничтожного различия Выбор только минимального p-value среди сотен тестов без учёта множественности создаёт ложное открытие Неотклонение H0 не доказывает её истинность и может отражать недостаточную мощность или шумные измерения Снижение alpha без увеличения выборки обычно повышает риск пропустить эффект, а не делает исследование безусловно надёжнее

Вопрос 18 из 25

Ситуация: Из двухсот показателей публикуют пять с наименьшими p-value, не упоминая остальные проверки. Что нужно сделать, чтобы ошибка не вернулась на следующем наборе данных?

Выбирайте alpha, мощность и минимально важный эффект до сбора данных, учитывая цену двух типов ошибок Заранее задайте эффект, тест и критерий решения, а при интересе к эквивалентности используйте соответствующий дизайн Сообщайте размер эффекта и интервал вместе с p-value, связывая вывод с заранее заданным вопросом Зафиксируйте план, проверяйте допущения и показывайте все существенные аналитические решения Задайте семейство гипотез и примените подходящую коррекцию, например Holm для FWER или BH для FDR

Вопрос 19 из 25

Ситуация: Из двухсот показателей публикуют пять с наименьшими p-value, не упоминая остальные проверки. Какая проверка непосредственно подтверждает, что дефект устранён?

Проведите расчёт мощности и анализ чувствительности к размеру эффекта и дисперсии Воспроизведите анализ по протоколу, проведите диагностику и сравните устойчивость к альтернативным разумным спецификациям Сравните сырые и скорректированные p-value и число открытий при разных разумных методах Сравните p-value при разных n для одинакового эффекта и оцените предметную значимость Проверьте размер эффекта, интервал и мощность, а не только бинарное решение

Вопрос 20 из 25

Ситуация: Из двухсот показателей публикуют пять с наименьшими p-value, не упоминая остальные проверки. Что стоит написать в технической рецензии к этому фрагменту?

p <- c(.001,.01,.03,.2,.8)
result <- p.adjust(p, method='BH')
result

При множестве гипотез вероятность хотя бы одного случайного открытия растёт, поэтому нужна коррекция или иерархический план; при этом главный риск состоит в том, что выбор только минимального p-value среди сотен тестов без учёта множественности создаёт ложное открытие Валидность теста зависит от независимости, распределения, схемы выборки и заранее определённого анализа; при этом главный риск состоит в том, что выбор теста после просмотра данных и многократная смена фильтров делают заявленный уровень ошибки недостоверным При множестве гипотез вероятность хотя бы одного случайного открытия растёт, поэтому нужна коррекция или иерархический план; поэтому повторный запуск в той же сессии заменяет проверку граничных случаев p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы; при этом главный риск состоит в том, что выбор только минимального p-value среди сотен тестов без учёта множественности создаёт ложное открытие При множестве гипотез вероятность хотя бы одного случайного открытия растёт, поэтому нужна коррекция или иерархический план; при этом главный риск состоит в том, что малый p-value не измеряет размер или практическую важность эффекта и уменьшается при большом n даже для ничтожного различия

Вопрос 21 из 25

Ситуация: После просмотра результата аналитик выбирает из нескольких тестов тот, который первым дал значимость. Что является главным техническим основанием для разбора?

set.seed(3)
x <- rnorm(30); y <- rnorm(30)
result <- list(t=t.test(x,y), w=wilcox.test(x,y))
result

При множестве гипотез вероятность хотя бы одного случайного открытия растёт, поэтому нужна коррекция или иерархический план p-value — вероятность получить не менее экстремальные данные при верной нулевой модели, а не вероятность самой гипотезы Валидность теста зависит от независимости, распределения, схемы выборки и заранее определённого анализа Ошибка I рода — ложное отклонение H0, а ошибка II рода — пропуск реально существующего эффекта; их баланс зависит от порога и дизайна Нулевая гипотеза задаёт конкретную модель или отсутствие эффекта, относительно которой оценивается совместимость наблюдаемых данных

Вопрос 22 из 25

Ситуация: После просмотра результата аналитик выбирает из нескольких тестов тот, который первым дал значимость. Что именно может сломаться при новых данных?

set.seed(3)
x <- rnorm(30); y <- rnorm(30)
result <- list(t=t.test(x,y), w=wilcox.test(x,y))
result

Выбор только минимального p-value среди сотен тестов без учёта множественности создаёт ложное открытие Малый p-value не измеряет размер или практическую важность эффекта и уменьшается при большом n даже для ничтожного различия Снижение alpha без увеличения выборки обычно повышает риск пропустить эффект, а не делает исследование безусловно надёжнее Выбор теста после просмотра данных и многократная смена фильтров делают заявленный уровень ошибки недостоверным Неотклонение H0 не доказывает её истинность и может отражать недостаточную мощность или шумные измерения

Вопрос 23 из 25

Ситуация: После просмотра результата аналитик выбирает из нескольких тестов тот, который первым дал значимость. Какое изменение устраняет именно причину проблемы?

Выбирайте alpha, мощность и минимально важный эффект до сбора данных, учитывая цену двух типов ошибок Зафиксируйте план, проверяйте допущения и показывайте все существенные аналитические решения Задайте семейство гипотез и примените подходящую коррекцию, например Holm для FWER или BH для FDR Заранее задайте эффект, тест и критерий решения, а при интересе к эквивалентности используйте соответствующий дизайн Сообщайте размер эффекта и интервал вместе с p-value, связывая вывод с заранее заданным вопросом

Вопрос 24 из 25

Ситуация: После просмотра результата аналитик выбирает из нескольких тестов тот, который первым дал значимость. Какой контроль отличит исправление от случайно удачного результата?

Проведите расчёт мощности и анализ чувствительности к размеру эффекта и дисперсии Сравните сырые и скорректированные p-value и число открытий при разных разумных методах Проверьте размер эффекта, интервал и мощность, а не только бинарное решение Сравните p-value при разных n для одинакового эффекта и оцените предметную значимость Воспроизведите анализ по протоколу, проведите диагностику и сравните устойчивость к альтернативным разумным спецификациям

Вопрос 25 из 25

Ситуация: После просмотра результата аналитик выбирает из нескольких тестов тот, который первым дал значимость. Какое заключение останется верным и на новых данных?

set.seed(3)
x <- rnorm(30); y <- rnorm(30)
result <- list(t=t.test(x,y), w=wilcox.test(x,y))
result

Валидность теста зависит от независимости, распределения, схемы выборки и заранее определённого анализа; при этом главный риск состоит в том, что выбор теста после просмотра данных и многократная смена фильтров делают заявленный уровень ошибки недостоверным Валидность теста зависит от независимости, распределения, схемы выборки и заранее определённого анализа; при этом главный риск состоит в том, что выбор только минимального p-value среди сотен тестов без учёта множественности создаёт ложное открытие При множестве гипотез вероятность хотя бы одного случайного открытия растёт, поэтому нужна коррекция или иерархический план; при этом главный риск состоит в том, что выбор теста после просмотра данных и многократная смена фильтров делают заявленный уровень ошибки недостоверным Ошибка I рода — ложное отклонение H0, а ошибка II рода — пропуск реально существующего эффекта; их баланс зависит от порога и дизайна; при этом главный риск состоит в том, что снижение alpha без увеличения выборки обычно повышает риск пропустить эффект, а не делает исследование безусловно надёжнее Валидность теста зависит от независимости, распределения, схемы выборки и заранее определённого анализа; следовательно, предупреждения можно не учитывать, если итог выглядит ожидаемо