How to Lie with Statistics

1. Статистика может быть искажена: остерегайтесь предвзятых выборок

"Тайный язык статистики, столь привлекательный в культуре, ориентированной на факты, используется для сенсационности, преувеличения, запутывания и упрощения."

Предвзятые выборки искажают результаты. Опросы и исследования часто опираются на выборки, которые не представляют всю популяцию. Например, исследование доходов выпускников Йельского университета может включать только тех, кто ответил на опрос, исключая менее успешных выпускников, не желающих сообщать свои доходы. Это может привести к завышенным средним показателям доходов, которые не отражают реальную картину.

Самоотбор вводит предвзятость. Когда участники сами решают, участвовать ли в исследовании, это может создать предвзятую выборку. Например, люди, более довольные продуктом, могут с большей вероятностью ответить на опрос о удовлетворенности клиентов, что приведет к чрезмерно положительным результатам. Чтобы бороться с этим, будьте осторожны с исследованиями с низким уровнем отклика или теми, которые не раскрывают свою методологию.

Размер выборки имеет значение. Маленькие выборки могут привести к ненадежным выводам. Исследование, основанное на нескольких случаях, может дать результаты, которые не являются статистически значимыми или представительными для большей популяции. Всегда ищите информацию о размере выборки и статистической значимости при оценке утверждений, основанных на данных.

2. Средние значения могут вводить в заблуждение: понимайте среднее, медиану и моду

"Существует три вида средних: среднее арифметическое, медиана и мода. Один и тот же набор данных можно использовать для демонстрации как минимум трех разных средних."

Разные средние рассказывают разные истории. Среднее арифметическое (среднее значение), медиана (срединное значение) и мода (наиболее частое значение) могут по-разному описывать один и тот же набор данных. Например:

• Средний доход в сообществе может быть значительно искажен несколькими высокими доходами
• Медианный доход часто дает более точное представление о типичных заработках
• Мода может выделить наиболее распространенный уровень дохода

Выбирайте правильное среднее для контекста. Когда вам представляют среднее значение, всегда спрашивайте, какой тип используется и почему. Для данных о доходах медиана часто более информативна, чем среднее, так как она менее подвержена влиянию экстремальных значений. В то время как среднее может быть более подходящим для наборов данных с меньшей вариацией.

Остерегайтесь неуточненных средних. Когда представлено "среднее" без указания типа, оно часто выбирается для поддержки определенного нарратива. Всегда будьте скептичны к неуточненным средним и ищите дополнительный контекст, чтобы понять полную картину данных.

3. Графики и визуальные представления могут искажать реальность

"График 'Ух ты'... используется для создания впечатления значительных изменений там, где их на самом деле мало."

Обрезанные шкалы преувеличивают изменения. Графики, которые не начинаются с нуля, могут сделать небольшие различия драматичными. Например, график, показывающий цены акций за короткий период, может использовать шкалу, начинающуюся с 95 вместо 0, что делает изменение на 5% выглядящим как увеличение на 100%.

Манипулирование пропорциями искажает сравнения. Двухмерные или трехмерные изображения, используемые для представления одномерных данных, могут создавать ложные впечатления. Например, удвоение высоты символа может учетверить его площадь, преувеличивая разницу, которую он представляет.

Визуальные трюки, на которые стоит обратить внимание:

• Отсутствие или несоответствие меток шкалы
• Изменение соотношения сторон для увеличения или уменьшения наклона трендовых линий
• Использование изометрических проекций для увеличения поздних точек данных
• Несоответствие интервалов на временных осях

Всегда внимательно изучайте шкалы и пропорции при интерпретации визуальных представлений данных.

4. Корреляция не означает причинно-следственную связь: остерегайтесь ложных выводов

"Если B следует за A, то A вызвало B. Делается необоснованное предположение, что поскольку курение и низкие оценки идут вместе, курение вызывает низкие оценки."

Постхоковая ошибка распространена. Многие статистические утверждения попадают в ловушку предположения, что если одно событие последовало за другим, первое событие вызвало второе. Это рассуждение ошибочно и может привести к неправильным выводам.

Примеры ложной причинности:

• Продажи мороженого коррелируют с увеличением уровня преступности (оба фактора на самом деле увеличиваются из-за теплой погоды)
• Страны с более высоким потреблением шоколада имеют больше лауреатов Нобелевской премии (вероятно, из-за других факторов, таких как богатство и образование)

Рассматривайте альтернативные объяснения. Когда вам представляют корреляцию, всегда учитывайте другие факторы, которые могут объяснить связь. Ищите:

• Общие причины, влияющие на обе переменные
• Обратную причинность (B может вызывать A)
• Случайные связи, особенно в небольших выборках

Требуйте доказательств причинности. Надлежащие научные исследования используют контролируемые эксперименты и статистические методы для установления причинности. Будьте скептичны к утверждениям о причинности, основанным только на наблюдательных данных или корреляциях.

5. Проценты и соотношения могут вводить в заблуждение без контекста

"Проценты предлагают плодородное поле для путаницы."

Процент от чего? Всегда спрашивайте, что является базой или знаменателем, когда вам представляют процент. Увеличение на 50% может означать очень разные вещи в зависимости от начальной точки. Например:

• Увеличение на 50% небольшого числа (например, с 2 до 3) может быть незначительным
• Увеличение на 50% большого числа (например, с 1 миллиона до 1,5 миллиона) может быть значительным

Процентные пункты против процентов. Будьте ясны в различии между процентными пунктами и процентами. Увеличение с 2% до 4% это:

• Увеличение на 2 процентных пункта
• Увеличение на 100%

Соотношения нуждаются в контексте. При сравнении соотношений или ставок убедитесь, что вы понимаете масштаб и контекст. Например, удвоение редкого события может все равно привести к очень малому абсолютному числу.

Всегда ищите абсолютные числа за процентами и соотношениями, чтобы получить более ясное представление об их значимости.

6. Остерегайтесь постхоковой ошибки в статистических интерпретациях

"Назвать одно из этих причин другого явно глупо. Но это делается каждый день."

Временная последовательность ≠ причинность. Постхоковая ошибка предполагает, что если одно событие последовало за другим, первое событие вызвало второе. Это рассуждение ошибочно и может привести к неправильным выводам во многих областях, включая медицину, экономику и социальные науки.

Примеры постхоковой ошибки:

• Политик вступает в должность, и экономика улучшается (игнорируя долгосрочные экономические циклы)
• Пациент принимает новую добавку, и его симптомы улучшаются (не учитывая естественное восстановление или эффект плацебо)

Рассматривайте множество факторов. Реальные явления часто являются результатом сложных взаимодействий между многими переменными. При оценке утверждений о причинно-следственной связи:

• Ищите контролируемые исследования, учитывающие смешивающие переменные
• Рассматривайте альтернативные объяснения и потенциальные скрытые факторы
• Будьте скептичны к простым объяснениям сложных вопросов

Требуйте строгих доказательств. Надлежащие научные исследования используют такие методы, как рандомизированные контролируемые испытания и многомерный анализ для установления причинности. Остерегайтесь утверждений о причинности, основанных только на временной последовательности или корреляции, особенно в областях с множеством взаимодействующих переменных.

7. Критическое мышление необходимо: спрашивайте кто, как и что отсутствует

"Не вся статистическая информация, с которой вы можете столкнуться, может быть проверена с уверенностью химического анализа или того, что происходит в лаборатории анализатора. Но вы можете проверить материал с помощью пяти простых вопросов и, найдя ответы, избежать изучения множества неверных данных."

Вопрос к источнику. Всегда спрашивайте "Кто это говорит?" при представлении статистики. Учитывайте возможные предвзятости:

• Является ли источник заинтересованной стороной?
• Есть ли у них репутация, которую нужно поддерживать, или продукт, который нужно продать?
• Используют ли они "О.К. имя" для придания достоверности?

Изучите методологию. Спрашивайте "Как они это знают?" чтобы понять процесс сбора и анализа данных:

• Был ли размер выборки адекватным?
• Были ли применены соответствующие статистические тесты?
• Сообщается ли о погрешности?

Ищите недостающую информацию. Спрашивайте "Что отсутствует?" чтобы выявить важный контекст:

• Предоставлены ли сравнения?
• Указан ли временной период?
• Приведены ли сырые числа вместе с процентами?

Постоянно применяя эти вопросы критического мышления, вы сможете лучше оценивать достоверность и актуальность статистических утверждений.

8. Числа без контекста бессмысленны: всегда ищите сравнения

"Многие цифры теряют смысл, потому что отсутствует сравнение."

Абсолютные числа нуждаются в контексте. Большое число само по себе мало что говорит. Например, "1000 смертей" может быть трагедией или незначительным в зависимости от размера популяции и временного периода.

Необходимые сравнения:

• Исторические данные: Как это сравнивается с предыдущими годами?
• Популяционно-скорректированные показатели: Показатели на душу населения часто дают лучшее представление
• Соответствующие ориентиры: Как это сравнивается с аналогичными ситуациями или ожиданиями?

Остерегайтесь изолированных статистик. Когда вам представляют одну статистику, всегда спрашивайте:

• По сравнению с чем?
• Является ли это типичным значением или выбросом?
• Какова тенденция с течением времени?

Требуйте относительных мер. По возможности, ищите статистику, представленную в виде ставок, соотношений или процентов, которые предоставляют встроенные сравнения. Эти меры часто дают более ясное представление о значимости числа в его правильном контексте.

9. Остерегайтесь смены темы и нерелевантных данных в статистических аргументах

"Одно часто сообщается как другое."

Тактика подмены. Будьте внимательны к тонким изменениям в том, что измеряется или сообщается. Общие подмены включают:

• Сообщенные случаи против фактической заболеваемости
• Ответы на опросы против фактического поведения
• Корреляция против причинности

Нерелевантные данные отвлекают. Остерегайтесь статистики, которая кажется впечатляющей, но на самом деле не поддерживает аргумент. Примеры:

• Использование общих чисел вместо показателей на душу населения при сравнении популяций разного размера
• Приведение лабораторных результатов, которые не переводятся на реальную эффективность

Сосредоточьтесь на утверждении. При оценке статистического аргумента:

• Определите основное утверждение
• Оцените, поддерживает ли каждое данное это утверждение
• Остерегайтесь косвенной информации, которая может отвлекать от слабых центральных аргументов

Сохраняя фокус на основном вопросе и тщательно анализируя релевантность каждого данных, вы сможете избежать введения в заблуждение умело представленными, но в конечном итоге нерелевантными статистиками.

10. Развивайте статистическую грамотность для принятия обоснованных решений

"Это похоже на убеждение среди жителей Новых Гебрид, что вши на теле способствуют хорошему здоровью. Наблюдения на протяжении веков научили их, что у здоровых людей обычно есть вши, а у больных людей их часто нет."

Статистическая грамотность важна. В нашем мире, основанном на данных, способность критически оценивать статистические утверждения необходима для принятия обоснованных решений в личной, профессиональной и гражданской жизни.

Ключевые навыки для развития:

• Понимание основных статистических концепций (например, средние значения, выборка, корреляция)
• Признание общих статистических ошибок и манипуляций
• Задавание критических вопросов о источниках данных и методологиях

Применяйте скептицизм последовательно. Относитесь ко всем статистическим утверждениям с долей скептицизма, независимо от того, соответствуют ли они вашим предвзятым убеждениям. Этот сбалансированный подход помогает избежать подтверждающего предвзятости и приводит к более объективному принятию решений.

Ищите множественные перспективы. При принятии важных решений, основанных на статистической информации:

• Консультируйтесь с разнообразными источниками
• Ищите экспертные интерпретации и критические замечания
• Учитывайте ограничения и неопределенности в данных

Развивая эти навыки и привычки, вы сможете более уверенно ориентироваться в море статистики и принимать более обоснованные решения во всех аспектах жизни.

Последнее обновление: August 15, 2024