Существуют городские легенды (кто знает, возможно, это не просто легенды), которые можно проверить с помощью статистики. Рассмотрим несколько примеров.

Помогает ли чайная ложка удержать газ в бутылке шампанского?

Некоторые люди считают, что если опустить ложку в горлышко бутылки шампанского, то из нее не будет выходить газ (или по крайней мере он будет выходить медленнее, чем из открытой бутылки) и вино дольше сохранит свой вкус. Как развеять сомнения? Попробовать, то есть провести эксперимент.

Эта задача похожа на задачу о дегустаторе чая. Можно попросить кого-нибудь попробовать шампанское из бутылки, в горлышко которой положили ложку, затем из бутылки с открытым горлышком. Мы уже знаем, что одного бокала из каждой бутылки недостаточно. Нужно налить минимум три бокала из одной бутылки и столько же — из другой. Бутылки должны быть полностью одинаковыми и должны храниться в одинаковых условиях. Единственная разница должна состоять в том, что в горлышко одной бутылки положили ложку.

Вероятность случайно угадать все три бокала из бутылки, в горлышко которой положили ложку, равна 5 % (напомним, что три предмета из шести можно выбрать 20 разными способами, лишь один из которых является правильным). Чтобы снизить вероятность случайного угадывания, нужно предложить дегустатору больше бокалов, но следует учесть, что после определенного числа бокалов он уже не сможет четко различать вкус шампанского.

Можно дать попробовать шампанское нескольким людям, но нужно быть внимательным: в этом случае вероятность случайного угадывания возрастет. Если вероятность того, что один человек точно укажет все три бокала, равна 5 %, то вероятность того, что один из пяти человек верно определит все три бокала, будет равна примерно 40 %, и сделать какие-то точные выводы будет нельзя.

Очевидно, что можно использовать прибор, измеряющий содержание газа в вине, и получить абсолютно точный результат. Однако не стоит забывать, что прибор может указать на различия, которые будут неощутимы на вкус, а между тем именно они представляют для нас интерес. Следовательно, вопреки показаниям прибора, класть ложку в горлышко бутылки не имеет смысла. По этой же причине не стоит доверять проведение эксперимента дегустатору вина, способному определять его вкус с исключительной точностью.

Умеете ли вы выбирать дыни?

Задача о выборе спелой дыни еще больше похожа на задачу о дегустаторе чая. Некоторые люди утверждают, что умеют выбирать спелую дыню по весу, на звук и так далее. Чтобы определить, так ли это на самом деле, можно выбрать пять дынь случайным образом и предложить знатоку выбрать из них одну, по его мнению, самую спелую. Далее нужно взять по одной дольке из каждой дыни и снова предложить выбрать самую спелую, но теперь уже на вкус. Разумеется, в обоих случаях знаток должен указать одну и ту же дыню. Недостаток этого эксперимента заключается в том, что вероятность случайного угадывания равна 1/5 (20 %), следовательно, результат будет ненадежным. Однако вероятность случайного угадывания в двух случаях из двух составляет всего 4 %, в трех случаях из трех — 8 %, что крайне маловероятно, если знаток действительно не умеет выбирать спелые дыни.

Будут ли цветы стоять дольше, если добавить в воду аспирин?

По-видимому, аспирин полезен не только для человека. Достаточно распространено мнение, что цветы будут стоять дольше, если добавить в воду аспирин. Чтобы проверить это экспериментально, можно взять два букета по 20 цветов (лучше если все цветы будут разными, то есть выбрать по две розы, две гвоздики, две маргаритки и так далее). Далее нужно поставить букеты в вазы и убедиться, что они находятся в абсолютно одинаковых условиях. Единственное различие будет заключаться в том, что в воду в одной вазе мы добавим немного аспирина, в другой — нет.

Если эффект от аспирина отсутствует, вероятность того, что первым завянет определенный цветок, равна 50 %. Следовательно, крайне маловероятно, что во всех 20 случаях дольше простоят цветы в той вазе, куда был добавлен аспирин. Вероятность случайного совпадения равна вероятности выпадения решки 20 раз подряд при 20 бросках монеты. Применив правило «и» (см. главу 2), получим: 0,5²⁰  = 9,5·10^-7 (порядка одной миллионной). Если цветы в вазах с аспирином будут стоять дольше, это будет очевидно доказывать эффективность аспирина.

Вероятность того, что цветы в воде, куда был добавлен аспирин, будут стоять дольше минимум в 19 случаях, равна 2 на 10000; минимум в 15 случаях — порядка 2 %; в 14 случаях — почти 6 %. Следовательно, неудивительно, что цветы будут стоять дольше в воде, куда был добавлен аспирин, в 14 случаях и менее, даже если аспирин не оказывает абсолютно никакого эффекта. Приняв вероятность ошибки равной 5 % (эта величина называется уровнем значимости), аспирин следует считать эффективным, если цветы будут стоять дольше минимум в 15 случаях из 20.

Этот эксперимент очень прост, и в нем не учитывается, на сколько дольше сохраняется один цветок по сравнению с другим — на день, два дня или на неделю. Можно использовать и другие показатели, например критерий Уилкоксона, в котором учитывается разница во времени для каждой пары цветов. Однако важнее, чтобы эксперимент был проведен корректно, а его выводы не экстраполировались на другие случаи, нежели какой именно критерий мы выберем.

Действительно ли дорогие батарейки работают дольше?

Когда мы покупаем бытовую технику, то помимо прочих факторов учитываем и ее внешний вид. Однако при покупке батареек единственный важный параметр — это время их работы.

Любопытно проанализировать разницу в ценах между одинаковыми батарейками в зависимости от марки или магазина, где они были куплены. Обычные батарейки с напряжением 1,5 В от известных производителей могут стоить в два раза дороже батареек, купленных в дешевом супермаркете (и это совсем не значит, что там продаются только плохие батарейки). Также верно и то, что в последнее время известные производители предлагают различные скидки, и разница в цене уже не столь велика — рынок диктует свои правила.

Правда ли, что дорогие батарейки работают дольше? И если они действительно работают дольше, то выгоднее ли покупать их? Иными словами, компенсирует ли разница во времени работы разницу в цене? Чтобы ответить на эти вопросы, нужны данные. Необходимо тщательно продумать алгоритмы сбора данных и проанализировать их нужным образом, чтобы получить достоверный результат. Иначе говоря, нужно использовать методы статистики. Задачу непросто решить по следующим причинам.

* * *

* * *

1. Время работы и дорогих, и дешевых батареек варьируется. Их нельзя сравнивать по одной, так как время их работы гарантированно будет отличаться (если измерения будут проводиться с достаточной точностью), но это не означает, что если одна батарейка конкретного типа работает дольше, то и все батарейки этого типа будут в среднем работать дольше.

2. Если мы сформируем выборку батареек каждого типа и сравним среднее время работы по выборкам, то разница между средними значениями по выборкам также не будет однозначно свидетельствовать в пользу тех или иных батареек. Если обе группы будут состоять из батареек одной и той же марки, то и в этом случае среднее время работы в каждой группе будет различаться. Необходимо, чтобы разница во времени работы была статистически значимой.

3. Батарейки используются в разных устройствах и в разных режимах. Может оказаться так, что в одних устройствах они будут работать одинаковое время, в других — разное.

4. Измерить время работы батареек непросто. Мы не можем непрерывно день и ночь наблюдать за работой устройства.

Можно выбрать определенное устройство и сравнить время работы для выборки дорогих и дешевых батареек. Можно подключить батарейку к лампочке и часам (электронные часы в этом случае не подходят) так, как показано на рисунке. Когда батарейка разрядится, стрелки часов остановятся, и мы сможем точно определить время работы батарейки. Нужно производить наблюдения минимум 1 раз в 12 часов, но в этих условиях батарейки проработают недолго.

Схема электрической цепи для измерения времени работы батарейки.

Для анализа полученных данных всегда рекомендуется использовать их графическое представление. Для небольшого объема данных, как в этом случае (например, для 10 батареек каждого типа), достаточно точечной диаграммы. Может случиться, что различия будут незаметны или диаграмма не позволит сделать однозначные выводы. Статистические тесты помогут нам подтвердить начальные предположения: результаты тестов не могут противоречить диаграмме.

Графическое представление трех возможных ситуаций.

Для анализа полученных данных подобным образом можно использовать t-критерий Стьюдента для независимых выборок. Это очень просто сделать с помощью Excel: нужно лишь указать, в каких ячейках находятся данные (первые два параметра функции «11 ЕСТ»), «хвосты» (третий параметр) и вид критерия (четвертый параметр функции).

Третий параметр зависит от альтернативной гипотезы (нулевая гипотеза заключается в том, что различия отсутствуют). Если она такова, что более дорогие батарейки работают дольше (предположить это вполне логично), значение этого параметра будет равно 1. Если же альтернативная гипотеза заключается в том, что дорогие батарейки работают дольше или меньше, значение этого параметра будет равно 2.

Четвертый параметр, вид критерия, указывает, являются ли выборки парными. Если выборки не парные, как в нашем примере, вариацию можно считать одинаковой в обеих выборках. Если графическое представление данных подобно указанному на точечных диаграммах выше, нетрудно заметить, что вариация одинакова. Если у вас возникли сомнения, можно указать, что вариация отличается, однако это почти не повлияет на результат.

Получение p-значения для t-критерия Стьюдента с помощью Excel.

В сомнительной ситуации, подобной той, что изображена на третьей диаграмме, по результатам теста p-значение равно 0,02 (нет смысла приводить его с такой точностью, как это делается в Excel). Как вы уже знаете, это означает, что если бы батарейки и того и другого типа в среднем работали одинаково, то разница, полученная по результатам эксперимента, была бы вызвана исключительно случайными факторами всего в 2 % случаев.

Действительно ли пакеты с водой отпугивают мух?

Пластиковые пакеты, наполненные водой, — популярное средство для отпугивания мух (в Интернете упоминается, что этот способ используют везде, от Латинской Америки до Таиланда). Некоторые люди считают, что это средство работает, другие сомневаются.

Любопытно, что те, кто верит в эффективность этого средства, приводят совершенно разные доводы: кто-то указывает, что луч света, проходящий через пакет с водой, раскладывается в спектр, и это сбивает с толку мух, так как их глаза устроены особым образом. Другие считают, что мухи не приближаются к воде, потому что знают: если они намокнут, то не смогут летать. Кто-то полагает, что пакеты с водой, напротив, используют в магазинах, так как они притягивают мух и те не мешают покупателям.

Помогают ли пакеты с водой против мух или нет? Не вдаваясь в анализ причин и следствий, на этот вопрос можно ответить с помощью грамотно проведенного эксперимента. Однако провести его непросто. Нужно будет подсчитать число мух в комнате, где есть пакеты с водой, и в комнате, где их нет. Нужно выставлять пакеты с водой в определенные дни, выбранные случайным образом, и всякий раз подсчитывать число мух в помещении.

Сосчитать мух нелегко, хотя нам могут помочь высокие технологии: некоторые фотоаппараты можно настроить так, что они будут делать снимок через заданные промежутки времени. Если делать снимки хорошим фотоаппаратом в комнате с белыми стенами, то мы сможем подсчитать число мух относительно точно. Однако этот метод обладает еще одним недостатком: если одни мухи вылетают из комнаты, а другие — влетают, это нельзя определить с помощью фотографий. Для подсчета мух в комнате также можно использовать липкую ленту.

Читатель наверняка сможет предложить и другие способы. Верно одно: если мы не получим данные с помощью грамотно проведенного эксперимента, то не узнаем, насколько эффективны пакеты с водой против мух.