Статистика внезапно стала сверхмодным направлением. С
появлением интернета, электронной торговли, социальных сетей, проекта
по расшифровке генома человека, а также в связи с развитием цифровой
культуры в целом мир стал захлебываться в данных. Маркетологи изучают наши вкусы и привычки.
Разведывательные службы собирают информацию о нашем местонахождении,
электронной переписке и телефонных звонках. Специалисты по спортивной
статистике жонглируют цифрами, решая, каких игроков покупать, кого набирать в
команду, а кого посадить на скамью запасных. Каждый стремится объединить
точки в график и обнаружить закономерность в беспорядочном скоплении
данных.
Неудивительно, что эти тенденции отражаются и в обучении. «Давайте обратимся к статистике», — увещевает в своей колонке газеты New York Times
Грег Мэнкью, экономист из Гарвардского университета. «В учебной
программе по математике в средней школе слишком много времени уделяется
традиционным темам, таким как евклидова геометрия и тригонометрия. Эти
полезные для обычного человека умственные упражнения, однако,
малоприменимы в повседневной жизни. Учащимся было бы гораздо полезнее
больше узнать о теории вероятности и статистике». Дэвид Брукс идет еще
дальше. В своей статье, посвященной дисциплинам,
заслуживающим внимания для получения достойного образования, он пишет:
«Возьмите статистику. Вот увидите, окажется, что знание того, что такое
стандартное отклонение, вам очень пригодится в жизни».
Вполне вероятно, а еще неплохо разбираться в том,
что такое распределение. Это первое, о чем я намерен поговорить. И хотел
бы заострить на нем внимание, поскольку в этом заключается один из
главных уроков статистики: вещи кажутся безнадежно случайными и
непредсказуемыми при рассмотрении их по отдельности, однако в
совокупности в них обнаруживается закономерность и предсказуемость.
Возможно, вы видели демонстрацию этого принципа в
каком-нибудь научном музее (если нет, видеоролики можно найти в
интернете). Типичный экспонат представляет собой приспособление под
названием доска Гальтона, которая чем-то напоминает автомат для игры в
пинбол, только без флипперов. Внутри его с равными интервалами
располагаются ровные ряды штырьков.
![](/KIRILL/00197/_138.jpg)
Опыт начинается с того, что в верхнюю часть доски
Гальтона запускаются сотни шариков. При падении они сталкиваются со
штырьками и с равной вероятностью отскакивают то вправо, то влево, а
затем распределяются внизу доски, попадая в отсеки одинаковой ширины.
Высота столбика из шариков показывает, с какой вероятностью шарик может
оказаться в данном месте. Большинство шариков размещаются примерно в
середине, по бокам их уже меньше, и еще меньше — по краям. В общем,
картина чрезвычайно предсказуема: шарики всегда образуют распределение в
форме колокола, хотя предугадать, где окажется каждый отдельно взятый
шарик, невозможно.
Каким образом отдельные случайности превращаются в
общие закономерности? Но именно так действует случайность. В среднем
столбике скопилось больше всего шариков потому, что, прежде чем
скатиться вниз, многие из них совершат примерно одинаковое количество
прыжков вправо и влево и в результате окажутся где-то посередине.
Несколько одиноких шариков, расположившихся по краям, образуют хвосты
распределения — это те шарики, которые при столкновении со штырьками
отскакивали всегда в одном направлении. Такие отскоки маловероятны,
поэтому по краям так мало шариков.
Подобно тому как местоположение каждого шарика
определяется суммой множества случайных событий, многие явления в этом
мире являются следствием множества мелких обстоятельств и тоже
подчиняются колоколообразной кривой. По этому принципу работают
страховые компании. Они с высокой точностью могут назвать количество
своих клиентов, которые умирают каждый год. Однако не знают, кому именно
не повезет на этот раз.
Или возьмем, к примеру, рост человека. Он зависит от
бесчисленного количества случайностей, связанных с генетикой,
биохимией, питанием и окружающей средой. Следовательно, велика
вероятность, что при рассмотрении в совокупности рост взрослых мужчин и
женщин будет представлять собой колоколообразную кривую.
В одном блоге под названием «Ложные данные, которые
люди сообщают о себе в интернете» статистическая служба сайта знакомств
OkCupid недавно опубликовала график роста своих клиентов
или, скорее, указанных ими значений. Обнаружилось, что показатели роста
представителей обоих полов, как и ожидалось, образуют колоколообразную
кривую. Однако удивительно то, что оба распределения были примерно на
два дюйма смещены вправо относительно ожидаемых значений.
![](/KIRILL/00197/_139.jpg)
![](/KIRILL/00197/_140.jpg)
Таким образом, либо рост клиентов, опрошенных
компанией OkCupid, превышает средний, либо при описании себя в интернете
они прибавляют к своему росту еще пару дюймов.
Идеализированной версией подобных колоколообразных
кривых является то, что математики называют нормальным распределением.
Это одно из важнейших понятий в статистике, имеющее теоретическое
обоснование. Можно доказать, что нормальное распределение возникает при
сложении большого количества мелких случайных факторов, причем каждый из
них действует независимо от других. И многие события происходят именно
таким образом.
Но не все. И это второй пункт, на который я хотел бы
обратить внимание. Нормальное распределение не такое уж вездесущее, как
кажется. На протяжении сотни лет, и особенно в последние несколько
десятилетий, ученые и специалисты в области статистики отмечают
существование множества явлений, отклоняющихся от этой кривой и
следующих собственному графику. Любопытно, что подобные типы
распределений практически не упоминаются в учебниках по элементарной
статистике, а если и встречаются, то обычно рассматриваются как некие
патологии. Это странно. Я попытаюсь объяснить, что многие явления
современной жизни приобретают больший смысл при условии понимания этих
«патологических» распределений. Это новая нормальность.
Возьмем, к примеру, распределение размеров городов в
США. Вместо того чтобы скапливаться вокруг некоей средней величины
колоколообразной кривой, подавляющее большинство городов имеют небольшой
размер и, следовательно, скапливаются в левой части графика.
![](/KIRILL/00197/_141.jpg)
И чем больше население города, тем реже такие города
встречаются. Иначе говоря, в совокупности распределение будет
представлять собой скорее кривую в форме буквы L, чем колоколообразную
кривую.
И в этом нет ничего удивительного. Все знают, что
мегаполисов гораздо меньше, чем маленьких городов. Хотя это не так
очевидно, размеры городов подчиняются простому красивому распределению —
если посмотреть на них в логарифмическом масштабе.
Будем считать, что различие между двумя городами
одно и то же, если их население отличается в одно и то же число раз
(подобно тому как две любые клавиши рояля, отстоящие на октаву, всегда
разнятся вдвое по частоте). И сделаем то же самое на вертикальной оси.
![](/KIRILL/00197/_142.jpg)
Теперь данные располагаются на кривой,
представляющей собой почти идеальную прямую линию. Исходя из свойств
логарифмов, нетрудно вывести, что исходная L-образная кривая
представляет собой степенную зависимость, которая описывается функцией вида
![](/KIRILL/00197/_143.jpg)
где x — население города, у — количество городов, имеющих такой размер, с — константа, а показатель степени a (показатель степенной зависимости) определяет отрицательный наклон прямой линии.
Степенные распределения имеют некоторые нелогичные, с точки зрения
традиционной статистики, свойства. Например, в отличие от нормального
распределения, их моды, медианы и средние значения не совпадают из-за
скошенной асимметричной формы L-образных кривых. Президент Буш извлек из
этого немалую пользу, заявив в 2003 году, что сокращение налогов
позволило каждой семье сэкономить в среднем 1586 долларов. Хотя математически это верно, здесь он к своей
выгоде взял за основу среднее значение вычета, под которым скрывались
огромные вычеты в сотни тысяч долларов, полученные 0,1 % богатейшего
населения страны. Известно, что «хвост» в правой части распределения
дохода следует степенной зависимости, и в подобной ситуации
использование средней величины вводит в заблуждение, поскольку она
далека от своего реального значения. В действительности большинству
семей вернули менее 650 долларов. В данном распределении медиана
значительно меньше, чем среднее значение.
Этот пример демонстрирует важнейшее свойство распределений степенной
зависимости: они имеют «тяжелые хвосты» по сравнению по крайней мере с
маленькими «жидкими хвостиками» нормального распределения. Подобные
большие хвосты хотя и редкость, но встречаются чаще в распределениях
данных, чем обычные колоколообразные кривые.
В «черный понедельник», 19 октября 1987 года,
промышленный индекс Доу-Джонса упал на 22 %. По сравнению с обычным
уровнем нестабильности на фондовом рынке это падение составило более
двадцати стандартных отклонений. Согласно традиционной статистике (в
которой используется нормальное распределение), подобное событие
практически невозможно: его вероятность составляет менее чем один случай
на 100 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
(10 в 50 степени). Однако это произошло — поскольку колебания цен на
фондовом рынке не соответствовали нормальному распределению. Для их описания лучше подходят распределения с «тяжелым хвостом».
Подобное происходит с землетрясениями, пожарами и
наводнениями, что усложняет страховым компаниям задачу управления
рисками. Такая же математическая модель описывает число погибших в
результате войн и террористических атак, а также другие, гораздо более
мирные вещи, такие как количество слов в романе или число сексуальных
партнеров у человека.
Хотя прилагательные, используемые для описания
длинных хвостов, выставляют их в не слишком выгодном свете, «хвостатые»
распределения гордо несут свои хвосты. Жирный, тяжелый и длинный? Да,
это так. Но в таком случае покажите, какой нормальный? |