Иногда в статьях, описывающих результаты опросов,
приводятся расчеты погрешности, но не указывается, как формировалась
выборка, либо, напротив, приведены все необходимые пояснения, так что
очевидно, что выборка производилась не случайным образом. Все
математические правила и законы, на которых основаны эти вычисления,
выполняются только при условии, что выборка является случайной. В
противном случае погрешность будет рассчитана неверно вне зависимости от
того, насколько внимательно вы произвели все необходимые подсчеты.
Оптимальный способ формирования случайной выборки
таков: нужно взять перечень всех представителей генеральной
совокупности, случайным образом выбрать определенное число людей,
связаться с ними и назначить встречу. Проблема в том, что этот способ
ведет к большим затратам. Можно выбрать не людей, а дома, но в этом
случае днем мы не застанем тех, кто работает, а вечером они вряд ли
согласятся ответить на наши вопросы. Кроме того, если опрос можно
производить только вечером, его проведение потребует длительного
времени.
Преимущество полностью случайных выборок в том, что
они позволяют получить очень точные оценки с помощью традиционных
статистических методов. Их единственным недостатком является высокая
затратность. Существуют и другие способы, каждый из которых имеет свои
преимущества и недостатки. Можно использовать районированную выборку; в
этом случае генеральная совокупность разделяется на области, после чего
выборки берутся из каждой области. Этот вид выборки наиболее эффективен,
если вариация значений между областями невысока.
Также можно использовать серийную выборку. Ее принцип
заключается в том, что выбираются не отдельные люди, а этажи или
подъезды, после чего опрашиваются все жильцы. Это дешевле, чем
опрашивать отдельных людей, проживающих далеко друг от друга. Компании,
специализирующиеся на проведении опросов, знают, как достичь требуемой
достоверности экономически выгодным способом. Однако при любых
обстоятельствах важно обеспечить репрезентативность выборки, в противном
случае фиаско неизбежно.
Опрос, который изменил все опросы: Лэндон против Рузвельта
На выборах президента США в 1936 году кандидатом от
республиканской партии был Альф Лэндон, кандидатом от демократической
партии — Франклин Делано Рузвельт. Уважаемый и влиятельный журнал того
времени The Literary Digest, который публиковал точные прогнозы о
результатах прошлых выборов, провел крупнейший в истории предвыборный
опрос. По почте было разослано примерно 10 миллионов анкет. Адреса были
взяты из списков автовладельцев и из телефонных справочников. Было
получено 2300 000 ответов, из которых следовало, что победу одержит
Лэндон, а соотношение голосов составит 3 к 2 в его пользу.
Выборы выиграл Рузвельт, причем с заметным перевесом:
он получил 60,8 % голосов. Причиной ошибки стало формирование прогноза
на основе нерепрезентативной выборки. В 1936 году автомобили и домашние
телефоны были доступны только обеспеченным людям, которые в большинстве
своем голосовали за республиканцев. Крупномасштабный опрос завершился не
менее масштабным провалом. В то же время компании, незадолго до того
основанной Джорджем Гэллапом, удалось предсказать итог выборов, опросив
менее 3000 человек, но обеспечив репрезентативность выборки. Урок не
прошел даром: теперь опросы больше не проводятся методом «грубой силы», а
имя компании Гэллапа стало своеобразным знаком качества.
Жеребьевка при призыве в армию
При формировании выборки или выборе единственного
числа случайным образом нужно уделять особое внимание деталям, так как в
противном случае могут возникнуть непредвиденные трудности. Среди
специалистов широко известен случай, произошедший в армии США в разгар
войны во Вьетнаме.
Во время призыва в 1970 году впервые использовалась
жеребьевка: в ящик было помещено 366 капсул, каждая из которых
соответствовала определенному дню года. Сначала в ящик поместили 31
капсулу по числу дней в январе, затем — 29 по числу дней в феврале и так
далее. Капсулы перемешали и начали вытаскивать из ящика по очереди.
Сначала призвали тех, кто родился в день, указанный на первой капсуле,
затем — на следующей и так далее.
Однако из-за того, что, по-видимому, капсулы плохо
перемешали, возникла проблема. Капсулы, соответствующие дням декабря,
остались лежать сверху, и их доля в результатах жеребьевки оказалась
намного больше, чем можно было бы ожидать при действительно случайном
выборе. Капсулы, соответствующие дням января, лежали на дне и были
вытащены ближе к концу жеребьевки, поэтому во Вьетнам отправилось
намного больше молодых людей, рожденных в декабре, чем рожденных в
январе. Средства массовой информации обратили на это внимание, но
никаких изменений предпринято не было. В следующем году система была
изменена и жеребьевка проводилась действительно случайным образом.
В Европе, в частности в Испании, произошел похожий
случай. В 1997 году 165 342 юноши достигли призывного возраста, но армии
требовалось меньше призывников. 16442 человека оказались «лишними»,
поэтому была проведена жеребьевка, чтобы определить, кто не подлежит
призыву. Каждому призывнику был присвоен номер. Суть жеребьевки состояла
в том, что случайным образом определялся один номер, и от призыва
освобождался призывник с этим номером, а также 16441 человек, следующий
за ним. Однако случайное число в интервале от 1 до 165 342 было выбрано
некорректно. Сначала из лотерейного барабана, в котором находилось всего
два шара с номерами 0 и 1, был взят шар, определяющий, в каком
интервале находится число. Если выпадал ноль, число бралось из интервала
от 1 до 99999, если выпадала единица, число бралось из интервала от
100000 до 165342. Выпал шар с номером 1. Далее из второго барабана, где
находились шары с номерами от 0 до 9, был взят второй шар под номером 8.
Так как этот номер соответствовал числу, превышающему 180 000, из
барабана было извлечено еще несколько шаров, пока не выпал шар с
номером, не превышающим 6.
Была ли допущена ошибка? Разумеется. Вероятность
выпадения числа в интервале от 1 до 99999 была той же, что и вероятность
выпадения числа от 100000 до 165342, однако первый интервал содержит
больше значений, чем второй, из-за чего для одних призывников
вероятность избежать призыва равнялась 8,2 %, для других — 12,6 %, что
на 50 % больше.
«Неформальные» опросы
Профессиональная ассоциация разослала своим членам
письма с анкетами, содержавшими вопросы о работе и годовом доходе. Целью
исследования было получить данные, которые затем можно было бы
использовать при переговорах о размере заработной платы. Участникам
требовалось указать тип компании, в которой они работают (международная,
семейная, крупная, мелкая, с большими традициями, недавно основанная и
так далее), сферу деятельности, должность, время работы на этой
должности, в компании, в сфере деятельности вообще и, наконец, величину
заработной платы и премий. Участникам опроса также были высланы конверты
с обратным адресом для отправки заполненных анкет по почте. Было
отправлено 5 000 анкет и получено 357 ответов. Надежность выводов
составила 95 %, погрешность — 5 %.
Если вы сверитесь со справочной таблицей, содержащей
размеры выборок, то увидите, что размер выборки является корректным.
Проблема в том, что эта выборка не является случайной. Следовательно,
результаты опроса ошибочны. Если отвечают только желающие, то такую
выборку нельзя считать случайной. Возможно, что участники опроса,
занимающие высокие посты, очень заняты, постоянно находятся в
командировках и не имеют времени на участие в опросах. В опросе также не
примут участие те, кто поздно возвращается с работы, мало зарабатывает
или временно не имеет работы и не хочет возвращаться к этой теме, а
также те, структура зарплаты которых не соответствует ни одному из
вариантов, предлагаемых в анкете. Таким образом, выборка не является
случайной. Значит, мы не можем использовать математические методы,
корректные только для случайных выборок.
Это же справедливо и для анкет постояльцев отелей, в
которых можно оставить отзыв о качестве обслуживания. Эти анкеты
заполняют только те постояльцы, которые особенно недовольны
обслуживанием, либо те, кто хочет выразить благодарность в письменном
виде (а также, возможно, те, у кого достаточно времени на заполнение
анкеты). Информация, полученная из этих анкет, поможет определить
положительные и отрицательные моменты, но ее нельзя использовать для
получения статистических данных, отражающих мнение клиентов в среднем.
Если мы выйдем на улицу с микрофоном в руке и камерой
на плече, чтобы опросить жителей, а затем представим их мнение в эфире с
комментарием «мы вышли на улицы, чтобы узнать, что думают жители о…»,
это сделает нашу телепрограмму динамичной и интересной, но не поможет
узнать истинное мнение горожан в целом.
Да или да? Значение формулировок вопросов
Формулировки вопросов, порядок их следования и даже
ударение на отдельные слова может повлиять на результат опроса. Если мы
косвенно указываем, какой ответ является «правильным», участник опроса,
скорее всего, ответит именно то, что мы хотим услышать.
Когда автор этой книги и его коллега читали курс
лекций по статистике для всех желающих, мы провели опрос среди
слушателей, чтобы показать, как формулировки вопросов влияют на
результат. Мы сказали, что хотим узнать мнение аудитории о новом законе,
касающемся финансирования политических партий, и раздали всем опросные
листы. Все листы выглядели одинаково, но в половине листов формулировка
одного из вопросов была изменена.
Две формулировки одного и того же вопроса о финансировании политических партий.
Почти все опрошенные ответили «да» вне зависимости от
того, какая из двух анкет им была выдана. То есть некоторые согласились
с тем, что «крупные финансовые группы не должны вкладывать значительные
суммы денег», другие — с тем, что «компании и организации должны иметь
возможность вкладывать средства». Как вы видите, предпочтения
составителей опроса могут повлиять на формулировки вопросов, что в свою
очередь отразится на результатах. Следовательно, важно понимать, в чем
заключается вопрос и как именно следует его задать. Также наряду с
результатами опроса следует всегда приводить точные формулировки
вопросов.
Звонит телефон, но вас нет дома. Телефонные опросы
Проведение опросов по телефону — самый простой и
удобный способ, хотя очевидно, что и он имеет определенные недостатки.
Телефон доступен практически всем, кто проживает в более или менее
развитых районах, но молодежь предпочитает пользоваться мобильными
телефонами. Очевидно, что их номеров нет в справочниках и они не войдут в
число участников опроса.
Нужно определить, повлияет ли на результаты опроса
тот факт, что в выборку не войдут те, у кого нет домашнего телефона.
Также имеет значение, в какое время будет производиться опрос, кого мы
будем опрашивать и как будем заменять тех, кто не пожелает участвовать в
опросе. Если мы не уделим должного внимания этим моментам, выборка
будет недостаточно репрезентативной, что приведет к серьезным ошибкам. |
