Понимание регрессии к среднему

Независимо от того, не замечают ли его либо некорректно разъясняют, парадокс регрессии чужд людскому разуму. Регрессию в первый раз опознали и сообразили на двести лет позднее, чем теорию гравитации и дифференциальное исчисление. Более того, для разъяснения регрессии потребовался один из наилучших английских мозгов XIX века.
В первый раз это явление обрисовал Понимание регрессии к среднему сэр Фрэнсис Гальтон, троюродный брат Чарльза Дарвина, обладавший воистину энциклопедическими познаниями. В статье под заглавием «Регрессия к среднему при наследовании», размещенной в 1886 году, он сказал об измерениях нескольких поочередных поколений семян и о сопоставлении роста деток с ростом их родителей. О семенах он пишет так:

«Исследования дали увлекательный итог Понимание регрессии к среднему, и на их основании 9 февраля 1877 года я прочел лекцию в Царской ассоциации. Опыты проявили, что потомство не походило на родителей размером, но всегда оказывалось более неиндивидуальным, другими словами меньше больших родителей либо больше маленьких… Опыты проявили также, что в среднем регрессия потомства прямо пропорциональна отклонению родителей от Понимание регрессии к среднему среднего».

Гальтон, разумеется, ждал, что ученая аудитория в Царской ассоциации, наистарейшей независящей исследовательской организации мира, так же изумится его «интересным ре зультатам», как и он сам. Но самое увлекательное заключается в том, что его изумила рядовая статистическая закономерность. Регрессия всераспространена везде, но мы ее не узнаём. Она скрывается на виду. За Понимание регрессии к среднему пару лет, при помощи выдающихся статистиков тех пор, Гальтон сделал путь от открытия наследной регрессии размеров до более широкого осознания того, что регрессия безизбежно появляется при неполной корреляции меж 2-мя величинами.
Посреди препятствий, которые пришлось преодолеть исследователю, оказалась и неувязка измерения регрессии меж величинами, выражающимися в различных единицах: к Понимание регрессии к среднему примеру, весом и умением играть на пианино. Их определяют, беря в качестве образца для сопоставления все население. Представьте, что у 100 малышей из всех классов исходной школы измерили вес и умение играть и расположили результаты по порядку, от наибольшей до малой величины каждого показателя. Если Джейн на 3-ем Понимание регрессии к среднему месте по музыке и на 20 седьмом по весу, можно сказат ь, что игра на пианино у нее лучше, чем рост. Давайте для простоты создадим несколько допущений.
В любом возрасте:
• Успехи в игре на пианино зависят только от количества часов занятий в неделю.
• Вес зависит только от количества потребляемого мороженого.
• Поедание мороженого и Понимание регрессии к среднему количество часов занятий музыкой в неделю – независящие величины.

Сейчас мы можем написать некие уравнения с внедрением позиций в перечне (либо стандартных оценок, как их именуют статистики):

вес = возраст + потребление мороженого
игра на пианино = возраст + количество часов занятий в неделю

Разумеется, что при попытках предсказать уровень игры на пианино по весу либо Понимание регрессии к среднему напротив, будет появляться регрессия к среднему. Если о Томе понятно только то, что он по весу двенадцатый (намного выше среднего), можно сделать статис тический вывод, что Том, возможно, старше среднего и, может быть, потребляет больше мороженого, чем другие. Если о Барбаре понятно только то, что она восемьдесят 5-ая Понимание регрессии к среднему по пианино (намного ниже среднего по группе), можно прийти к выводу, что Барбара, вероятнее всего, еще малая и, наверняка, занимается меньше других.
Коэффициент корреляции меж 2-мя величинами, варьирующийся от 0 до 1, – это мера относительного веса причин, влияющих на обе из их. К примеру, у всех нас половина генов – общая Понимание регрессии к среднему с каждым из родителей, и у черт, на которые наружные причины оказывают влияние не много (к примеру, у роста), корреляция меж показателями родителя и малыша близка к 0,5. Чтоб оценить значение меры корреляции, приведу несколько примеров коэффициентов:

• Корреляция меж размерами объектов, точно измеренных в метрических либо в имперских единицах, составляет 1. Все Понимание регрессии к среднему определяющие причины оказывают влияние на оба измерения.
• Корреляция меж весом и ростом, сооб щенными респондентами, для взрослых американских парней составляет 0,41. Если включить в группу дам и деток, то корреляция будет намного выше, так как пол и возраст индивидума оказывают влияние на их оценку собственного роста и веса, что Понимание регрессии к среднему наращивает относительные значения общих причин.
• Корреляция меж школьными тестами на определение академических возможностей и средним баллом в институте равна приблизительно 0,60. Но корреляция меж тестами на проверку возможностей и фуррорами в магистратуре намного ниже – в главном поэтому, что уровень возможностей в этой группе не очень различается. Если возможности у всех приблизительно схожи Понимание регрессии к среднему, то разница в этом параметре навряд ли очень воздействует на меру фуррора.
• Корреляция меж доходом и уровнем образования в США составляет приблизительно 0,40.
• Корреляция меж доходом семьи и последними 4-мя цифрами номера их телефона равна 0.

Фрэнсису Гальтону потребовалось пару лет, чтоб осознать, что корреляция и регрессия – это не две Понимание регрессии к среднему различные концепции, а две точки зрения на одну. Общепринятое правило достаточно обычное, но у него изумительные следствия: в случаях, когда корреляция неидеальна, наблюдается регрессия к среднему. Чтоб проиллюстрировать открытие Гальтона, возьмем предположение, которое многие находят достаточно любознательным:

Умные дамы нередко выходят замуж за наименее умных парней.

Если на вечеринке Понимание регрессии к среднему попросить ваших компаньонов отыскать разъяснение этому факту, то увлекательный разговор вам обеспечен. Даже знакомые со статистикой люди проинтерпретируют это утверждение в каузальных определениях. Кто-то решит, что умные дамы стремятся избежать конкуренции умных парней; кто-то представит, что они обязаны идти на компромиссы при выборе жена из-за того Понимание регрессии к среднему, что умные мужчины не желают соревноваться с умными дамами; другие предложат более выдуманные разъяснения. А сейчас задумайтесь над последующим утверждением:

Корреляция меж оценками ума супругов неидеальна.

Очевидно, это утверждение правильно – и совсем неинтересно. В данном случае никто не ждет безупречной корреляции. Разъяснять тут нечего. Все же с Понимание регрессии к среднему алгебраической точки зрения эти два утверждения эквивалентны. Если корреляция меж оценками ума супр угов неидеальна (и если дамы и мужчины в среднем не различаются по уму), то математически безизбежно, что умные дамы выйдут замуж за парней, которые в среднем будут наименее умными (и напротив). Наблюдаемая регрессия к среднему не может быть Понимание регрессии к среднему более увлекательна либо более объяснима, чем неидеальная корреляция.
Гальтону можно пособолезновать – пробы осознать и разъяснить парадокс регрессии даются нелегко. По ироничному замечанию статистика Дэвида Фридмана, если вопрос о регрессии появляется в процессе судебного разбирательства, та сторона, которой приходится разъяснять его сущность присяжным, непременно проигрывает. Почему это так трудно Понимание регрессии к среднему? Основная причина проблем часто упоминается в этой книжке: наш разум склонен к каузальным объяснениям и плохо совладевает с «простой статистикой». Если какое-то событие завлекает наше внимание, ассоциативная память начинает находить его причину, а поточнее, активизируется неважно какая причина, уже хранящаяся в памяти. При обнаружении регрессии подыскиваются каузальные разъяснения, но Понимание регрессии к среднему они будут неправильными, так как по сути у регрессии к среднему разъяснение есть, а обстоятельств нет. Во время турниров по гольфу наше внимание завлекает тот факт, что спортсмены, отлично игравшие в 1-ый денек, позже часто играют ужаснее. Лучшее разъяснение заключается в том, что этим гольфистам в 1-ый денек особенно Понимание регрессии к среднему подфартило, но такому разъяснению не хватает силы каузальности, которую предпочитают наши разумы. Мы хорошо платим тем, кто выдумывает для нас достойные внимания разъяснения эффектов регрессии. Комментатор на канале деловых новостей, который правильно увидит, что «для бизнеса этот год был лучше, так как прошедший год был неудачным», вероятнее Понимание регрессии к среднему всего, недолго выдержит в эфире.
Наши трудности с осознанием регрессии появляются и из-за Системы 1, и из-за Системы 2. Без дополнительных инструкций (а в почти всех случаях – даже после некого знакомства со статистикой) отношение меж корреляцией и регрессией остается неясным. Системе 2 тяжело его осознать и усвоить. Отчасти это происходит Понимание регрессии к среднему из-за напористых требований Системы 1 давать каузальные разъяснения.

Трехмесячное применение энергетических напитков для исцеления депрессии у малышей дает значимые улучшения состояния.

Я придумал этот заголовок, но описанный в нем факт – правда: если какое-то время поить энергетическими напитками деток, страдающих депрессией, наблюдается клинически важное улучшение. Аналогичным образом малыши с депрессией Понимание регрессии к среднему, которые будут раз в день по 5 минут стоять на голове либо по 20 минут разглаживать кошек, также покажут улучшение состояния. Большая часть читателей таких заголовков автоматом заключат, что улучшение пришло из-за энергетического напитка либо поглаживания кошки, но это – совсем безосновательный вывод. Малыши в депрессии – это экстремальная группа, а Понимание регрессии к среднему такие группы со временем регрессируют к среднему. Корреляция меж уровнями депрессии во время поочередных проверо к неидеальна, так что регрессия к среднему неминуема: детям с депрессией с течением времени станет чуток легче, даже если они не будут разглаживать кошек и пить «Ред Булл». Для вывода об эффективности энергетического напитка Понимание регрессии к среднему – либо хоть какого другого метода исцеления – нужно сопоставить группу пациентов, получающих его, с контрольной группой, не получающей исцеления совершенно (либо, еще лучше, получающей плацебо). Ожидается, что контрольная группа покажет улучшение только за счет регрессии, а цель опыта состоит в выяснении, улучшается ли состояние пациентов, получающих исцеление, больше, чем разъясняется регрессией Понимание регрессии к среднему.
Неправильное каузальное определение эффекта регрессии характерно не только лишь читателям пользующейся популярностью прессы. Статистик Говард Вейнер составил длиннющий перечень выдающихся исследователей, допустивших такую же ошибку, другими словами спутавших корреляцию с каузальностью. Эффект регрессии – нередкий источник заморочек в исследовательских работах, и у опытнейших ученых развивается здоровая боязнь ловушек, то Понимание регрессии к среднему ест ь безосновательных каузальных выводов.
Один из моих возлюбленных примеров ошибки в интуитивных пророчествах взят из восхитительной книжки Макса Базермана «Оценочные суждения при принятии управленческих решений» и приспособлен:

Вы прогнозируете реализации в сети магазинов. Все магазины сети сходны по размеру и ассортименту, но объем продаж у их различный из-за расположения Понимание регрессии к среднему, конкуренции и разных случайных причин. Вам представили результаты за 2011 год и попросили найти реализации в 2012-м. У вас есть указания придерживаться общего прогноза экономистов о том, что рост продаж в целом составит 10 %. Вроде бы вы заполнили последующую таблицу?



Прочитав эту главу, вы понимаете, что явное решение прибавить Понимание регрессии к среднему по 10 % к продажам каждого из магазинов некорректно. Прогноз должен быть регрессивным, другими словами для магазинов с нехорошими плодами следует добавить больше 10 %, а к остальным – меньше, а то и отнять что-то. Но практически у всех людей это задание вызывает недоумение: для чего спрашивать об тривиальном? Как нашел еще Гальтон, понятие регрессии неочевидно Понимание регрессии к среднему.


ponozhovshina-na-rechnom-vokzale-v-peterburge-legalizaciya-korotkostvolnogo-ognestrelnogo-oruzhiya-v-rossii.html
pontoon-21-dlya-trollinga.html
ponyat-chto-nuzhno-sdelat.html