пятница, 17 сентября 2010 г.

Парадокс двух конвертов

Уже вынесен окончательный Вердикт по "двум конвертам"

Широко известен с восьмидесятых годов прошлого столетия. Так и не обрёл до сих пор общепризнанного удовлетворительного разрешения. В очередной раз попытаемся исправить ситуацию.

Формулировка

Имеются два конверта, в которых находятся две суммы денег, причём в одном из конвертов сумма отличается от суммы в другом конверте ровно в два раза. Внешне конверты совершенно идентичны. Можно выбрать любой конверт и посчитать в нём деньги. После подсчёта предлагается сделать выбор — взять выбранный конверт или другой, в надежде получить бо́льшую сумму. В разных розыгрышах в конвертах находятся разные непредсказыемые суммы.

Из соображений симметрии вполне логично считать замену бессмысленной.
Но далее следует такое парадоксальное рассуждение:

Предположим, что мы увидели в одном из конвертов x рублей. Тогда в другом может быть 0,5x или 2x руб. Таким образом, считая что в другом конверте равновероятно находится либо 0,5x, либо 2x, определяем средний выигрыш на тот случай, если мы возьмём другой конверт: (0,5x+2x)/2=1,25x рублей (соответственно, разумнее выбирать именно его, хотя мы и не знаем, больше там денег или меньше) .

Соответственно, нам предстоит либо опровергнуть последнее рассуждение (найти "липу"), либо примирить с ним здравый смысл (развеять иллюзию симметрии).

Три этапа наиболее известного опровержения 

 1. Вероятности 50/50 обнаружить большую/меньшую сумму в другом конверте - фиктивные.
 2. После подсчёта денег эти вероятности начинают зависеть только от закона распределения сумм по конвертам.
 3.  Не существует такого распределения сумм по конвертам, при котором эти вероятности всегда будут 50/50.

 Альтернативный подход

1. Средний выигрыш с участием конкретного x можно посчитать только зная априорные (т.е. вычисленные для единичного события) вероятности различных исходов.
2. Априорные (в отличии от часотных) вероятности 50/50 обнаружить большую/меньшую сумму в другом конверте - действительно фикция.
3. После подсчёта денег априорные вероятности продолжают зависеть от реальных степеней свободы системы, а не от знания или незнания игрока.
4. Сразу же после первого выбора игрока, ещё до подсчёта денег, система конвертов принимает 100% определённое состояние, у неё больше не остаётся степеней свободы. Априорные вероятности обнаружить в оставшемся конверте ту или иную сумму соответственно принимают значения нулей и единицы.
5. Частотная вероятность 1/2 получается по формуле

                                                       1/2*1 + 1/2*0 = 1/2

где 1 и 0 - две равновозможные условные вероятности. По существу, частотная вероятность - это математическое ожидание условной.
6. Если же мы хотим работать именно с частотными вероятностями, являющимися средними значениями для некоторого множества выборов, то и матожидание случайной величины мы можем корректно рассчитать лишь для всего этого множества в целом. А поскольку в среднем удваиваются в два раза меньшие суммы, чем те, которые делятся пополам, то и парадокса в этом случае, как известно, не возникнет:

                                                               v = 1/2N + 1/2*2N = 1,5N

Причины привлекательности ошибочных рассуждений

 Одна из главных причин - тривиальность правильного ответа.

 Для иллюстрации приведём совершенно аналогичную задачку, решение которой в терминах априорных вероятностей уже не выглядит столь тривиально, но строится по тем же самым законам и не вызывает интуитивного отторжения.
Мы бросили кубик. Что выпало - нам не говорят. Но мы должны решить: какова в нашей конкретной ситуации вероятность того, что при случайной замене выпавшей грани на любую другую мы получим "6"?  
С точки зрения статистики - по-прежнему 1/6. Но складывается она уже из явно несимметричных слагаемых:
                                                    5/6*1/5 + 1/6*0 = 1/6
Первое слагаемое отражает тот случай, когда при первом броске выпала не шестёрка.
Второе слагаемое отражает тот случай, когда при первом броске выпало "6".
Соответственно, 1/5 и 0 - условные вероятности, действующие в первом и во втором случаях.
Правильный ответ - или 1/5, или 0. Что именно - в данный конкретный момент - неизвестно. Просто нашу тривиальную единицу сменила вполне любопытная дробь - 1/5, но тривиальный ноль - по-прежнему на своём месте!

Условная вероятность ПО РАЗМЕРУ СУММЫ аналогичным образом стала бы объективной, априорной вероятностью, если бы перед нами лежали все конверты с этой суммой, участвующие в игре, и мы могли бы выбрать любой из парных. Но у нас в руках уже только один, а не все.

Другая причина - нежелание нашего ума смириться с абсолютной бесперспективностью попыток добыть хоть какую-нибудь дополнительную информацию.

Ведь мы же узнали сумму! Как же не извлечь из этого знания хоть что-нибудь о том, что лежит в другом конверте!?

В том-то и беда, что в случае непредсказуемости масштаба сумм в различных розыгрышах - не извлечь.

Но ум не желает смиряться и начинает вести подкоп под саму идею непредсказуемости. Отсюда и претензии к расплывчатости формулировки условия задачи, и всевозможные требования её "уточнения".
Обоснования при этом приводятся самые разные. И утверждается, что расплывчатость формулировок - единственная причина всех парадоксов, и говорится о том, что истинной непредсказуемости не существует, поскольку математика не в состоянии её смоделировать, и т.д., и т.п. Но результат всегда один: в задачу вносятся такие поправки, которые действительно позволяют что-то посчитать. Хоть что-нибудь вычислить. И сразу становится интересно :).

К слову: о равновозможном выборе на бесконечности

Стоит особо остановиться на третьем этапе ошибочного, но очень популярного опровержения, который мы сформулировали так: "Не существует такого распределения сумм по конвертам, при котором вероятности увеличить/уменьшить выигрыш всегда будут 50/50". Подчас сторонники этого тезиса начинают обосновывать его на примерах. Задатут пару-тройку конкретных законов распределения, покажут, что при них вероятности не равны, и считают теорему доказанной. В математике, как известно, подобный метод не работает.
Выполним часть "чужой" работы, и покажем, что некоторые условные вероятности "прикупить/потерять" по конкретным размерам сумм обязательно неравны всегда, когда число возможных различных сумм в конвертах конечно или когда появление бесконечного числа сумм в игре не равновозможно.
Для этого выберем любую произвольную сумму A1 и легко увидим, что для выполнения правила 50/50 в игре она должна участвовать равное число раз как бОльшая и как меньшая. Теперь обратим своё внимание на ту сумму [A2], по отношнгию к которой A1 выступает как "меньшая".

                                                       A2 = A1*2

Очевидно, что в игре она должна участвовать столько же раз, сколько и A1 и с теми же квотами.
Аналогичным образом можем обнаружить сумму A3, равную A1*4, и сумму A4, равную A1*8, и т.д. Там, где эта цепочка прервётся, последняя наибольшая в ней сумма Ai окажется только уменьшающейся, и парадокс развеется. И лишь в том случае (и только в том), когда для любого Ai , Bj и т. д. всегда удастся обнаружить

                                              Ai+1 = 2*Ai, Bj+1 = 2*Bj

(все цепочки, при этом, будут убегать в бесконечность вслед за степенью двойки) правило 50/50 окажется выполненным (хоть и в этом случае парадокс не вернётся).
Оправданно чувствуя угрозу своему подходу именно в этом типе размещения сумм по конвертам, приверженцы рассматриваемого опровержения нашли ему поистине убийственное противодействие.

В классической [то есть содержательной] теории вероятностей вероятность определяется через равновозможность N исходов. Соответственно, ей назначается числовая мера - 1/N, причём сложение вероятностей всех равновозможных исходов в сумме даёт единицу. Что и называется нормировкой. Но в случае бесконечного числа равновозможных исходов, когда N уже не является определённой константой, механизм нормировки даёт сбой (всилу необходимости деления на бесконечность). Соответственно, этот случай называется ненормируемым распределением. Вероятность в этом случае привычным образом числом не выразить. И, соответственно, привычной математической модели не построить.

Так вот, в самый критический момент был выдвинут тезис: раз нет математической модели - нет и явления!

Не модель должна быть расширена до возможной реальности, а реальность должна быть сужена до существующей модели. Ну не оперируют математики бесконечными равномерными распределениями, ну что с этим поделаешь? А то, что физики до сих пор допускают возможность бесконечной Вселенной (все точки которой равноправны и равновозможны)... Ну, так это их, физиков, дело :)...



Философский контекст задачи

 Задача, на самом деле, не вычислительная, а интерпретационная.

Разгадка парадокса, как выяснилось, лежит в плоскости дискуссии об интерпретации понятия вероятности , тянущейся со времён Лапласа (то есть с конца XVIII столетия). Предпосылки для противоречия закладываются в тот момент, когда в формулировку вводятся суждения, основанные на двух принципиально различных интерпретациях. По сути дела - происходит подмена понятий.

Само условие задачи сформулировано в терминах классической  интерпретации, то есть изначально речь идёт об априорных ("объективных") вероятностях событий. Представление об объективной равновероятности выбора конвертов основано, как и принято в классическом подходе, только на соображениях симметрии.

Второе суждение о равновероятности увеличения и уменьшения суммы при обмене конвертов с классическим (объективным, симметричным) подходом уже несовместимо. Оно, скорее, может быть вызвано представлением о вероятности, как о мере неосведомлённости игрока о состоянии системы. Правдоподобию этого утверждения способствует и распространённость частотно-статистического подхода к интерпретации понятия вероятности.

Но ни один из перечисленных подходов не допускает рассмотрения вероятности одиночного события. Поэтому, для преодоления парадокса, необходимо при оценке вероятности увеличения/уменьшения суммы вернуться в рассуждении к методу классического подхода.

А классический подход, как уже отмечалось, оперирует не субъективными, а исключительно объективными ("априорными") вероятностями. Вероятности эти существуют независимо от того, осведомлён игрок о том или ином состоянии системы, или не осведомлён. Априорная вероятность выпадения шестёрки на игральной кости зависит только от физической симметрии и числа её граней и не изменится, если игрок, например, будет думать, что кидает восьмигранник.

Многие исследователи парадокса правильно отмечают, что классический подход оперирует в подобных случаях  условными вероятностями. Но при этом всё равно, как правило, остаётся неоднозначность в идентификации условия. Условие - это то состояние системы (например - A), от реализации которого зависит вероятность интересующего нас состояния B. Распространённое мнение, к которому специально подталкивает, кстати, формулировка парадокса, гласит, что главное условие, меняющее вероятности удвоения/уменьшения суммы, - это знание её конкретного численного значения. Соответственно, делается вывод, что вероятности удвоения/уменьшения суммы зависят от пропорции общего числа появления данной конкретной суммы в конвертах и количества тех случаев, когда эта сумма является большей или меньшей.

Такая идентификация условия, снимая одну проблему, тут же создаёт другую. Действительно, несложно показать, что при некоторых типах размещения сумм по конвертам некоторые вероятности удвоения/уменьшения (по условию конкретного значения сумм) обязательно не равны 50/50. Таковы, например, наименьшая и наибольшая суммы в случае конечной области значений. Но требование обязательной конечности области значений (обосновываемое обычно тем, что аксиоматическая теория вероятностей не работает с бесконечными равномерными распределениями выглядит уже довольно искусственно. Рассуждение снова оказывается между двумя интерпретациями понятия вероятности - классической (содержательной) и аксиоматической (формально-грамматической). Что, как уже выяснилось, лишь приводит к возникновению новых парадоксов.

На самом деле, предположение, что (при пересчёте денег) в свои права вступает условная вероятность удвоения/уменьшения суммы по основанию её конкретного значения, говорит лишь о том, что рассмотрение парадокса по-прежнему остаётся на платформе субъективной интерпретации понятия вероятности. Верно, что значение суммы - самое бОльшее, что известно игроку. Но знание (или незнание) игрока влияет лишь на его выбор, но никоим образом не влияет на классические (объективные, априорные) вероятности выигрыша или проигрыша, к которым этот выбор приводит. И тот факт, что сделав свой первый выбор, игрок всё ещё не знает, удачен тот был, или неудачен, вовсе не означает, что неопределённость сохранилась в самой системе. Если при первоначальном выборе игрок промахнулся, то (независимо от того, знает он об этом, или нет) в другом конверте с вероятностью 100% лежит бОльшая сумма и с вероятностью 0% - меньшая. Если нет - то наоборот. Но, в любом случае, объективные, априорные условные вероятности после первого же выбора, даже ещё до пересчёта денег, принимают значения нулей и единиц.

При усреднении, будучи нормированы по вероятностям условий, нули и единицы дадут те самые 50/50 (частотный подход). Но только при усреднении. Если же говорить о вероятностях  в случае единичного выбора (с которыми только классический подход и работает) - то ни о каких усреднениях речи идти не должно. Следовательно, заключительное рассуждение парадокса очевидно некорректно.

К слову: о конвенциональности "объективной вероятности"

Уровни детализации возможности наступления события 

3 комментария:

  1. BurykinD,
    благодарю Вас за вклад в популяризацию вменяемого взгляда на теорию вероятностей!

    Полагаю, Вам будет интересно ознакомиться со статьёй, которая будет опубликована в конце этого года в докладах "Maximum Entropy and Bayesian Inference, 2010" by the American Institute of Physics.

    Об этой статье сообщил её автор Arthur Baraov, с которым мы вели переписку в комментариях к заметке http://my-tribune.blogspot.com/2009/08/blog-post_27.html, а потом и с помощью электронной почты. Сам адрес статьи - http://www.lss.supelec.fr/MaxEnt2010/paper/013.pdf

    Успехов!

    ОтветитьУдалить
  2. Очень огорчил тот факт, что статья только на английском. Мне проще подождать хорошего перевода). Но в поисках комментариев Артура в вашем блоге я обнаружил несколько очень глубоких (на мой взгляд) замечаний, досадно пропущенных при первом ознакомлении.
    Вам также успехов. И спасибо за интереснейшие материалы!

    ОтветитьУдалить