суббота, 23 октября 2010 г.

Парадокс двух конвертов и среднее матожидание

В случае двух конвертов мы имеем факт реализации первого выбора игрока, условные вероятности [удачного/неудачного обмена] по исходам которого нам изначально известны ([0 и 1] или [1 и 0]), но не известно, какая из пар "вступила" в свои права.
Мы можем найти вероятность удачного/неудачного обмена по формуле полной вероятности
1*1/2 + 0*1/2 = 1/2
Это как раз та самая 1/2 из парадоксального рассуждения. Это именно полная вероятность удачного обмена, а не фифти/фифти блондинки из анекдота. Однако, использование этой полной вероятности при вычислении мат. ожидания выигрыша и приводит к противоречию.
Для того, чтобы понять причину происходящего, необходимо, прежде всего, разобраться в проблеме уровней детализации возможности события.
Полная вероятность события - это вероятность более грубого (и, соответственно, более усреднённого) уровня детализации, нежели уровень любых условных вероятностей. А в данном случае именно на конкретном уровне условных вероятностей мы имеем очевидную информационную связь между вероятностями и размером суммы (бОльшие суммы мы успешно обмениваем с вероятностью ноль, меньшие - с вероятностью единица).
Именно эта взаимозависимость сомножителей из формулы мат. ожидания и приводит к ошибке при использовании при вычислениях полной вероятности.
Итак, в данном случае мы не можем строго вычислить мат. ожидание, зная лишь полную вероятность удачного обмена. Но ничто не мешает нам определить среднее матожидание на уровне условных вероятностей для всей выборки усреднения условных вероятносте доходности обмена при вычислении полных вероятностей.
Причём правильнее вычислять среднее мат. ожидание прибыльности обмена, сразу закладывая в рассчёты и цену игры, то есть ту сумму из первого конверта, от которой игрок вынужден отказываться ради возможности забрать сумму из другого конверта.
Вероятность 1/2 получить при обмене 1/2*X выводится с помощью формулы полной вероятности так:
p(1/2*X) = 0*1/2 + 1*1/2 ,
где 0 и 1 - условные вероятности по двум результатам первого выбора игрока в розыгрыше с парой сумм [1/2*X;X] . Вероятность 1/2 получить при обмене 2X соответственно так же:
p(2X) = 0*1/2 + 1*1/2 ,
где 0 и 1 - условные вероятности по двум результатам первого выбора игрока в розыгрыше с парой сумм [X;2X] .
И поскольку, как мы увидели,  при наличии суммы X в одном из конвертов полные вероятности 1/2 и 1/2 обмена её на 1/2*X и 2X являются усреднениями четырёх условных вероятностей из двух возможных игр с парами сумм [1/2*X;X] и [X;2X] и, соответственно, четырёх ситуаций "после первого выбора", мы должны вычислить все четыре условные мат. ожидания прибыльности обмена.
МО1 = 1* (X - 1/2*X)
МО2 = 1* (1/2*X - X)
МО3 = 1* (X - 2X)
МО4 = 1* (2X - X)
После этого вычислим среднее мат. ожидание прибыльности обмена для всей выборки усреднения условных вероятностей при получении полной вероятности:
МО[1-4] = [(X - 1/2*X) + (1/2*X - X) + (X - 2X) + (2X - X)]/4 = 0
Итак, среднее матожидание прибыльности обмена на выборке усреднения условных вероятностей равно нулю, что вполне соответствует интуитивным выводам из симметрии рассматриваемой ситуации.
Следует также отметить, что использование при вычислении мат. ожидания [доходности обмена условной вероятности] по размеру суммы (по конкретному X) также является работой с элементами более грубого уровня детализации по сравнению с уровнем условных вероятностей по итогам первого выбора и, соответственно, также способно приводить к противоречиям (см. Хитрые конверты).

среда, 20 октября 2010 г.

Уровни детализации возможности наступления события


Полная вероятность события A всегда принадлежит более грубому уровню детализации ВОЗМОЖНОСТИ этого события, нежели любая из его условных вероятностей.



Как известно, возможность наступления события A характеризуется его ВЕРОЯТНОСТЬЮ. ВОЗМОЖНОСТЬ эта способна иметь множество УРОВНЕЙ ДЕТАЛИЗАЦИИ.

Полная вероятность события A является взвешенной суммой условных вероятностей по любой полной группе попарно несовместных условий события A [B,C,D,E и т.д.]. Вместе с тем, таких полных групп условий для одного и того же A может быть несколько. Пусть второй такой полной группой для нас будет [X,Y,Z,Q и т.д.].

Очевидно, что требование попарной несовместности на элементы разных групп не распространяется. Если группы условий [B,C,D,E и т.д.] и [X,Y,Z,Q и т.д.] не тождественны, то в одном из них наверняка можно найти хотябы одну пару событий, равносовместных с каким-нибудь элементом другой группы. Пусть это будут X и Y, равносовместные с B. В этом случае саму условную вероятность p(A/B) можно развернуть по формуле полной вероятности в:


p(A/B) = p(BX)*p(A/BX) + p(BY)*p(A/BY)


и получить тем самым элемент нового, более точного и конкретного по сравнению с [B,C,D,E и т.д.] уровеня детализации ВОЗМОЖНОСТИ события A.

Очевидно, что при известной p(A/BX) и при знании о том, что условие BX реализовано, бессмысленно оперировать вероятностью p(A/B). Иными словами - знание более точной вероятности очевидно "отменяет" более грубую (усреднённую).

Теперь вполне очевидно, также, что ВОЗМОЖНОСТЬ всякого события может иметь множество уровней детализации. По добровольному согласию сторон вероятности любого из этих уровней могут быть признаны "объективными", тоесть не допускающими дальнейшего членения на наборы более точных условных вероятностей по более частным условиям (как, например, чисто конвенциональна "объективность" вероятности выпадения орла монетки, поскольку все согласны не учитывать специфику траектории её падения на стол, частоту вращения в воздухе, упругость поверхности и т.п.).

воскресенье, 10 октября 2010 г.

Парадокс двух конвертов и основания теории вероятностей


Уже вынесен окончательный Вердикт по "двум конвертам"


Парадокс двух конвертов играет с самими основаниями теории вероятностей, наглядно демонстрируя опаснонсть использования усреднённых (частотных) вероятностей при вычислении матожиданий случайных величин.


Если кто-то ещё не сталкивался, условие и различные подходы решения здесь:
http://burykind.blogspot.com/2010/09/blog-post.html


Сразу после совершения игроком выбора одного из конвертов вероятности удачно/неудачно обменять конверт принимают значения нуля и единицы (ведь оставшийся конверт только один - ЛИБО больший, ЛИБО меньший). В каком порядке - 0 и 1, или 1 и 0 - мы не знаем, но наше НЕзнание объективных (в смысле априорных) вероятностей их не отменяет, также как не отменяет и объективную СВЯЗЬ этих вероятностей с размером получаемой суммы, заложенную в самом условии задачи (нулевые вероятности удачного обмена для вдвое больших сумм, и единичные для вдвое меньших).
Любые другие вероятности удачного/неудачного обмена, которые рассматриваются в парадоксальном рассуждении (1/2 и 1/2) и в различных попытках решения, - суть не что иное, как разнообразные усреднения исходных (априорных) нулей и единиц. 1/2 и 1/2 из парадоксального рассуждения - это усреднение априорных нуля и единицы для одного розыгрыша в целом по двум равновероятным выборам игрока, условная вероятность по размеру конкретной суммы из наиболее популярной в сети попытки решения - усреднение априорных нулей и единиц по всем возможным выборам игрока во всех возможных розыгрышах, при которых в конверте оказывается данная сумма.
И в обоих случаях постольку, поскольку наличествует СВЯЗЬ между размером суммы и вероятностью её удачного обмена (бОльшая вероятность для мЕньших сумм и мЕньшая для бОльших), постольку же и вычисление матожидания с использыванием этих усреднённых вероятностей - бессмыслица. Именно это использование усреднённых вероятностей при наличии информационной связи между различными значениями случайной величины и априорными вероятностями этих значений и приводит к парадоксу!
Таким образом парадокс двух конвертов играет с самими основаниями теории вероятностей, наглядно демонстрируя опаснонсть использования усреднённых (частотных) вероятностей при вычислении матожидания случайных величин. При таком использовании должна явно формулироваться хотябы гипотеза отсутствия информационной связи между значениями величины и самими их вероятностями.

суббота, 9 октября 2010 г.

Отличная модификация парадокса двух конвертов


Уже вынесен окончательный Вердикт по "двум конвертам"


Только что обнаружил интереснейшее сообщение Ильи Весеннего на тему конвертов, опубликованное им ещё в июне этого года.
http://my-tribune.blogspot.com/2010/06/blog-post.html
Он обнаружил такую модификацию задачи, которая полностью удовлетворяет расхожему требованию "математически корректного" распределения сумм по конвертам и при этом сохраняет всю поноту парадоксальности. Поздравляю Илью!!!

понедельник, 4 октября 2010 г.

Тривиальность истины как преграда к её осознанию


Уже вынесен окончательный Вердикт по "двум конвертам"


Без нетривиальных вычислений гений истиного математика начинает ржаветь и становится источником боли и раздражения. В случае двух конвертов это обстоятельство оказывается роковым. При правильной идентификации тех условных вероятностей, которые получают статус априорных на момент второго рассуждения из парадокса, выясняется, что корректно вычислять уже практически нечего. И начинается бунт высокоточного инструмента против примитивного способа применения (королевская печать попросту отказывается колоть орехи).

Чтобы помочь настоящим (вдохновенным) математикам смириться с истинностью тривиального решения задачи, постараемся построить ещё одну задачку, хоть и аналогичную первой, но не столь простую в той части, которая так неприятна любителям вычислений. Сразу оговоримся: усложнение условия вынужденное, взятое отнюдь не наобум, поэтому стоит потратить время и силы на его осмысление.

Как уже отмечалось, самое неприятное в конвертах то, что "правильные" условные вероятности на момент рассуждений принимают значения нуля и единицы. Поэтому в аналогичной задачке ценой увеличения числа предлагаемых игроку конвертов и способов их замены постараемся хотябы некоторые из этих условных вероятностей изменить, но сохранить при этом частотные вероятности успешности/неуспешности обмена по-прежнему равными 1/2 и 1/2.

Пусть игроку одновременно предлагается не два, а десять конвертов. При этом, только в четырёх из них денежная сумма равна N, а в два раза большая сумма - 2N - находится сразу в шести. Если игрок выбирает и принимает решение "обменять" тот из конвертов, в котором N, ему без разговоров выдают вдвое большую сумму. А если игрок выбирает и принимает решение "обменять" тот из конвертов, в котором 2N, устроители игры бросают игральную кость и в случае выпадения шестёрки "ошибившегося" игрока прощают, во всех же остальных случаях вместо своих 2N игрок плучает только N.

Несложно видеть, что частотная вероятность получить при обмене большую/меньшую сумму остаётся 50/50. В среднем в пяти случаях из десяти сумма будет равна N, в пяти - 2N. Соответственно, в силе должно оставаться и рассуждение о среднем выигрыше. Но так же несложно видеть и заведомую проигрышность стратегии тотального обмена. И самое главное - при вычислении частотной вероятности мы уже явно должны использовать условные вероятности по выбору того или иного типа конверта!

пятница, 17 сентября 2010 г.

Парадокс двух конвертов

Уже вынесен окончательный Вердикт по "двум конвертам"

Широко известен с восьмидесятых годов прошлого столетия. Так и не обрёл до сих пор общепризнанного удовлетворительного разрешения. В очередной раз попытаемся исправить ситуацию.

Формулировка

Имеются два конверта, в которых находятся две суммы денег, причём в одном из конвертов сумма отличается от суммы в другом конверте ровно в два раза. Внешне конверты совершенно идентичны. Можно выбрать любой конверт и посчитать в нём деньги. После подсчёта предлагается сделать выбор — взять выбранный конверт или другой, в надежде получить бо́льшую сумму. В разных розыгрышах в конвертах находятся разные непредсказыемые суммы.

Из соображений симметрии вполне логично считать замену бессмысленной.
Но далее следует такое парадоксальное рассуждение:

Предположим, что мы увидели в одном из конвертов x рублей. Тогда в другом может быть 0,5x или 2x руб. Таким образом, считая что в другом конверте равновероятно находится либо 0,5x, либо 2x, определяем средний выигрыш на тот случай, если мы возьмём другой конверт: (0,5x+2x)/2=1,25x рублей (соответственно, разумнее выбирать именно его, хотя мы и не знаем, больше там денег или меньше) .

Соответственно, нам предстоит либо опровергнуть последнее рассуждение (найти "липу"), либо примирить с ним здравый смысл (развеять иллюзию симметрии).

Три этапа наиболее известного опровержения 

 1. Вероятности 50/50 обнаружить большую/меньшую сумму в другом конверте - фиктивные.
 2. После подсчёта денег эти вероятности начинают зависеть только от закона распределения сумм по конвертам.
 3.  Не существует такого распределения сумм по конвертам, при котором эти вероятности всегда будут 50/50.

 Альтернативный подход

1. Средний выигрыш с участием конкретного x можно посчитать только зная априорные (т.е. вычисленные для единичного события) вероятности различных исходов.
2. Априорные (в отличии от часотных) вероятности 50/50 обнаружить большую/меньшую сумму в другом конверте - действительно фикция.
3. После подсчёта денег априорные вероятности продолжают зависеть от реальных степеней свободы системы, а не от знания или незнания игрока.
4. Сразу же после первого выбора игрока, ещё до подсчёта денег, система конвертов принимает 100% определённое состояние, у неё больше не остаётся степеней свободы. Априорные вероятности обнаружить в оставшемся конверте ту или иную сумму соответственно принимают значения нулей и единицы.
5. Частотная вероятность 1/2 получается по формуле

                                                       1/2*1 + 1/2*0 = 1/2

где 1 и 0 - две равновозможные условные вероятности. По существу, частотная вероятность - это математическое ожидание условной.
6. Если же мы хотим работать именно с частотными вероятностями, являющимися средними значениями для некоторого множества выборов, то и матожидание случайной величины мы можем корректно рассчитать лишь для всего этого множества в целом. А поскольку в среднем удваиваются в два раза меньшие суммы, чем те, которые делятся пополам, то и парадокса в этом случае, как известно, не возникнет:

                                                               v = 1/2N + 1/2*2N = 1,5N

Причины привлекательности ошибочных рассуждений

 Одна из главных причин - тривиальность правильного ответа.

 Для иллюстрации приведём совершенно аналогичную задачку, решение которой в терминах априорных вероятностей уже не выглядит столь тривиально, но строится по тем же самым законам и не вызывает интуитивного отторжения.
Мы бросили кубик. Что выпало - нам не говорят. Но мы должны решить: какова в нашей конкретной ситуации вероятность того, что при случайной замене выпавшей грани на любую другую мы получим "6"?  
С точки зрения статистики - по-прежнему 1/6. Но складывается она уже из явно несимметричных слагаемых:
                                                    5/6*1/5 + 1/6*0 = 1/6
Первое слагаемое отражает тот случай, когда при первом броске выпала не шестёрка.
Второе слагаемое отражает тот случай, когда при первом броске выпало "6".
Соответственно, 1/5 и 0 - условные вероятности, действующие в первом и во втором случаях.
Правильный ответ - или 1/5, или 0. Что именно - в данный конкретный момент - неизвестно. Просто нашу тривиальную единицу сменила вполне любопытная дробь - 1/5, но тривиальный ноль - по-прежнему на своём месте!

Условная вероятность ПО РАЗМЕРУ СУММЫ аналогичным образом стала бы объективной, априорной вероятностью, если бы перед нами лежали все конверты с этой суммой, участвующие в игре, и мы могли бы выбрать любой из парных. Но у нас в руках уже только один, а не все.

Другая причина - нежелание нашего ума смириться с абсолютной бесперспективностью попыток добыть хоть какую-нибудь дополнительную информацию.

Ведь мы же узнали сумму! Как же не извлечь из этого знания хоть что-нибудь о том, что лежит в другом конверте!?

В том-то и беда, что в случае непредсказуемости масштаба сумм в различных розыгрышах - не извлечь.

Но ум не желает смиряться и начинает вести подкоп под саму идею непредсказуемости. Отсюда и претензии к расплывчатости формулировки условия задачи, и всевозможные требования её "уточнения".
Обоснования при этом приводятся самые разные. И утверждается, что расплывчатость формулировок - единственная причина всех парадоксов, и говорится о том, что истинной непредсказуемости не существует, поскольку математика не в состоянии её смоделировать, и т.д., и т.п. Но результат всегда один: в задачу вносятся такие поправки, которые действительно позволяют что-то посчитать. Хоть что-нибудь вычислить. И сразу становится интересно :).

К слову: о равновозможном выборе на бесконечности

Стоит особо остановиться на третьем этапе ошибочного, но очень популярного опровержения, который мы сформулировали так: "Не существует такого распределения сумм по конвертам, при котором вероятности увеличить/уменьшить выигрыш всегда будут 50/50". Подчас сторонники этого тезиса начинают обосновывать его на примерах. Задатут пару-тройку конкретных законов распределения, покажут, что при них вероятности не равны, и считают теорему доказанной. В математике, как известно, подобный метод не работает.
Выполним часть "чужой" работы, и покажем, что некоторые условные вероятности "прикупить/потерять" по конкретным размерам сумм обязательно неравны всегда, когда число возможных различных сумм в конвертах конечно или когда появление бесконечного числа сумм в игре не равновозможно.
Для этого выберем любую произвольную сумму A1 и легко увидим, что для выполнения правила 50/50 в игре она должна участвовать равное число раз как бОльшая и как меньшая. Теперь обратим своё внимание на ту сумму [A2], по отношнгию к которой A1 выступает как "меньшая".

                                                       A2 = A1*2

Очевидно, что в игре она должна участвовать столько же раз, сколько и A1 и с теми же квотами.
Аналогичным образом можем обнаружить сумму A3, равную A1*4, и сумму A4, равную A1*8, и т.д. Там, где эта цепочка прервётся, последняя наибольшая в ней сумма Ai окажется только уменьшающейся, и парадокс развеется. И лишь в том случае (и только в том), когда для любого Ai , Bj и т. д. всегда удастся обнаружить

                                              Ai+1 = 2*Ai, Bj+1 = 2*Bj

(все цепочки, при этом, будут убегать в бесконечность вслед за степенью двойки) правило 50/50 окажется выполненным (хоть и в этом случае парадокс не вернётся).
Оправданно чувствуя угрозу своему подходу именно в этом типе размещения сумм по конвертам, приверженцы рассматриваемого опровержения нашли ему поистине убийственное противодействие.

В классической [то есть содержательной] теории вероятностей вероятность определяется через равновозможность N исходов. Соответственно, ей назначается числовая мера - 1/N, причём сложение вероятностей всех равновозможных исходов в сумме даёт единицу. Что и называется нормировкой. Но в случае бесконечного числа равновозможных исходов, когда N уже не является определённой константой, механизм нормировки даёт сбой (всилу необходимости деления на бесконечность). Соответственно, этот случай называется ненормируемым распределением. Вероятность в этом случае привычным образом числом не выразить. И, соответственно, привычной математической модели не построить.

Так вот, в самый критический момент был выдвинут тезис: раз нет математической модели - нет и явления!

Не модель должна быть расширена до возможной реальности, а реальность должна быть сужена до существующей модели. Ну не оперируют математики бесконечными равномерными распределениями, ну что с этим поделаешь? А то, что физики до сих пор допускают возможность бесконечной Вселенной (все точки которой равноправны и равновозможны)... Ну, так это их, физиков, дело :)...



Философский контекст задачи

 Задача, на самом деле, не вычислительная, а интерпретационная.

Разгадка парадокса, как выяснилось, лежит в плоскости дискуссии об интерпретации понятия вероятности , тянущейся со времён Лапласа (то есть с конца XVIII столетия). Предпосылки для противоречия закладываются в тот момент, когда в формулировку вводятся суждения, основанные на двух принципиально различных интерпретациях. По сути дела - происходит подмена понятий.

Само условие задачи сформулировано в терминах классической  интерпретации, то есть изначально речь идёт об априорных ("объективных") вероятностях событий. Представление об объективной равновероятности выбора конвертов основано, как и принято в классическом подходе, только на соображениях симметрии.

Второе суждение о равновероятности увеличения и уменьшения суммы при обмене конвертов с классическим (объективным, симметричным) подходом уже несовместимо. Оно, скорее, может быть вызвано представлением о вероятности, как о мере неосведомлённости игрока о состоянии системы. Правдоподобию этого утверждения способствует и распространённость частотно-статистического подхода к интерпретации понятия вероятности.

Но ни один из перечисленных подходов не допускает рассмотрения вероятности одиночного события. Поэтому, для преодоления парадокса, необходимо при оценке вероятности увеличения/уменьшения суммы вернуться в рассуждении к методу классического подхода.

А классический подход, как уже отмечалось, оперирует не субъективными, а исключительно объективными ("априорными") вероятностями. Вероятности эти существуют независимо от того, осведомлён игрок о том или ином состоянии системы, или не осведомлён. Априорная вероятность выпадения шестёрки на игральной кости зависит только от физической симметрии и числа её граней и не изменится, если игрок, например, будет думать, что кидает восьмигранник.

Многие исследователи парадокса правильно отмечают, что классический подход оперирует в подобных случаях  условными вероятностями. Но при этом всё равно, как правило, остаётся неоднозначность в идентификации условия. Условие - это то состояние системы (например - A), от реализации которого зависит вероятность интересующего нас состояния B. Распространённое мнение, к которому специально подталкивает, кстати, формулировка парадокса, гласит, что главное условие, меняющее вероятности удвоения/уменьшения суммы, - это знание её конкретного численного значения. Соответственно, делается вывод, что вероятности удвоения/уменьшения суммы зависят от пропорции общего числа появления данной конкретной суммы в конвертах и количества тех случаев, когда эта сумма является большей или меньшей.

Такая идентификация условия, снимая одну проблему, тут же создаёт другую. Действительно, несложно показать, что при некоторых типах размещения сумм по конвертам некоторые вероятности удвоения/уменьшения (по условию конкретного значения сумм) обязательно не равны 50/50. Таковы, например, наименьшая и наибольшая суммы в случае конечной области значений. Но требование обязательной конечности области значений (обосновываемое обычно тем, что аксиоматическая теория вероятностей не работает с бесконечными равномерными распределениями выглядит уже довольно искусственно. Рассуждение снова оказывается между двумя интерпретациями понятия вероятности - классической (содержательной) и аксиоматической (формально-грамматической). Что, как уже выяснилось, лишь приводит к возникновению новых парадоксов.

На самом деле, предположение, что (при пересчёте денег) в свои права вступает условная вероятность удвоения/уменьшения суммы по основанию её конкретного значения, говорит лишь о том, что рассмотрение парадокса по-прежнему остаётся на платформе субъективной интерпретации понятия вероятности. Верно, что значение суммы - самое бОльшее, что известно игроку. Но знание (или незнание) игрока влияет лишь на его выбор, но никоим образом не влияет на классические (объективные, априорные) вероятности выигрыша или проигрыша, к которым этот выбор приводит. И тот факт, что сделав свой первый выбор, игрок всё ещё не знает, удачен тот был, или неудачен, вовсе не означает, что неопределённость сохранилась в самой системе. Если при первоначальном выборе игрок промахнулся, то (независимо от того, знает он об этом, или нет) в другом конверте с вероятностью 100% лежит бОльшая сумма и с вероятностью 0% - меньшая. Если нет - то наоборот. Но, в любом случае, объективные, априорные условные вероятности после первого же выбора, даже ещё до пересчёта денег, принимают значения нулей и единиц.

При усреднении, будучи нормированы по вероятностям условий, нули и единицы дадут те самые 50/50 (частотный подход). Но только при усреднении. Если же говорить о вероятностях  в случае единичного выбора (с которыми только классический подход и работает) - то ни о каких усреднениях речи идти не должно. Следовательно, заключительное рассуждение парадокса очевидно некорректно.

К слову: о конвенциональности "объективной вероятности"

Уровни детализации возможности наступления события