Миф о "формальности" Шенноновской информации

Эта запись - логическое продолжение первого разговора о проблемах содержательной интерпретации понятия информации, впервые увидевшего свет в рамках формальной математической теории.
Вторым, очень серьёзным препятствием на этом пути представляется традиция механического переноса формально-логического стиля математического изложения на осмысление сути информации.
В то время как уже сами математики стонут от чрезмерной формализации своей любимой науки, многие «свежие головы», едва прикоснувшись к её строгому языку, начинают изо всех сил продвигать модную ныне стилизацию «а ля алгебраическая точность» в любых, даже в сугубо философских рассуждениях [с алгебраической однозначностью несовместимых в принципе].
К такой стилизации «под алгебру», увы, приходится отнести и следующее вполне реальное, но более чем типичное высказывание:
«Теория информации имеет вполне практическую цель – оптимизацию передачи сообщений. С этой целью рассматриваются формальные свойства информации безотносительно к ее содержанию: количественные, вероятностные, структурные». А следовательно - нужна ещё и другая, "содержательная" теория информации. Вот если бы она была...
Приверженцам подобных суждений можно часами приводить конкретные примеры, предъявлять аргументы, проводить аналогии – всё будет тщетно. Их логика безупречна, и, соответственно, их позиция непоколебима. Так - где же подвох?
Итак, давайте углубимся в «строгую» логику этого изречения. Углубимся - лишь для того, чтобы понять: само доказательство «врождённой» формальности информации – сугубо формально.
Констатация того, что теория информации возникла в процессе исследования проблем, связанных с передачей сообщений по техническим каналам связи – скорее оправдательная рамка этого силлогизма, чем его посылка. Любой здравомыслящий оппонент легко соглашается с тем, что подмеченная в частном случае закономерность легко [при ближайшем рассмотрении] порой оказывается всеобщей. Никто, уже со времён античности, всерьёз не настаивает на том, что геометрия Евклида навсегда останется наукой об измерении земельных участков (хотя, первоначально, геометрия таковой и являлась).
Гораздо серьёзнее дело обстоит со второй констатацией: свойства информации рассматриваются безотносительно к её содержанию. А раз теория игнорирует содержание чего-то, значит - она исследует лишь его [этого чего-то] форму. Абсолютно логично. Но сколь логично, столь же и формально. Почему?
Ответ - прост. Дело в том, что в рамках одного вывода мы имеем аж целых два чисто формальных отождествления внешне похожих, но очевидно различных слов с НЕформально НЕсовпадающим содержанием.
Во-первых: словосочетание «содержание информации» употребляется там, где должно было бы стоять «содержание сообщения» (кстати – о важности темы первого разговора). Во-вторых – «содержанием информации» [в значении содержания сообщения] подменяется «содержание информации» в философском смысле слова. То есть - содержание информации, как синоним её «сущности», единственно могущей быть противопоставленной «форме» информации.
Если бы теорию информации действительно не интересовала сущность информации, как явления, её можно было бы назвать теорией, занимающейся только формальными аспектами. Но ведь именно в стремлении схватить самую суть явления, теория информации и абстрагируется от конкретных содержаний конкретных сообщений [от конкретных информаций конкретных сообщений], поскольку только так и можно выработать обобщённое, сущностное представление о предмете.
Соответственно, причина заблуждения кроется во встрече (в рамках одного формально-логического вывода) различных значений формально похожих терминов: "содержания" [инф.] с "содержанием" [философск.], с одной стороны, и «сообщения» с «информацией» - с другой. При том, что по сути – в своём стремлении к постижению содержания информации [в философском смысле слова, как содержания явления, обладающего и своей формой/формами] - теория информации закономерно стремится абстрагироваться от конкретного разнообразия этих форм, старается схватить суть. Но [на беду] - всё разнообразие этих форм составляют как раз бесчисленные конкретные содержания конкретных сообщений! И в этом смысле теория информации действительно игнорирует " [конкретное] содержание [информаций/сообщений]".
Но, как теперь уже, надеюсь, очевидно, не потому, что её больше интересует форма. А потому, что её интересует именно Содержание.

Корни ошибочных интерпретаций понятия информации

Именно реляционная природа информации явилась третьей предпосылкой путаницы (наряду с грамматическими ловушками и нерадением отцов-основателей о прозрачности интерпретаций). Любому единичному явлению присуще огромное количество всевозможных отношений с другими явлениями. А поскольку информация некоего явления - это тоже его отношение с другим явлением (вспомним: отношение, во многом подобное отношению синхронности), то и различных информаций у одного и того же явления может быть множество. И, соответственно, чисто интуитивно, на первый (поверхностный) взгляд кажущийся естественным принцип: "одно сообщение - одна информация" - оказывается сугубо ошибочным.
Традиционно, изложение математических основ теории связи начинается с рассмотрения случая автоинформации, то есть информации явления (сообщения/исхода/случайной величины) о самом себе. Именно на этом этапе "вводится" пресловутый отрицательный логарифм вероятности события, как мера информации. И даже то, что в любом грамотном изложении уже на той же (или в крайнем случае на следующей) странице появляется строгая математическая модель взаимной информации двух явлений (состояний/исходов/случайных величин) - большинству нетерпеливых интерпретаторов уже не указ: прочитав и как-будто бы поняв первую же формулу, они сразу уверенно делают громогласный вывод - вот она, одна-единственная и уникальная информация одного уникального сообщения! И далее - по цепочке - сообщение (носитель информации) навсегда срастается в их представлении с его "единственной" информацией, а потом и начинает стремительно мутировать в того самого квази-философского монстра, с которого начался прошлый разговор - в информацию-субстанцию.

Информация - это отношение, а не субстанция

Самую трагическую роль в естественно-научной судьбе понятия "информация" сыграло ошибочное представление о ней, как о некой субстанции. Распространению этого заблуждения способствовали, во-первых, чисто языковые моменты. Выражения типа: "закачивать...", "получать...", "хранить..." "перерабатывать информацию" - будят откровенно вещные ассоциации с нефтью, золотыми слитками, железной рудой и т.п. Во-вторых - субстанциальный взгляд на понятие информации обусловлен прискорбными методологическими ошибками, допущенными при его внедрении в общенаучный лексикон.
Хоть порой и утверждается, что философы рассматривали информацию, как феномен, ещё в античности, - в широко распространённую философскую категорию с чётко присвоенными ей значениями последняя явно не превратилась и в более поздние времена. Скорее можно говорить о том, что это латинское слово употреблялось на общеязыковых началах (как употребляются и родственные ему русские слова "осведомлённость" или "знания"). Всю полновесность термина информация обрела лишь благодаря математикам и инженерам. Но ни Хартли, ни Шеннон, победоносно разработавшие простой и эффективный аппарат её математического моделирования, не сочли необходимым потратить достаточное количество времени и бумаги на обсуждение её содержательной интерпретации.
В результате - дальнейшее бытие термина разделилось на два практически не пересекающихся потока. Другие инженеры и математики, по примеру отцов-основателей, продолжали совершенствовать и развивать математический аппарат, не вдаваясь в "философские" дебри, а все остальные, молниеносно подхватив звонкое словечко, стали деятельно насыщать его всевозможными смыслами, совершенно не утруждая себя соотнесением этих смыслов с изначально "зарядившими" это слоечко недюжинным познавательным потенциалом математическими построениями. И в основном интерпретации эти строились в полном согласии с той субстанциальной окраской, которую услужливо подкинули грамматики далёких от математической строгости живых человеческих языков.
Информация на тему информации начала "течь рекой", "переполнять" страницы газет и журналов, "накапливаться" в специальных информационных водохранилищах и т.д., и т.п. У некоторых здравомыслящих авторов возникло даже желание насытить это текучее нечто новым формализуемым содержанием ("ценностью", "полезностью" и т.п.), но ни к чему хорошему это не привело, поскольку очевидно смахивало на моделирование маслянистости сливочного масла.
И печальным итогом всей этой эпопеи явилось одно - почти поголовная аллергия у ответственно мыслящих людей на само понятие, первоначально показавшееся таким продуктивным, таким многообещающим. И, не побоюсь этого слова, - его естественно-научное забвение. Сегодня информация - это прежде всего заметка в газете, в сети или на ТВ. Да ещё - нули и единицы в электронных ячейках памяти.
А всего-то - не хватило в нужный момент вдумчивости, чтобы (пока всё ещё не зашло слишком далеко) вспомнить и указать: эй, смотрите, Хартли и Шеннон смоделировали (и измерили) никакую не субстанцию. Их интересовали не жидкости и не металлы (не золото и не нефть). Их интересовали отношения. Такие же отношения, какими являются отношения симетрии, отношения подобия или конгруэнтности, отношения гомоморфизма, изоморфизма и пр. И ближе всего по своему содержательному спектру эти отношения (то есть отношения, интересовавшие Хартли и Шеннона, информация, как отношение) - к такому общеизвестному и общепонятному отношению, как отношение синхронности.
Количество информации - по Клоду Шеннону - это в определённом смысле и есть "количество/степень" синхронности. В более широком смысле информация - это отношение синхронности не только во времени, но и в пространстве. Причём в любом - не только физическом, но и во всяком категориальном. Но всегда - отношение. Если усвоить это крепко, то дальше всё катится "как по маслу". Прямо к долгожданным ответам.

Парадокс двух конвертов и среднее матожидание

В случае двух конвертов мы имеем факт реализации первого выбора игрока, условные вероятности [удачного/неудачного обмена] по исходам которого нам изначально известны ([0 и 1] или [1 и 0]), но не известно, какая из пар "вступила" в свои права.
Мы можем найти вероятность удачного/неудачного обмена по формуле полной вероятности
1*1/2 + 0*1/2 = 1/2
Это как раз та самая 1/2 из парадоксального рассуждения. Это именно полная вероятность удачного обмена, а не фифти/фифти блондинки из анекдота. Однако, использование этой полной вероятности при вычислении мат. ожидания выигрыша и приводит к противоречию.
Для того, чтобы понять причину происходящего, необходимо, прежде всего, разобраться в проблеме уровней детализации возможности события.
Полная вероятность события - это вероятность более грубого (и, соответственно, более усреднённого) уровня детализации, нежели уровень любых условных вероятностей. А в данном случае именно на конкретном уровне условных вероятностей мы имеем очевидную информационную связь между вероятностями и размером суммы (бОльшие суммы мы успешно обмениваем с вероятностью ноль, меньшие - с вероятностью единица).
Именно эта взаимозависимость сомножителей из формулы мат. ожидания и приводит к ошибке при использовании при вычислениях полной вероятности.
Итак, в данном случае мы не можем строго вычислить мат. ожидание, зная лишь полную вероятность удачного обмена. Но ничто не мешает нам определить среднее матожидание на уровне условных вероятностей для всей выборки усреднения условных вероятносте доходности обмена при вычислении полных вероятностей.
Причём правильнее вычислять среднее мат. ожидание прибыльности обмена, сразу закладывая в рассчёты и цену игры, то есть ту сумму из первого конверта, от которой игрок вынужден отказываться ради возможности забрать сумму из другого конверта.
Вероятность 1/2 получить при обмене 1/2*X выводится с помощью формулы полной вероятности так:
p(1/2*X) = 0*1/2 + 1*1/2 ,
где 0 и 1 - условные вероятности по двум результатам первого выбора игрока в розыгрыше с парой сумм [1/2*X;X] . Вероятность 1/2 получить при обмене 2X соответственно так же:
p(2X) = 0*1/2 + 1*1/2 ,
где 0 и 1 - условные вероятности по двум результатам первого выбора игрока в розыгрыше с парой сумм [X;2X] .
И поскольку, как мы увидели,  при наличии суммы X в одном из конвертов полные вероятности 1/2 и 1/2 обмена её на 1/2*X и 2X являются усреднениями четырёх условных вероятностей из двух возможных игр с парами сумм [1/2*X;X] и [X;2X] и, соответственно, четырёх ситуаций "после первого выбора", мы должны вычислить все четыре условные мат. ожидания прибыльности обмена.
МО1 = 1* (X - 1/2*X)
МО2 = 1* (1/2*X - X)
МО3 = 1* (X - 2X)
МО4 = 1* (2X - X)
После этого вычислим среднее мат. ожидание прибыльности обмена для всей выборки усреднения условных вероятностей при получении полной вероятности:
МО[1-4] = [(X - 1/2*X) + (1/2*X - X) + (X - 2X) + (2X - X)]/4 = 0
Итак, среднее матожидание прибыльности обмена на выборке усреднения условных вероятностей равно нулю, что вполне соответствует интуитивным выводам из симметрии рассматриваемой ситуации.
Следует также отметить, что использование при вычислении мат. ожидания [доходности обмена условной вероятности] по размеру суммы (по конкретному X) также является работой с элементами более грубого уровня детализации по сравнению с уровнем условных вероятностей по итогам первого выбора и, соответственно, также способно приводить к противоречиям (см. Хитрые конверты).

Уровни детализации возможности наступления события

Полная вероятность события A всегда принадлежит более грубому уровню детализации ВОЗМОЖНОСТИ этого события, нежели любая из его условных вероятностей.


Как известно, возможность наступления события A характеризуется его ВЕРОЯТНОСТЬЮ. ВОЗМОЖНОСТЬ эта способна иметь множество УРОВНЕЙ ДЕТАЛИЗАЦИИ.

Полная вероятность события A является взвешенной суммой условных вероятностей по любой полной группе попарно несовместных условий события A [B,C,D,E и т.д.]. Вместе с тем, таких полных групп условий для одного и того же A может быть несколько. Пусть второй такой полной группой для нас будет [X,Y,Z,Q и т.д.].

Очевидно, что требование попарной несовместности на элементы разных групп не распространяется. Если группы условий [B,C,D,E и т.д.] и [X,Y,Z,Q и т.д.] не тождественны, то в одном из них наверняка можно найти хотябы одну пару событий, равносовместных с каким-нибудь элементом другой группы. Пусть это будут X и Y, равносовместные с B. В этом случае саму условную вероятность p(A/B) можно развернуть по формуле полной вероятности в:


p(A/B) = p(BX)*p(A/BX) + p(BY)*p(A/BY)


и получить тем самым элемент нового, более точного и конкретного по сравнению с [B,C,D,E и т.д.] уровеня детализации ВОЗМОЖНОСТИ события A.

Очевидно, что при известной p(A/BX) и при знании о том, что условие BX реализовано, бессмысленно оперировать вероятностью p(A/B). Иными словами - знание более точной вероятности очевидно "отменяет" более грубую (усреднённую).

Теперь вполне очевидно, также, что ВОЗМОЖНОСТЬ всякого события может иметь множество уровней детализации. По добровольному согласию сторон вероятности любого из этих уровней могут быть признаны "объективными", тоесть не допускающими дальнейшего членения на наборы более точных условных вероятностей по более частным условиям (как, например, чисто конвенциональна "объективность" вероятности выпадения орла монетки, поскольку все согласны не учитывать специфику траектории её падения на стол, частоту вращения в воздухе, упругость поверхности и т.п.).

Парадокс двух конвертов и основания теории вероятностей

Уже вынесен окончательный Вердикт по "двум конвертам"


Парадокс двух конвертов играет с самими основаниями теории вероятностей, наглядно демонстрируя опаснонсть использования усреднённых (частотных) вероятностей при вычислении матожиданий случайных величин.


Если кто-то ещё не сталкивался, условие и различные подходы решения здесь:
http://burykind.blogspot.com/2010/09/blog-post.html


Сразу после совершения игроком выбора одного из конвертов вероятности удачно/неудачно обменять конверт принимают значения нуля и единицы (ведь оставшийся конверт только один - ЛИБО больший, ЛИБО меньший). В каком порядке - 0 и 1, или 1 и 0 - мы не знаем, но наше НЕзнание объективных (в смысле априорных) вероятностей их не отменяет, также как не отменяет и объективную СВЯЗЬ этих вероятностей с размером получаемой суммы, заложенную в самом условии задачи (нулевые вероятности удачного обмена для вдвое больших сумм, и единичные для вдвое меньших).
Любые другие вероятности удачного/неудачного обмена, которые рассматриваются в парадоксальном рассуждении (1/2 и 1/2) и в различных попытках решения, - суть не что иное, как разнообразные усреднения исходных (априорных) нулей и единиц. 1/2 и 1/2 из парадоксального рассуждения - это усреднение априорных нуля и единицы для одного розыгрыша в целом по двум равновероятным выборам игрока, условная вероятность по размеру конкретной суммы из наиболее популярной в сети попытки решения - усреднение априорных нулей и единиц по всем возможным выборам игрока во всех возможных розыгрышах, при которых в конверте оказывается данная сумма.
И в обоих случаях постольку, поскольку наличествует СВЯЗЬ между размером суммы и вероятностью её удачного обмена (бОльшая вероятность для мЕньших сумм и мЕньшая для бОльших), постольку же и вычисление матожидания с использыванием этих усреднённых вероятностей - бессмыслица. Именно это использование усреднённых вероятностей при наличии информационной связи между различными значениями случайной величины и априорными вероятностями этих значений и приводит к парадоксу!
Таким образом парадокс двух конвертов играет с самими основаниями теории вероятностей, наглядно демонстрируя опаснонсть использования усреднённых (частотных) вероятностей при вычислении матожидания случайных величин. При таком использовании должна явно формулироваться хотябы гипотеза отсутствия информационной связи между значениями величины и самими их вероятностями.

Отличная модификация парадокса двух конвертов

Уже вынесен окончательный Вердикт по "двум конвертам"


Только что обнаружил интереснейшее сообщение Ильи Весеннего на тему конвертов, опубликованное им ещё в июне этого года.
http://my-tribune.blogspot.com/2010/06/blog-post.html
Он обнаружил такую модификацию задачи, которая полностью удовлетворяет расхожему требованию "математически корректного" распределения сумм по конвертам и при этом сохраняет всю поноту парадоксальности. Поздравляю Илью!!!