Как можно количественно оценить ту или иную информацию?

  

Ясно, что сообщение о наступлении маловероятного события несет в себе больше информации, чем сообщение о наступлении события, которое потом ожидается с большой вероятностью.

В частности, сообщение о наступлении достоверного события фактически не несет информации (и без этого сообщения известно, что достоверное событие обязательно произойдет).

Предположим, что проводится серия независимых и одинаковых испытаний, в каждом из которых наступает одно из рассматриваемых событий .

Сообщение об исходе испытаний можно условно записать в виде последовательности , где - то событие из , которое имело место при -м испытании.

Согласно тому, что частота события в большой серии испытаний практически совпадает с его вероятностью , в сообщении событие  приблизительно встречается  раз, событие  приблизительно встречается  раз и т.д., событие  приблизительно встречается  раз. Только такие исходы рассматриваются ниже.

Число всех исходов, в которых событие  наступает ровно , событие  ровно  раз и т.д., событие  наступает ровно  раз , по формуле  есть

Вероятность каждого из описанных исходов есть

Итак, рассматриваемые исходы  приблизительно равновероятны, а число их  таково, что

Если для обозначения этих исходов  в серии из  испытаний воспользоваться двоичным кодом, то длина наиболее экономичной кодовой комбинации будет приблизительно  В среднем на каждое из  испытаний это составит

В теории вероятностей определяемая формулой (1) величина  принята за количество информации, которую в среднем несет сообщение о наступлении одного из событий  в каждом отдельном опыте.

Для равновероятных событий эта величина есть

Было получено экспериментальное подтверждение формулы (1) для количества информации.

Например, в ряде опытов обнаружено, что передача информации в живом организме происходит таким образом, что затрачиваемое на это время пропорционально количеству информации, вычисляемому по формуле (1).

Примером подобного рода может служить один из простейших опытов по определению среднего времени психических реакций.

Опыт заключается в том, что перед испытуемым человеком зажигается одна из  лампочек, которую он должен указать. Проводится большая серия испытаний, в которых каждая лампочка зажигается с определенной вероятностью .

Оказывается, среднее время, необходимое для правильного ответа испытуемого, пропорционально именно величине (а не числу лампочек  , как можно было подумать).

Вообще количество информации о событиях  которое несет сообщение о наступлении события из  определяется формулой

(здесь  и  - некоторые полные системы непересекающихся событий).

Пример  о количестве информации, которую несет в себе прогноз погоды

Предположим, что в некотором пункте за весенне-летний сезон примерно в одном из пяти случаев бывает дождь, в остальных случаях – ясная погода.

Допустим, что накануне дается прогноз погоды. Естественно, этот прогноз может оказаться ошибочным.

Предположим, что прогноз дождя бывает ошибочным приблизительно в половине всех случаев (правильно предсказать маловероятное событие – дождь – весьма трудно), а прогноз ясной погоды действует точнее и оказывается ошибочным лишь в одном случае из десяти.

Каково количество информации, которое в среднем несет в себе прогноз погоды?

Введем следующие обозначения:  дождь,  ясная погода,  прогноз дождя,  прогноз ясной погоды. Следует положить

Из формулы полной вероятности

находим, что

и

откуда, согласно формуле (2),

Насколько больше информации несет абсолютно безошибочный прогноз?

В случае безошибочного прогноза следует предположить , и тогда