Уважаемые посетители Портала Знаний, если Вы найдете ошибку в тексте, выделите, пожалуйста, ее мышью и нажмите Сtrl+Enter. Мы обязательно исправим текст!


Как можно количественно оценить ту или иную информацию?

Если речь идет об информации, которая заключена в том или ином письменной тексте, то при самом глубоком подходе предположительно можно измерить ее длиной самого текста. При этом конечно, нужно выбрать какой-то подходящий способ записи, какое-то подходящее правило кодирования информации.

Пусть имеется Formula1каких-либо объектов. Для их обозначения воспользуемся так называемым двоичным кодом, сопоставив каждому объекту соответствующую кодовую комбинацию вида Formula1, где символы Formula1принимают одно из двух возможных значений 0 или 1 и длина Formula1всех кодовых комбинаций одна и та же.

Всего имеется Formula1различных кодовых комбинаций такого типа. Следовательно, чтобы различать Formula1объектов, нужно выбрать длину Formula1кодовой комбинации так, чтобы Formula1. Наименьшее Formula1, при котором это возможно, есть натуральное число, удовлетворяющее соотношению

  Formula1
Видно, что величина

Formula1

характеризует длину наиболее экономных кодовых комбинаций, при помощи которых можно описать Formula1 различных объектов.

Предположим, что рассматривается некоторый опыт, результатом которого может быть одно из Formula1, равновероятных и не пересекающихся между собой событий Formula1. Как количественно оценить ту информацию, которая заключена в сообщении об исходе Formula1такого опыта?

В теории вероятностей эта информация оценивается указанной выше величиной

Formula1

Пусть рассматриваемые события Formula1 имеют разные вероятности 

Formula1

Ясно, что сообщение о наступлении маловероятного события несет в себе больше информации, чем сообщение о наступлении события, которое потом ожидается с большой вероятностью.

В частности, сообщение о наступлении достоверного события фактически не несет информации (и без этого сообщения известно, что достоверное событие обязательно произойдет).

Предположим, что проводится серия независимых и одинаковых испытаний, в каждом из которых наступает одно из рассматриваемых событий Formula1.

Сообщение об исходе Formula1 испытаний можно условно записать в виде последовательности Formula1, где Formula1- то событие из Formula1, которое имело место при Formula1-м испытании.

Согласно тому, что частота Formula1 события Formula1 в большой серии испытаний практически совпадает с его вероятностью Formula1, в сообщении Formula1 событие Formula1 приблизительно встречается Formula1 раз, событие Formula1 приблизительно встречается Formula1 раз и т.д., событие Formula1 приблизительно встречается Formula1 раз. Только такие исходы рассматриваются ниже.

Число всех исходов, в которых событие Formula1 наступает ровно Formula1, событие Formula1 ровно Formula1 раз и т.д., событие Formula1 наступает ровно Formula1 раз Formula1, по формуле Formula1 есть

Formula1
Вероятность каждого из описанных исходов есть

Formula1
Formula1
Итак, рассматриваемые исходы Formula1 приблизительно равновероятны, а число их Formula1 таково, что

Formula1
Если для обозначения этих исходов Formula1 в серии из Formula1 испытаний воспользоваться двоичным кодом, то длина наиболее экономичной кодовой комбинации будет приблизительно Formula1 В среднем на каждое из  испытаний это составит

Formula1

В теории вероятностей определяемая формулой (1) величина Formula1 принята за количество информации, которую в среднем несет сообщение о наступлении одного из событий Formula1 в каждом отдельном опыте.

Для равновероятных событий эта величина есть Formula1

Было получено экспериментальное подтверждение формулы (1) для количества информации.

Например, в ряде опытов обнаружено, что передача информации в живом организме происходит таким образом, что затрачиваемое на это время пропорционально количеству информации, вычисляемому по формуле (1).

Примером подобного рода может служить один из простейших опытов по определению среднего времени психических реакций.

Опыт заключается в том, что перед испытуемым человеком зажигается одна из Formula1 лампочек, которую он должен указать. Проводится большая серия испытаний, в которых каждая лампочка зажигается с определенной вероятностью Formula1.

Оказывается, среднее время, необходимое для правильного ответа испытуемого, пропорционально именно величине Formula1(а не числу лампочек  Formula1, как можно было подумать).

Вообще количество информации о событиях Formula1 которое несет сообщение о наступлении события из Formula1 определяется формулой

Formula1

(здесь Formula1 и Formula1 - некоторые полные системы непересекающихся событий).


Пример  о количестве информации, которую несет в себе прогноз погоды

Предположим, что в некотором пункте за весенне-летний сезон примерно в одном из пяти случаев бывает дождь, в остальных случаях – ясная погода.

Допустим, что накануне дается прогноз погоды. Естественно, этот прогноз может оказаться ошибочным.

Предположим, что прогноз дождя бывает ошибочным приблизительно в половине всех случаев (правильно предсказать маловероятное событие – дождь – весьма трудно), а прогноз ясной погоды действует точнее и оказывается ошибочным лишь в одном случае из десяти.

Каково количество информации, которое в среднем несет в себе прогноз погоды?

Введем следующие обозначения: Formula1 дождь, Formula1 ясная погода, Formula1 прогноз дождя, Formula1 прогноз ясной погоды. Следует положить

Formula1

Из формулы полной вероятности

Formula1

находим, что

Formula1

и

Formula1

откуда, согласно формуле (2),

Formula1

Насколько больше информации несет абсолютно безошибочный прогноз?

В случае безошибочного прогноза следует предположить Formula1, и тогда

Formula1

В начало

Содержание портала