Если речь идет об информации, которая заключена в том или ином письменной тексте, то при самом глубоком подходе предположительно можно измерить ее длиной самого текста. При этом конечно, нужно выбрать какой-то подходящий способ записи, какое-то подходящее правило кодирования информации.
Пусть имеется каких-либо объектов. Для их обозначения воспользуемся так называемым двоичным кодом, сопоставив каждому объекту соответствующую кодовую комбинацию вида
, где символы
принимают одно из двух возможных значений 0 или 1 и длина
всех кодовых комбинаций одна и та же.
Всего имеется различных кодовых комбинаций такого типа. Следовательно, чтобы различать
объектов, нужно выбрать длину
кодовой комбинации так, чтобы
. Наименьшее
, при котором это возможно, есть натуральное число, удовлетворяющее соотношению
характеризует длину наиболее экономных кодовых комбинаций, при помощи которых можно описать различных объектов.
Предположим, что рассматривается некоторый опыт, результатом которого может быть одно из , равновероятных и не пересекающихся между собой событий
. Как количественно оценить ту информацию, которая заключена в сообщении об исходе
такого опыта?
В теории вероятностей эта информация оценивается указанной выше величиной
Пусть рассматриваемые события имеют разные вероятности
Ясно, что сообщение о наступлении маловероятного события несет в себе больше информации, чем сообщение о наступлении события, которое потом ожидается с большой вероятностью.
В частности, сообщение о наступлении достоверного события фактически не несет информации (и без этого сообщения известно, что достоверное событие обязательно произойдет).
Предположим, что проводится серия независимых и одинаковых испытаний, в каждом из которых наступает одно из рассматриваемых событий .
Сообщение об исходе испытаний можно условно записать в виде последовательности
, где
- то событие из
, которое имело место при
-м испытании.
Согласно тому, что частота события
в большой серии испытаний практически совпадает с его вероятностью
, в сообщении
событие
приблизительно встречается
раз, событие
приблизительно встречается
раз и т.д., событие
приблизительно встречается
раз. Только такие исходы рассматриваются ниже.
Число всех исходов, в которых событие наступает ровно
, событие
ровно
раз и т.д., событие
наступает ровно
раз
, по формуле
есть
В теории вероятностей определяемая формулой (1) величина принята за количество информации, которую в среднем несет сообщение о наступлении одного из событий
в каждом отдельном опыте.
Для равновероятных событий эта величина есть
Было получено экспериментальное подтверждение формулы (1) для количества информации.
Например, в ряде опытов обнаружено, что передача информации в живом организме происходит таким образом, что затрачиваемое на это время пропорционально количеству информации, вычисляемому по формуле (1).
Примером подобного рода может служить один из простейших опытов по определению среднего времени психических реакций.
Опыт заключается в том, что перед испытуемым человеком зажигается одна из лампочек, которую он должен указать. Проводится большая серия испытаний, в которых каждая лампочка зажигается с определенной вероятностью
.
Оказывается, среднее время, необходимое для правильного ответа испытуемого, пропорционально именно величине (а не числу лампочек
, как можно было подумать).
Вообще количество информации о событиях которое несет сообщение о наступлении события из
определяется формулой
(здесь и
- некоторые полные системы непересекающихся событий).
Предположим, что в некотором пункте за весенне-летний сезон примерно в одном из пяти случаев бывает дождь, в остальных случаях – ясная погода.
Допустим, что накануне дается прогноз погоды. Естественно, этот прогноз может оказаться ошибочным.
Предположим, что прогноз дождя бывает ошибочным приблизительно в половине всех случаев (правильно предсказать маловероятное событие – дождь – весьма трудно), а прогноз ясной погоды действует точнее и оказывается ошибочным лишь в одном случае из десяти.
Каково количество информации, которое в среднем несет в себе прогноз погоды?
Введем следующие обозначения: дождь,
ясная погода,
прогноз дождя,
прогноз ясной погоды. Следует положить
Из формулы полной вероятности
находим, что
и
откуда, согласно формуле (2),
Насколько больше информации несет абсолютно безошибочный прогноз?
В случае безошибочного прогноза следует предположить , и тогда
Скачать
Актуальные курсы