§1.7. Измерение информации

• 1.7.1. Измерение информации в быту
• 1.7.2. Измерение информации в технике
• 1.7.3. Измерение информации в теории информации

Понятие информации одно из самых фундаментальных в современной науке. Наряду с такими понятиями, как вещество и энергия, оно составляет основу современной научной картины мира. Изучая физику и химию, вы учились определять количество вещества и энергии. Займемся теперь задачей определения количества информации.

Информация обладает следующими основными свойствами:

• информация должна быть как-то записана (синтаксис);
• эта запись должна что-то означать (семантика);
• у человека есть какое-то отношение к данной информации (прагматика).

Измерение информации в различных сферах человеческой жизни опираются на различные свойства информации.

1.7.1. Измерение информации в быту

Пример 1 Пример 2

Разные люди, получившие одно и то же сообщение, по-разному оценивают его информационную емкость, то есть количество информации, содержащееся в нем. Это происходит оттого, что знания людей о событиях, явлениях, о которых идет речь в сообщении, до получения сообщения были различными. Поэтому те, кто знал об этом мало, сочтут, что получили много информации, те же, кто знал больше, могут сказать, что информации не получили вовсе. Количество информации в сообщении, таким образом, зависит от того, насколько ново это сообщение для получателя. Иными словами, для определения количества информации в бытовом смысле опираются на ее смысловое, семантическое свойство. Однако в этом случае количество информации в одном и том же сообщении должно определяться отдельно для каждого получателя, то есть иметь субъективный характер. Но субъективные вещи не поддаются сравнению и анализу, для их измерения трудно выбрать одну общую для всех единицу измерения.

Пример 3 После выхода в 1973 г. на экраны знаменитого сериала «Семнадцать мгновений весны» с Вячеславом Тихоновым в главной роли (штандартенфюрер Макс Отто фон Штирлиц) в широкое обращение вошло словосочетание «информация к размышлению», означавшая появление некоторых новых сведений, которые необходимо «вписать» в контекст уже имеющихся представлений. Разумеется, у каждого человека этот контекст индивидуален.

Таким образом, с точки зрения информации как новизны мы не можем однозначно и объективно оценить количество информации, содержащейся даже в простом сообщении.

1.7.2. Измерение информации в технике

В технике нас интересует синтаксический аспект информации, т.е. любая хранящаяся, обрабатываемая или передаваемая последовательность знаков, сигналов.

В этом случае часто используют простой способ определения количества информации, который может быть назван объемным. Он основан на подсчете числа символов в сообщении, т. е., связан только с длиной сообщения и не учитывает его содержания.

Длина сообщения зависит от числа знаков, употребляемых для записи сообщения. Например, слово «МИР» в русском алфавите записывается тремя знаками, в английском – пятью (peace), а в КОИ -8 - двадцатью четырьмя битами (111011011110100111110010).

Пример 4 Исходное сообщение Количество информации На языке В машинном представлении (КОИ - 8) В символах В битах В байтах РИМ 11110010 11101001 11101101 3 24 3 МИР 11101101 11101001 11110010 3 24 3 МИРУ МИР! 11101101 11101001 11110010 11110101 00100000 11101101 1110101 11110010 00100001 9 72 9 (** */ 00101000 00101010 00101010 00100000 00101010 00101111 6 48 6 В вычислительной технике применяются две стандартные единицы измерения: бит (англ. binary digit – двоичная цифра) и байт (byte). Конечно, будет правильно, если вы скажете: «В слове «РИМ» содержится 24 бита информации, а в сообщении «МИРУ МИР!» - 72 бита». Однако, прежде, чем измерить информацию в битах, вы определяете количество символов в этом сообщении. Нам привычнее работать с символами, машине – с кодами. Каждый символ в настоящее время в вычислительной технике кодируется 8-битным или 16-битным кодом. Поэтому для удобства была введена более «крупная» единица информации в технике (преимущественно в вычислительной) – байт. Теперь легче подсчитать количество информации в техническом сообщении – оно совпадает с количеством символов в нем.

Поскольку компьютер предназначен для обработки больших объемов информации, то используют производные единицы – килобайт (Кб), мегабайт (Мб), гигабайт (Гб).

Обычно приставка «кило» означает тысячу, а приставка «мега» – миллион, но в вычислительной технике все «привязывается» к принятой двоичной системе кодирования.

В силу этого один килобайт равен не тысяче байтов, а 2¹⁰ = 1024 байтов.

Аналогично, 1 Мб = 2¹⁰ Кб = 1024 Кб = 2²⁰ байт = 1 048 576 байт
1 Гб = 2¹⁰ Мб = 2²⁰Кб = 2³⁰ байт = 1 073 741 824 байт.

Пример 5 В 100 Мб можно «уместить»: 50 000 страниц текста 150 цветных слайдов высокого качества 1,5 часа аудиозапись речи оратора 10 минут музыкальный фрагмент качества CD-стерео 15 секунд фильм высокого качества записи за 1000 лет протоколы операций с банковским счетом

1.7.3. Измерение информации в теории информации

В теории информации реализован подход, при котором смысловое свойство информации, ее новизна определенным образом отражаются в объеме сообщения. Разумеется, речь идет не о полном отражении «семантики» через «синтаксис», а лишь о некотором приближении, достаточном для решения определенного класса задач.

Данный подход основан на следующей идее: получение информации (ее увеличение) одновременно означает увеличение знания, что, в свою очередь, означает уменьшение незнания или информационной неопределенности.

За единицу количества информации принимают выбор одного из двух равновероятных сообщений («да» или «нет», «1» или «0»). Она также названа бит. Вопрос ценности этой информации для получателя уже из иной области.

Пример 6 Книга лежит на одной из двух полок – верхней или нижней. Сообщение о том, что книга лежит на верхней полке, уменьшает неопределенность ровно вдвое и несет 1 бит информации. Сообщение о том, как упала монета после броска – «орлом» или «решкой», несет один бит информации. В соревновании участвуют четыре команды. Сообщение о том, что третья команда набрала большее количество очков, уменьшает первоначальную неопределенность ровно в четыре раза (дважды по два) и несет два бита информации.

Очень приближенно можно считать, что количество информации в сообщении о каком-то событии совпадает с количеством вопросов, которые необходимо задать, и ответом, на которые могут быть лишь «да» или «нет», чтобы получить ту же информацию. Причем событие, о котором идет речь, должно иметь равновероятные исходы.

Пример 7 Сколько вопросов надо задать, чтобы отгадать одну из 32 карт (колода без шестерок), если ответами могут быть лишь «да» или «нет»? Оказывается, достаточно всего лишь пяти вопросов, но задавать их надо так, чтобы после каждого ответа можно было «отбрасывать» из рассмотрения ровно половину карт, среди которых задуманной не может быть. Такими, например, являются вопросы о цвете масти карты («Задуманная карта красной масти?»), о типе карты («Задуманная карта – «картинка»?») и т.п. То есть сообщение о том, какая карта из 32 задумана, несет 5 бит информации. Во всех приведенных примерах число равновероятных исходов события, о котором идет речь в сообщении, было кратным степени числа 2 (4 = 22, 32 = 25). Поэтому сообщение «несло» количество бит информации, которое всегда было целым числом. Но в реальной практике могут встречаться самые разные ситуации. Пример 8 Известно, что Иванов живет на улице Весенней. Сообщение о том, что номер его дома есть число четное, уменьшило неопределенность. Получив такую информацию, мы стали знать больше, но информационная неопределенность осталась, хотя и уменьшилась. Почему в этом случае мы не можем сказать, что первоначальная неопределенность уменьшилась вдвое (иными словами, что мы получили 1 бит информации)? Если Вы не знаете ответа на этот вопрос, представьте себе улицу, на четной стороне которой, например, четыре дома, а на нечетной – двадцать. Такие улицы не такая уж большая редкость.

Последние примеры показывают, что данное выше определение количества информации слишком упрощенно. Уточним его. Но прежде разберем еще один пример.

Пример 9 Пылкий влюбленный, находясь в разлуке с объектом своей любви, посылает телеграмму: «Любишь?» В ответ приходит не менее лаконичная телеграмма: «Да!» Сколько информации несет ответная телеграмма? Альтернатив здесь две: либо «Да», либо «Нет». Их можно обозначить символами двоичного кода 1 и 0. Таким образом, ответную телеграмму можно было бы закодировать всего одним двоичным символом. Можно ли сказать, что ответная телеграмма несет одну единицу информации? Если влюбленный уверен в положительном ответе, то ответ «да» почти не даст ему никакой новой информации. То же самое относится и к безнадежно влюбленному, уже привыкшему получать отказы. Ответ «нет» также принесет ему очень мало информации. Но внезапный отказ уверенному влюбленному (неожиданное огорчение) или ответ «да» безнадежному влюбленному (нечаянная радость) несет сравнительно много информации, настолько много, что радикально изменяется все дальнейшее поведение влюбленного, а, может быть, его судьба!

Таким образом, если рассматривать информацию как снятую неопределенность, то количество информации зависит от вероятности получения данного сообщения. Причем, чем больше вероятность события, тем меньше количество информации в сообщении о таком событии.

Иными словами, количество информации в сообщении о каком-то событии зависит от вероятности свершения данного события.

Научный подход к оценке сообщений был предложен еще в 1928 г. Ральфом Хартли.

Расчетная формула имеет вид:

I = log₂N или 2^I = N,

где N – количество равновероятных событий (число возможных выборов), I – количество информации.

Если N = 2 (выбор из двух возможностей), то I = 1 бит.

Бит выбран в качестве единицы количества информации потому, что принято считать, что двумя двоичными словами исходной длины k или словом длины 2k можно передать в 2 раза больше информации, чем одним исходным словом. Число возможных равновероятных выборов при этом увеличивается в 2^k раз, тогда как I удваивается.

Иногда формула Хартли записывается иначе. Так как наступление каждого из N возможных событий имеет одинаковую вероятность p = 1 / N, то N = 1 / p и формула имеет вид:

I = log₂(1/p) = – log₂p

Познакомимся с более общим случаем вычисления количества информации в сообщении об одном из N, но уже неравновероятных событий. Этот подход был предложен Клодом Шенноном в 1948 г.

Пусть имеется строка текста, содержащая тысячу букв. Буква «о» в тексте встречается примерно 90 раз, буква «р» ~ 40 раз, буква «ф» ~ 2 раза, буква «а» ~ 200 раз. Поделив 200 на 1000, мы получим величину 0,2, которая представляет собой среднюю частоту, с которой в рассматриваемом тексте встречается буква «а». Вероятность появления буквы «а» в тексте (p_a) можем считать приблизительно равной 0,2. Аналогично, p_р = 0,04, p_ф = 0,002, p_o = 0,09.

Далее поступаем согласно К. Шеннону. Берем двоичный логарифм от величины 0,2 и называем то, что получилось, количеством информации, которую переносит одна-единственная буква «а» в рассматриваемом тексте. Точно такую же операцию проделаем для каждой буквы. Тогда количество собственной информации, переносимой одной буквой, равно:

h_i = log₂(1/p_i) = – log₂p_i ,

где p_i – вероятность появления в сообщении i-го символа алфавита.

Удобнее в качестве меры количества информации пользоваться не значением h_i , а средним значением количества информации, приходящейся на один символ алфавита:

H = p_i h_i = - p_i log₂p_i

Значение H достигает максимума при равновероятных событиях, то есть при равенстве всех p_i :

p_i = 1 / N

В этом случае формула Шеннона превращается в формулу Хартли.

---