Информационный объём сообщения

Алфавитный подход к количеству информации

Единица измерения информации — байт

Компьютеры обычно работают в двоичной системе счисления, состоящей из двух цифр: 0 и 1.

Один двоичный знак — 0 или 1 — называется бит —(англ. bit — сокращение от английских слов binary digit, что означает двоичная цифра). Бит представляет наименьшую единицу информации. Однако компьютер имеет дело не с отдельными битами, а с байтами.

8 бит является настолько характерной величиной, что ей присвоили свое название — байт.

Байт = 8 бит = является единицей измерения информации.

Последовательностью битов можно закодировать текст, изображение, звук или какую — либо другую информацию. Такой метод представления информации называется двоичным кодированием (binary encoding).

Компьютер может обрабатывать только информацию, представленную в числовой форме. Вся другая информация (звуки, изображения, показания приборов и т. д.) для обработки на компьютере должна быть предварительно преобразована в числовую форму при помощи соответствующих компьютерных программ.

Таблица байтов

1 байт = 8 бит

1 Кб (1 Килобайт) = 2¹⁰ байт = 2*2*2*2*2*2*2*2*2*2 байт == 1024 байт (примерно 1 тысяча байт — 10³ байт)

1 Мб (1 Мегабайт) = 2²⁰ байт = 1024 килобайт (примерно 1 миллион байт — 10⁶ байт)

1 Гб (1 Гигабайт) = 2³⁰ байт = 1024 мегабайт (примерно 1 миллиард байт — 10⁹ байт)

1 Тб (1 Терабайт) = 2⁴⁰ байт = 1024 гигабайт (примерно 10¹² байт). Терабайт иногда называют тонна.

Алфавитный подход к измерению информации

Представим, что нам надо закодировать латинский алфавит, который содержит 26 символов. Сколько бит потребуется для кодирования каждого символа? А какой объем информации будет нужен для хранения слова из 10 закодированных нами букв? Давайте попробуем посчитать. Кодировка предполагает, что каждому символу алфавита мы ставим в соответствие уникальный набор битов, т.е. у всех символов эти наборы разные. Количество комбинаций N, которое можно составить из i битов (каждый их них может быть либо 0, либо 1), будет равно:

К = 2ⁱ

В нашем случае K = 26. Получаем 26 = 2ⁱ. 26 не является степенью двойки, но это не страшно — нам надо найти такое минимальное i, чтобы 2ⁱ точно было больше 26. 2⁴ = 16 — не подходит (получается, что с помощью 4 бит мы можем закодировать только 16 символов). 2⁵ = 32 — подходит. Нашли, что i = 5, т.е. вес одного символа — 5 бит. Вернемся ко второму вопросу: какой объем будет занимать слово из 10-ти букв? Одна буква весит 5 бит, значит, 10 букв будут весить 5×10 = 50 бит.

В данном примере мы вычислили количество бит, необходимое для кодирования одного символа буквенного алфавита. Я думаю, вы уже догадались, что данная формула:

К = 2ⁱ будет справедлива не только для кодирования алфавита, но и для кодирования комбинаций любых других параметров (например, количества цветов в изображении или уровней звука музыкального файла).

Изученный нами подход к измерению информации называется алфавитным. Он применяется для кодирования и определения занимаемого объема любых цифровых файлов — как текстовых, так и медиа. Данный подход сам по себе необходимо очень хорошо понимать для решения задания №11 в ЕГЭ. Кроме того, на нем основаны принципы кодирования медиафайлов — этому вопросу посвящено задание №7.

В компьютере также используется свой алфавит, который можно назвать компьютерным. Количество символов, которое в него входит, равно 256 символов. Это мощность компьютерного алфавита. А закодировать 256 разных символов можно с помощью 8 битов (1 байта).

Вероятностный подход к измерению информации

В ЕГЭ в задании №11 может встретиться весьма специфический прототип с вероятностным подходом к измерению информации. Для него необходимо ознакомиться с такой наукой, как Теория вероятностей.

Теория вероятности (ТВ) — это раздел математики, изучающий случайные события. Основным понятием в ТВ является вероятность события. Когда мы говорим о вероятности события, в обычной жизни мы подразумеваем некоторую меру возможности его возникновения. В ТВ есть четкое определение вероятности, которого нужно придерживаться.

Допустим, у вас есть несколько исходов какого-то события — например, вы подбрасываете монету. Может выпасть орел, а может — решка. Для простоты не будем брать в расчет очень редкие случаи (например, когда монета упала ребром, или вы подкинули ее так сильно, что она улетела в космос). Также будем считать, что наша монета идеальна и симметрична, и вероятность выпадения орла и решки одинакова (в ТВ тогда говорят, что эти события «равновероятны»). Все эти уточнения важны, ведь математика — точная наука. В описанном нами случае вероятность каждого исхода равна 50% (1/2). Интуитивно мы это понимаем, а с точки зрения ТВ это число получилось из определения вероятности события. По определению вероятность события равна количеству «нужных» исходов, деленному на количество всех возможных:

Конечно, такая простая формула работает только тогда, когда у нас есть фиксированное количество заранее известных равновероятных исходов. В реальной жизни все иначе и намного сложнее. Например, вы когда-нибудь видели идеально симметричную монету? Вряд ли. В этом случае вероятность двух исходов события (выпадение орла или же решки) будет неодинаковым, и наша формулы не сработает. К счастью, в ЕГЭ такие сложные ситуации не встретятся, поэтому вам достаточно запомнить только формулу для вероятности, которая дана выше. Ниже приведено несколько примеров вычисления вероятности исходов простых событий.

Вероятность нескольких событий

Пускай есть не одна монета, а три. И мы подбрасываем их одновременно. Мы уже знаем, что для каждой монеты вероятность выпадения орла или решки равна 1/2. А чему равна вероятность того, что на всех трех монетах сразу выпадет орел? А хотя бы на одной? Можем просто посчитать по известной нам формуле. При подбрасывании трех монет возможно всего 8 исходов: ооо, оор, оро, орр, роо, рор, рро, ррр (кстати, посчитать количество способов очень быстро поможет комбинаторика, но об этом дальше). Выпадение на всех трех монетах орла — это 1 исход. Получается, вероятность равна 1/8. А выпадение хотя бы на одной орла — это 7 исходов (все ситуации, кроме ррр). Как видите, такой способ считать вероятность составных событий не очень удачный. В теории вероятности есть правила, которые позволяют избежать таких сложностей.

События происходят одновременно

Если необходимо найти вероятность И первого, И второго, И третьего … событий (т.е. вероятность одновременного выполнения исходов), то вероятности перемножаются. Вернемся к примеру с подбрасыванием трех монет. Вероятность выпадения орла на каждой монете отдельно равна 1/2, значит, вероятность одновременного выполнения этих трех событий равна 1/2 × 1/2 × 1/2 = 1/8.

Должно произойти хотя бы одно из нескольких событий

Если необходимо найти вероятность ИЛИ первого, ИЛИ второго, ИЛИ третьего … событий (т.е. вероятность выполнения хотя бы исходов), то вероятности складываются. Это правило хорошо иллюстрируется тем, как мы считали вероятность того, что орел выпадет хотя бы на одной монете. Вероятность каждого из исходов (ооо, оор, оро, орр, роо, рор, рро, ррр) была равна 1/8, а всего их 7. Складываем 1/8 7 раз и получаем 7/8.

Теперь же поговорим о самом вероятностном подходе к измерению информации.

Вероятностный подход к измерению информации

Выше было сказано, что теория вероятности и теория информации тесно связаны. На самом деле, когда мы узнаем о выполнении какого-то события, мы получаем определенную информацию, которую можно измерить. Чем менее вероятно событие, тем более «ценно» оно с точки зрения информации. Редкое событие несет больше информации, и наоборот, частое, вероятное событие — меньше. Более подробно вам расскажут об этом в вузе на любом техническом направлении, а для решения задания ЕГЭ достаточно знать только одну формулу, которая связывает вероятность события с количеством информации, которое оно несет:

\(2^{i} = \frac{1}{p}\)

Здесь p — вероятность события, а i — количество информации (в бит). Такой подход к изменению информации называется вероятностным. В дополнение к нему есть другой подход, называемый алфавитным (про алфавитный подход см. теорию «Хранение и передача информации в компьютере»).