в данной работе проведено практический расчёт численного определения информации, содержащегося в сообщении.
количество информации, численное определение количества информации, неопределённость
Для данной работы был выбран случайный текст из интернета [1].
«
Сын известного революционера, военачальника, инженера и математика Лазара Карно, старший брат политического деятеля Ипполита Карно и дядя названного в его честь Сади Карно, в 1887-1894 годах президента Франции. Лазар Карно дал сыну третье имя (под которым он и вошёл в историю) в честь персидского поэта-суфия Саади Ширази.
Сади Карно получил хорошее домашнее образование: в 1812 году блестяще окончил лицей Карла Великого и поступил в Политехническую школу в Париже - лучшее на тот момент учебное заведение Франции, в числе преподавателей которого были Андре-Мари Ампер, Франсуа Араго, Жозеф Луи Гей-Люссак, Луи-Жак Тенар и Симеон Дени Пуассон. Среди одноклассников Карно были Мишель Шаль и Гаспар-Гюстав Кориолис. В 1814 году он окончил Парижскую Политехнику шестым по успеваемости и был направлен в Инженерную школу в городе Мец, после завершения которой в 1816 году был распределён в инженерный полк, где провёл несколько лет. За это время случились «Сто дней» Наполеона Бонапарта, назначившего отца Карно министром внутренних дел после окончательного поражения императора и возвращения монархии Людовика 18; в 1815 году Лазар Карно был вынужден покинуть страну.
Сыну деятеля Великой французской революции и создателя Французской революционной армии нелегко приходилось в годы реставрации Бурбонов, а его многочисленные отчёты по инспектированию фортификационных сооружений попросту игнорировались, но в 1819 году он выиграл конкурс на замещение вакансии в Главном штабе корпуса в Париже и перебрался туда. В Париже Карно продолжил обучение: посещал лекции в Сорбонне, Коллеж де Франс, Консерватории Искусств и Ремёсел. Там он познакомился с химиком Николя Клеманом, занимавшимся изучением газов. Общение с ним вызвало у Карно интерес к изучению паровых машин.
И в 1824 году вышла первая и единственная работа Сади Карно-«Размышления о движущей силе огня и о машинах, способных развивать эту силу». Эта работа считается основополагающей в термодинамике. В ней был произведён анализ существовавших в то время паровых машин и были выведены условия, при которых КПД достигает максимального значения.
»
Расчёт энтропии источника
Таблица 1. Расчёт энтропии источника.
№ п/п Символ Код символа Число вхождений символа в текст Вероятность вхождения символа(p) Ii pi*Ii
1 0 48 0 0 0
2 1 49 14 0,006666667 7,22881869 0,048192
3 2 50 2 0,000952381 10,03617361 0,009558
4 3 51 0 0 0
5 4 52 3 0,001428571 9,451211112 0,013502
6 5 53 1 0,00047619 11,03617361 0,005255
7 6 54 1 0,00047619 11,03617361 0,005255
8 7 55 1 0,00047619 11,03617361 0,005255
9 8 56 10 0,004761905 7,714245518 0,036735
10 9 57 2 0,000952381 10,03617361 0,009558
11 . 46 13 0,006190476 7,335733894 0,045412
12 , 44 18 0,008571429 6,866248611 0,058854
13 : 58 2 0,000952381 10,03617361 0,009558
14 ; 59 1 0,00047619 11,03617361 0,005255
15 - 45 8 0,003809524 8,036173613 0,030614
16 32 296 0,140952381 2,826720247 0,398433
17 ( 40 2 0,000952381 10,03617361 0,009558
18 а 224 152 0,072380952 3,788246099 0,274197
19 б 225 22 0,01047619 6,576741994 0,068899
20 в 226 79 0,037619048 4,732392864 0,178028
21 г 227 34 0,016190476 5,948710771 0,096312
22 д 228 46 0,021904762 5,512611656 0,120752
23 е 229 140 0,066666667 3,906890596 0,260459
24 ё 184 6 0,002857143 8,451211112 0,024146
25 ж 230 15 0,007142857 7,129283017 0,050923
26 з 231 29 0,013809524 6,178192617 0,085318
27 и 232 153 0,072857143 3,77878577 0,275312
28 й 233 15 0,007142857 7,129283017 0,050923
29 к 234 61 0,029047619 5,105436275 0,148301
30 л 235 85 0,04047619 4,626782676 0,187275
31 м 236 43 0,02047619 5,609908858 0,11487
32 н 237 131 0,062380952 4,002750611 0,249695
33 о 238 179 0,085238095 3,552357835 0,302796
34 п 239 52 0,024761905 5,335733894 0,132123
35 р 240 103 0,049047619 4,349673085 0,213341
36 с 241 85 0,04047619 4,626782676 0,187275
37 т 242 69 0,032857143 4,927649156 0,161908
38 у 243 47 0,022380952 5,481584761 0,122683
39 ф 244 10 0,004761905 7,714245518 0,036735
40 х 245 15 0,007142857 7,129283017 0,050923
41 ц 246 13 0,006190476 7,335733894 0,045412
42 ч 247 21 0,01 6,64385619 0,066439
43 ш 248 21 0,01 6,64385619 0,066439
44 щ 249 8 0,003809524 8,036173613 0,030614
45 ъ 250 0 0 0
46 ы 251 28 0,013333333 6,22881869 0,083051
47 ь 252 14 0,006666667 7,22881869 0,048192
48 э 253 4 0,001904762 9,036173613 0,017212
49 ю 254 13 0,006190476 7,335733894 0,045412
50 я 255 26 0,012380952 6,335733894 0,078442
2100 0,996666667 6,897191003
↑Всего символов в тексте(K) ↑Полная вероятность ↑Энтропия источника(Iср)
Сравнение алфавитов
Таблица 2. Сравнение алфавитов
Кодовая таблица Кол-во символов Неопределённость Разрядность Абсолютная избыточность Относительная избыточность
Стандартная кодовая таблица ASCII 128 7 7 - 0,48958391 -0,086746348
Созданная таблица 50 5,64385619 6 -1,253334813 -0,22207065
Рабочие формулы [2]
P_i=k_i/K,
где Pi – вероятность вхождения символа в текст; ki – число вхождения символов в текст; K – количество символов в тексте.
I_i=-log_2〖(1/p_i )=log_2〖p_i 〗 〗,
где Ii – количество информации.
I_ср=∑▒〖p_i (-log_2〖p_i 〗 )=H〗,
где Iср – энтропия источника; H – энтропия.
H_max〖=log_2N,〗
где Hmax – максимально возможное количество информации; N – количество символов в таблице.
D_abc=H_max-H,
где Dabc – абсолютная избыточность.
D=(H_max-H)/H_max ,
где D – относительная избыточность.
Выводы
Неопределённость в данном случае равна разрядности кодовой таблицы.
Разрядность кодовой таблицы-целое число, ибо разрядность – это количество ячеек, равное 2^n (n-натуральное число).
Абсолютная и относительная избыточности созданной кодовой таблицы отрицательны, ибо используются не все ячейки для кодирования
Полная вероятность при расчётах получилась с большой степенью точности равной 1
1. Гномья сортировка: [Электронный ресурс] https://knigogid.ru/authors/559007-sadi-karno (Дата обращения: 18.01.2022)
2. Яшин, В.М. Информатика: аппаратные средства персонального компьютера: Учебное пособие / В.М. Яшин. - М.: Инфра-М, 2018
