In this paper, a practical calculation of the numerical definition of the information contained in the message is carried out.
quantity of information, numerical determination of the quantity of information, uncertainty
Для данной работы был выбран случайный текст из интернета [1].
«
Сын известного революционера, военачальника, инженера и математика Лазара Карно, старший брат политического деятеля Ипполита Карно и дядя названного в его честь Сади Карно, в 1887-1894 годах президента Франции. Лазар Карно дал сыну третье имя (под которым он и вошёл в историю) в честь персидского поэта-суфия Саади Ширази.
Сади Карно получил хорошее домашнее образование: в 1812 году блестяще окончил лицей Карла Великого и поступил в Политехническую школу в Париже - лучшее на тот момент учебное заведение Франции, в числе преподавателей которого были Андре-Мари Ампер, Франсуа Араго, Жозеф Луи Гей-Люссак, Луи-Жак Тенар и Симеон Дени Пуассон. Среди одноклассников Карно были Мишель Шаль и Гаспар-Гюстав Кориолис. В 1814 году он окончил Парижскую Политехнику шестым по успеваемости и был направлен в Инженерную школу в городе Мец, после завершения которой в 1816 году был распределён в инженерный полк, где провёл несколько лет. За это время случились «Сто дней» Наполеона Бонапарта, назначившего отца Карно министром внутренних дел после окончательного поражения императора и возвращения монархии Людовика 18; в 1815 году Лазар Карно был вынужден покинуть страну.
Сыну деятеля Великой французской революции и создателя Французской революционной армии нелегко приходилось в годы реставрации Бурбонов, а его многочисленные отчёты по инспектированию фортификационных сооружений попросту игнорировались, но в 1819 году он выиграл конкурс на замещение вакансии в Главном штабе корпуса в Париже и перебрался туда. В Париже Карно продолжил обучение: посещал лекции в Сорбонне, Коллеж де Франс, Консерватории Искусств и Ремёсел. Там он познакомился с химиком Николя Клеманом, занимавшимся изучением газов. Общение с ним вызвало у Карно интерес к изучению паровых машин.
И в 1824 году вышла первая и единственная работа Сади Карно-«Размышления о движущей силе огня и о машинах, способных развивать эту силу». Эта работа считается основополагающей в термодинамике. В ней был произведён анализ существовавших в то время паровых машин и были выведены условия, при которых КПД достигает максимального значения.
»
Расчёт энтропии источника
Таблица 1. Расчёт энтропии источника.
№ п/п Символ Код символа Число вхождений символа в текст Вероятность вхождения символа(p) Ii pi*Ii
1 0 48 0 0 0
2 1 49 14 0,006666667 7,22881869 0,048192
3 2 50 2 0,000952381 10,03617361 0,009558
4 3 51 0 0 0
5 4 52 3 0,001428571 9,451211112 0,013502
6 5 53 1 0,00047619 11,03617361 0,005255
7 6 54 1 0,00047619 11,03617361 0,005255
8 7 55 1 0,00047619 11,03617361 0,005255
9 8 56 10 0,004761905 7,714245518 0,036735
10 9 57 2 0,000952381 10,03617361 0,009558
11 . 46 13 0,006190476 7,335733894 0,045412
12 , 44 18 0,008571429 6,866248611 0,058854
13 : 58 2 0,000952381 10,03617361 0,009558
14 ; 59 1 0,00047619 11,03617361 0,005255
15 - 45 8 0,003809524 8,036173613 0,030614
16 32 296 0,140952381 2,826720247 0,398433
17 ( 40 2 0,000952381 10,03617361 0,009558
18 а 224 152 0,072380952 3,788246099 0,274197
19 б 225 22 0,01047619 6,576741994 0,068899
20 в 226 79 0,037619048 4,732392864 0,178028
21 г 227 34 0,016190476 5,948710771 0,096312
22 д 228 46 0,021904762 5,512611656 0,120752
23 е 229 140 0,066666667 3,906890596 0,260459
24 ё 184 6 0,002857143 8,451211112 0,024146
25 ж 230 15 0,007142857 7,129283017 0,050923
26 з 231 29 0,013809524 6,178192617 0,085318
27 и 232 153 0,072857143 3,77878577 0,275312
28 й 233 15 0,007142857 7,129283017 0,050923
29 к 234 61 0,029047619 5,105436275 0,148301
30 л 235 85 0,04047619 4,626782676 0,187275
31 м 236 43 0,02047619 5,609908858 0,11487
32 н 237 131 0,062380952 4,002750611 0,249695
33 о 238 179 0,085238095 3,552357835 0,302796
34 п 239 52 0,024761905 5,335733894 0,132123
35 р 240 103 0,049047619 4,349673085 0,213341
36 с 241 85 0,04047619 4,626782676 0,187275
37 т 242 69 0,032857143 4,927649156 0,161908
38 у 243 47 0,022380952 5,481584761 0,122683
39 ф 244 10 0,004761905 7,714245518 0,036735
40 х 245 15 0,007142857 7,129283017 0,050923
41 ц 246 13 0,006190476 7,335733894 0,045412
42 ч 247 21 0,01 6,64385619 0,066439
43 ш 248 21 0,01 6,64385619 0,066439
44 щ 249 8 0,003809524 8,036173613 0,030614
45 ъ 250 0 0 0
46 ы 251 28 0,013333333 6,22881869 0,083051
47 ь 252 14 0,006666667 7,22881869 0,048192
48 э 253 4 0,001904762 9,036173613 0,017212
49 ю 254 13 0,006190476 7,335733894 0,045412
50 я 255 26 0,012380952 6,335733894 0,078442
2100 0,996666667 6,897191003
↑Всего символов в тексте(K) ↑Полная вероятность ↑Энтропия источника(Iср)
Сравнение алфавитов
Таблица 2. Сравнение алфавитов
Кодовая таблица Кол-во символов Неопределённость Разрядность Абсолютная избыточность Относительная избыточность
Стандартная кодовая таблица ASCII 128 7 7 - 0,48958391 -0,086746348
Созданная таблица 50 5,64385619 6 -1,253334813 -0,22207065
Рабочие формулы [2]
P_i=k_i/K,
где Pi – вероятность вхождения символа в текст; ki – число вхождения символов в текст; K – количество символов в тексте.
I_i=-log_2〖(1/p_i )=log_2〖p_i 〗 〗,
где Ii – количество информации.
I_ср=∑▒〖p_i (-log_2〖p_i 〗 )=H〗,
где Iср – энтропия источника; H – энтропия.
H_max〖=log_2N,〗
где Hmax – максимально возможное количество информации; N – количество символов в таблице.
D_abc=H_max-H,
где Dabc – абсолютная избыточность.
D=(H_max-H)/H_max ,
где D – относительная избыточность.
Выводы
Неопределённость в данном случае равна разрядности кодовой таблицы.
Разрядность кодовой таблицы-целое число, ибо разрядность – это количество ячеек, равное 2^n (n-натуральное число).
Абсолютная и относительная избыточности созданной кодовой таблицы отрицательны, ибо используются не все ячейки для кодирования
Полная вероятность при расчётах получилась с большой степенью точности равной 1
1. Gnom'ya sortirovka: [Elektronnyy resurs] https://knigogid.ru/authors/559007-sadi-karno (Data obrascheniya: 18.01.2022)
2. Yashin, V.M. Informatika: apparatnye sredstva personal'nogo komp'yutera: Uchebnoe posobie / V.M. Yashin. - M.: Infra-M, 2018
Authors: Bayramova Aygyun Seymur kyzy
