Информационная энтропия: различия между версиями

Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной [[частотность|частотностью]]ю, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии <math>n</math>-го порядка, см. [[#Условная энтропия|ниже]]) встречаются очень редко, то неопределённость уменьшается еще сильнее.

: <math>I = \log_2 N</math>,

где <math>N</math> — [[Мощность множества|мощность]] алфавита, <math>I</math> — количество информации в каждом символе сообщения. Для случайной величины <math>x</math>, принимающей <math>n</math> независимых случайных значений <math>x_i</math> с вероятностями <math>p_i</math> (<math>i=1,...n</math>), формула Хартли переходит в формулу Шеннона:

: <math>H(x)=-\sum_{i=1}^np_i\log_2 p_i.</math>

Здесь: <math>(-\log_2 p_i)</math> означает измеряемое в битах[[бит]]ах [[количество информации]], содержащейся в том событии, что случайная величина приняла значение <math>x_i</math> (для предложений на русском языке - — количество информации, содержащейся в конкретной букве, имеющей номер ''<math>i</math>'' в русском алфавите, <math>i=1,...33</math>),

а: <math>H(x)</math> означает — количество информации, которое '''в среднем''' приходится на одно событие (для предложений на русском языке - — количество информации, которое '''в среднем''' содержится вна однойодну буквебукву).

Эта величина также называется '''''средней энтропией сообщения''''' и означает измеряемое в битах среднее количество [[Информация|информации]] на символ передаваемого сообщения. Величина <math>H_{i} = -\log_2{p_i}</math> называется '''''частной энтропией''''', характеризующей только <math>i</math>-e состояние.

В [[1948  год]]у, исследуя проблему рациональной передачи информации через зашумлённый коммуникационный канал, [[Шеннон, Клод Элвуд|Клод Шеннон]] предложил революционный вероятностный подход к пониманию коммуникаций и создал первую, истинно математическую, теорию [[Термодинамическая энтропия|энтропии]]. Его сенсационные идеи быстро послужили основой разработки двух основных направлений: [[теория информации|теории информации]], которая использует понятие [[вероятность|вероятности]] и [[эргодическая теория|эргодическую теорию]] для изучения статистических характеристик данных и коммуникационных систем, и [[теория кодирования|теории кодирования]], в которой используются главным образом алгебраические и геометрические инструменты для разработки эффективных кодов.

Понятие энтропии как меры случайности введено Шенноном в его статье «[[Математическая теория связи (статья)|Математическая теория связи]]» ({{lang-en|A Mathematical Theory of Communication}}), опубликованной в двух частях в [[Bell System Technical Journal]] в 1948  году.

== СсылкиПримечания ==

* {{книга|автор=Шеннон К.|заглавие=Работы по теории информации и кибернетике|место={{М.}}|издательство=Изд.[[Издательство иностр.иностранной лит.литературы]]|год=2002|}}

* {{книга | автор= Martin, Nathaniel F.G. & England, James W. | заглавие= Mathematical Theory of Entropy | издательство = [[Cambridge University Press]] | год = 2011 | isbn = 978-0-521-17738-2 | ref = Martin, England}}

* {{статья|автор=[[Хинчин, Александр Яковлевич|Хинчин А. Я.]] |ссылка=http://www.mathnet.ru/php/archive.phtml?wshow=paper&jrnid=rm&paperid=8203&option_lang=rus |заглавие=Понятие энтропии в теории вероятностей |издание=[[Успехи математических наук]] |год=1953 |том=8 |выпуск=3(55) |страницы=3—20 |язык=ru |издательство=[[Математический институт имени В. А. Стеклова РАН|Российская академия наук]] }}

* {{книга|автор=Верещагин Н. К., Щепин Е. В.|заглавие=Информация, кодирование и предсказание|издательство=ФМОП, МЦНМО|место=М.|год=2012|страниц=238|isbn=978-5-94057-920-5}}