Информационная энтропия: различия между версиями
[непроверенная версия] | [отпатрулированная версия] |
Содержимое удалено Содержимое добавлено
→Формальные определения: Вместо "Эта величина также называется средней энтропией сообщения." поставил "Эта величина также называется средней энтропией сообщения и означает количество информации на символ передаваемого сообщения." |
QBA-bot (обсуждение | вклад) м откат правок Метка: откат |
||
(не показано 9 промежуточных версий 6 участников) | |||
Строка 3:
'''Информацио́нная энтропи́я''' — мера неопределённости некоторой системы (в [[статистическая физика|статистической физике]] или [[теория информации|теории информации]]), в частности, непредсказуемость появления какого-либо символа [[первичный алфавит|первичного алфавита]]. В последнем случае при отсутствии информационных потерь энтропия численно равна количеству [[информация|информации]] на символ передаваемого сообщения.
Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной [[частотность
== Формальные определения ==
Информационная '''двоичная энтропия''', при отсутствии информационных потерь, рассчитывается по [[Формула Хартли|формуле Хартли]]:
: <math>I = \log_2 N</math>,
где <math>N</math> — [[Мощность множества|мощность]] алфавита, <math>I</math> — количество информации в каждом символе сообщения. Для случайной величины <math>x</math>, принимающей <math>n</math> независимых случайных значений <math>x_i</math> с вероятностями <math>p_i</math> (<math>i=1,...n</math>), формула Хартли переходит в формулу Шеннона:
: <math>H(x)=-\sum_{i=1}^np_i\log_2 p_i.</math>
Здесь
Эта величина также называется '''''средней энтропией сообщения''''' и означает измеряемое в битах среднее количество [[Информация|информации]] на символ передаваемого сообщения. Величина <math>H_{i} = -\log_2{p_i}</math> называется '''''частной энтропией''''', характеризующей только <math>i</math>-e состояние.
Таким образом, энтропия системы <math>x</math> является суммой с противоположным знаком всех относительных частотностей появления состояния (события) с номером <math>i</math>, умноженных на их же [[Двоичный логарифм|двоичные логарифмы]]<ref> Данное представление удобно для работы с информацией, представленной в двоичной форме; в общем случае основание логарифма может быть другим.</ref>. Это определение для дискретных случайных событий можно формально расширить для непрерывных распределений, заданных [[Плотность вероятности|плотностью распределения вероятностей]], однако полученный функционал будет обладать несколько иными свойствами (см. [[дифференциальная энтропия]]).
Строка 154 ⟶ 155 :
== История ==
В [[1948
Понятие энтропии как меры случайности введено Шенноном в его статье «[[Математическая теория связи (статья)|Математическая теория связи]]» ({{lang-en|A Mathematical Theory of Communication}}), опубликованной в двух частях в [[Bell System Technical Journal]] в 1948
{{примечания}}▼
== См. также ==
Строка 168 ⟶ 166 :
* [[Расстояние Кульбака — Лейблера]]
==
▲{{примечания}}
* [[Шеннон, Клод Элвуд|Shannon Claude E.]] [http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html A Mathematical Theory of Communication] {{Wayback|url=http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html |date=19980131083455 }}{{ref-en}}▼
* Коротаев С. М. [https://web.archive.org/web/20070613154632/http://www.chronos.msu.ru/RREPORTS/korotaev_entropia/korotaev_entropia.htm Энтропия и информация — универсальные естественнонаучные понятия].▼
== Литература ==
* {{книга|автор=Шеннон К.|заглавие=Работы по теории информации и кибернетике|место={{М.}}|издательство=
* {{книга|автор=Волькенштейн М. В.|заглавие=Энтропия и информация|место={{М.}}|издательство=Наука|год=2006|}}
* {{книга|автор=Цымбал В. П.|заглавие=Теория информации и кодирование|место={{К.}}|издательство=Вища Школа|год=2003|}}
* {{книга | автор= Martin, Nathaniel F.G. & England, James W. | заглавие= Mathematical Theory of Entropy | издательство = [[Cambridge University Press]] | год = 2011 | isbn = 978-0-521-17738-2 | ref = Martin, England}}
* {{книга|автор=Шамбадаль П.|заглавие=Развитие и приложение понятия энтропии|место=М.|издательство=Наука|год=1967|страниц=280}}
* {{книга|автор=Мартин Н., Ингленд Дж.|заглавие=Математическая теория энтропии|место=М.|издательство=Мир|год=1988|страниц=350}}
* {{статья|автор=[[Хинчин, Александр Яковлевич|Хинчин А. Я.]] |ссылка=http://www.mathnet.ru/php/archive.phtml?wshow=paper&jrnid=rm&paperid=8203&option_lang=rus |заглавие=Понятие энтропии в теории вероятностей |издание=[[Успехи математических наук]] |год=1953 |том=8 |выпуск=3(55) |страницы=3—20 |язык=ru |издательство=[[Математический институт имени В. А. Стеклова РАН|Российская академия наук]] }}
* {{книга|автор=Брюллюэн Л.|заглавие=Наука и теория информации|место=М.|год=1960}}
* {{книга|автор=[[Винер, Норберт|Винер Н.]]|заглавие=Кибернетика и общество|место=М.|год=1958}}
Строка 187 ⟶ 184 :
* {{книга|автор=[[Яглом, Акива Моисеевич|Яглом А. М.]], [[Яглом, Исаак Моисеевич|Яглом И. М.]]|заглавие=Вероятность и информация|место=М.|год=1973}}
* {{книга|автор=Волькенштейн М. В.|заглавие=Энтропия и информация|место=М.|издательство=Наука|год=1986|страниц=192}}
* {{книга|автор=Верещагин Н. К., Щепин Е. В.|заглавие=Информация, кодирование и предсказание|издательство=ФМОП, МЦНМО|место=М.|год=2012|страниц=238|isbn=978-5-94057-920-5}}
== Ссылки ==
▲* [[Шеннон, Клод Элвуд|Shannon Claude E.]] [http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html A Mathematical Theory of Communication] {{Wayback|url=http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html |date=19980131083455 }}{{ref-en}}
▲* Коротаев С. М. [https://web.archive.org/web/20070613154632/http://www.chronos.msu.ru/RREPORTS/korotaev_entropia/korotaev_entropia.htm Энтропия и информация — универсальные естественнонаучные понятия].
{{внешние ссылки}}
[[Категория:Теория информации]]
[[Категория:Кибернетика]]
|