Википедия

Информационная энтропия: различия между версиями

Интерактивная навигация по истории
[непроверенная версия][непроверенная версия]
← Предыдущая правкаСледующая правка →
Содержимое удалено Содержимое добавлено
ВизуальныйВики-текст
срчвр
ыфвпыип
Строка 2:
<!-- порядок следования частей будет меняться -->
 
: Исторический факт. В английском парламенте никогда не было представителей коренного населения колоний. За одним исключением. В оном парламенте заседали представители новозеландских Маори. Это племя отличалось агрессивностью и специфическими кулинарными пристрастиями, поэтому война Британии с ними была долгой и тяжелой, а мир был заключен ну на очень почетных для Маори условиях. Вплоть до своих представителей в парламенте метрополии. <br />Короче, надо быть людоедом, чтобы англичане признали тебя за равного.
: <math>(-\log_2 p_i)</math> означает измеряемое в [[бит]]ах [[количество информации]], содержащейся в том событии, что случайная величина приняла значение <math>x_i</math> (для предложений на русском языке — количество информации, содержащейся в конкретной букве, имеющей номер ''<math>i</math>'' в русском алфавите, <math>i=1,...33</math>),
 
полученный функционал будет обладать несколько иными свойствами (см. [[дифференциальная энтропия]]).
: <math>H(x)</math> — количество информации, которое '''в среднем''' приходится на одно событие (для предложений на русском языке — количество информации в среднем на одну букву).
 
Эта величина также называется '''''средней энтропией сообщения''''' и означает измеряемое в битах среднее количество [[Информация|информации]] на символ передаваемого сообщения. Величина <math>H_{i} = -\log_2{p_i}</math> называется '''''частной энтропией''''', характеризующей только <math>i</math>-e состояние.
 
Таким образом, энтропия системы <math>x</math> является суммой с противоположным знаком всех относительных частотностей появления состояния (события) с номером <math>i</math>, умноженных на их же [[Двоичный логарифм|двоичные логарифмы]]<ref> Данное представление удобно для работы с информацией, представленной в двоичной форме; в общем случае основание логарифма может быть другим.</ref>. Это определение для дискретных случайных событий можно формально расширить для непрерывных распределений, заданных [[Плотность вероятности|плотностью распределения вероятностей]], однако полученный функционал будет обладать несколько иными свойствами (см. [[дифференциальная энтропия]]).
 
В общем случае, основание логарифма в определении энтропии может быть любым, большим 1 (так как алфавитом, состоящим только из одного символа, нельзя передавать информацию); выбор основания логарифма определяет единицу измерения энтропии. Для информационных систем, основанных на двоичной системе счисления, единицей измерения информационной энтропии (собственно, информации) является [[бит]]. В задачах математической статистики более удобным может оказаться применение [[Натуральный логарифм|натурального логарифма]], в этом случае единицей измерения информационной энтропии является [[Нат (теория информации)|нат]].
Источник — https://ru.wikipedia.org/wiki/Информационная_энтропия