Энтропия Цаллиса
В статистической термодинамике энтропия Цаллиса — обобщение стандартной энтропии Больцмана—Гиббса, предложенное Константино Цаллисом (Constantino Tsallis)[1] в 1988 г. для случая неэкстенсивных (неаддитивных) систем. Его гипотеза базируется на предположении, что сильное взаимодействие в термодинамически аномальной системе приводит к новым степеням свободы, к совершенно иной статистической физике небольцмановского типа.
Определение и основные сведения
[править | править код]Пусть — распределение вероятностей и — любая мера на , для которой существует абсолютно непрерывная относительно функция . Тогда энтропия Цаллиса определяется как
В частности, для дискретной системы, находящейся в одном из доступных состояний с распределением вероятностей ,
- .
В случае лебеговой меры , т.е. когда — непрерывное распределение с плотностью , заданной на множестве ,
- .
В этих формулах — некоторая положительная константа, которая определяет единицу измерения энтропии и в физических формулах служит для связки размерностей, как, например, постоянная Больцмана. С точки зрения задачи оптимизации энтропии данная константа является несущественной, поэтому для простоты часто полагают .
Параметр — безразмерная величина (), которая характеризует степень неэкстенсивности (неаддитивности) рассматриваемой системы. В пределе при , энтропия Цаллиса сходится к энтропии Больцмана—Гиббса. При энтропия Цаллиса является вогнутым функционалом от распределения вероятностей и, как обычная энтропия, достигает максимума при равномерном распределении. При функционал является выпуклым и при равномерном распределении достигает минимума. Поэтому для поиска равновесного состояния изолированной системы при энтропию Цаллиса нужно максимизировать, а при — минимизировать[2]. Значение параметра — это вырожденный случай энтропии Цаллиса, когда она не зависит от , а зависит лишь от , т.е. от размера системы (от в дискретном случае).
В непрерывном случае иногда требуют, чтобы носитель случайной величины был безразмерным[3]. Это обеспечивает корректность функционала энтропии с точки зрения размерности.
Исторически первыми выражение для энтропии Цаллиса (точнее, для частного её случая при ) получили Дж. Хаврда и Ф. Чарват (J. Havrda and F. Charvát)[4] в 1967 г. Вместе с тем при энтропия Цаллиса является частным случаем f-энтропии[5] (при f-энтропией является величина, противоположная энтропии Цаллиса).
Некоторые соотношения
[править | править код]Энтропия Цаллиса может быть получена из стандартной формулы для энтропии Больцмана—Гиббса путём замены используемой в ней функции на функцию
— так называемый q-деформированный логарифм или просто q-логарифм (в пределе при совпадающий с логарифмом)[6]. К. Цаллис использовал[7] несколько иную формулу q-логарифма, которая сводится к приведённой здесь заменой параметра на .
Ещё один способ[7] получить энтропию Цаллиса основан на соотношении, справедливом для энтропии Больцмана—Гиббса:
- .
Нетрудно видеть, что если заменить в этом выражении обычную производную на q-производную (известную также как производная Джексона), получается энтропия Цаллиса:
- .
Аналогично для непрерывного случая:
- .
Альтернативное определение
[править | править код]Оригинальное определение энтропии Цаллиса является не очень удачным из-за необходимости по-разному работать с функционалом в зависимости от знака , а также из-за того, что при не выполняется базовое свойство возрастания энтропии при приближении системы к равновесному состоянию. В связи с этим более удобным является следующее определение энтропии Цаллиса, известное также как α-энтропия[8], являющаяся частным случаем f-энтропии:
α-энтропия в пределе при с точностью до несущественного слагаемого эквивалентна энтропии Берга
Нетрудно видеть, что оригинальное и альтернативное определение энтропии Цаллиса эквивалентны с точностью до значения , кроме случая .
Неэкстенсивность (неаддитивность)
[править | править код]Пусть имеются две независимых системы и , т.е. такие системы, что в дискретном случае совместная вероятность появления двух любых состояний и в этих системах равна произведению соответствующих вероятностей:
- ,
а в непрерывном — совместная плотность распределения вероятностей равна произведению соответствующих плотностей:
- ,
где , — области значений случайной величины в системах и соответственно.
В отличие от энтропии Больцмана—Гиббса и энтропии Реньи, энтропия Цаллиса, вообще говоря, не обладает аддитивностью, и для совокупности систем справедливо[7]
- .
Поскольку условие аддитивности для энтропии имеет вид
- ,
отклонение параметра от характеризует неэкстенсивность (неаддитивность) системы. Энтропия Цаллиса является экстенсивной только при .
Дивергенция Цаллиса
[править | править код]Наряду с энтропией Цаллиса, рассматривают также семейство несимметричных мер расхождения (дивергенций) Цаллиса между распределениями вероятностей с общим носителем. Для двух дискретных распределений с вероятностями и , , дивергенция Цаллиса определяется как[9]
- .
В непрерывном случае, если распределения и заданы плотностями и соответственно, где ,
- .
В отличие от энтропии Цаллиса, дивергенция Цаллиса определена при . Несущественная положительная константа в этих формулах, как и для энтропии, задаёт единицу измерения дивергенции и часто опускается (полагается равной ). Дивергенция Цаллиса является частным случаем α-дивергенции[10] (с точностью до несущественной мультипликативной константы) и, как α-дивергенция, является выпуклой по обоим аргументам при всех . Дивергенция Цаллиса также является частным случаем f-дивергенции. α-дивергенция может служить обобщением дивергенции Цаллиса на все .
Дивергенция Цаллиса может быть получена из формулы для дивергенции Кульбака—Лейблера путём подстановки в неё q-деформированного логарифма, определённого выше, вместо функции . В пределе при дивергенция Цаллиса сходится к дивергенции Кульбака—Лейблера.
Связь формализмов Реньи и Цаллиса
[править | править код]Энтропия Реньи и энтропия Цаллиса эквивалентны[9][11] с точностью до монотонного преобразования, не зависящего от распределения состояний системы. То же касается соответствующих дивергенций. Рассмотрим, к примеру, энтропию Реньи для системы с дискретным набором состояний :
- , .
Дивергенция Реньи для дискретных распределений с вероятностями и , :
- , .
В этих формулах положительная константа имеет тот же смысл, что и в формализме Цаллиса.
Нетрудно видеть, что
- ,
- ,
где функция
определена на всей числовой оси и непрерывно возрастает по (при полагаем ). Приведённые соотношения имеют место и в непрерывном случае.
Несмотря на наличие этой связи, следует помнить, что функционалы в формализмах Реньи и Цаллиса обладают разными свойствами:
- энтропия Цаллиса, вообще говоря, не аддитивна, тогда как энтропия Реньи аддитивна при всех (при подразумевается обобщённое выражение для энтропии Реньи);
- энтропия и дивергенция Цаллиса являются вогнутыми или выпуклыми (кроме ), тогда как энтропия и дивергенция Реньи, вообще говоря, не обладают ни тем, ни другим свойством[12].
Примечания
[править | править код]- ↑ Tsallis, C. Possible generalization of Boltzmann-Gibbs statistics (англ.) // Journal of Statistical Physics[англ.] : journal. — 1988. — Vol. 52. — P. 479—487. — doi:10.1007/BF01016429. — .
- ↑ Зарипов Р. Г. Новые меры и методы в теории информации. — Казань: Изд-во Казан. гос. техн. ун-та, 2005. — 364 с. Архивировано 18 мая 2021 года.
- ↑ Plastino A., Plastino A. R. Tsallis Entropy and Jaynes' Information Theory Formalism // Brazilian Journal of Physics. — 1999. — Т. 29. — С. 1—35. Архивировано 12 мая 2021 года.
- ↑ Havrda, J.; Charvát, F. Quantification method of classification processes. Concept of structural α-entropy (англ.) // Kybernetika : journal. — 1967. — Vol. 3, no. 1. — P. 30—35. Архивировано 10 декабря 2020 года.
- ↑ Csiszár I. A class of measures of informativity of observation channels. // Periodica Math. Hungar. — 1972. — Т. 2. — С. 191—213.
- ↑ Oikonomou T., Bagci G. B. A note on the definition of deformed exponential and logarithm functions // Journal of Mathematical Physics. — 2009. — Т. 50, вып. 10. — С. 1—9. Архивировано 12 мая 2021 года.
- ↑ 1 2 3 Tsallis C. Nonextensive statistics: Theoretical, experimental and computational evidences and connections // Brazilian Journal of Physics. — 1999. — Т. 29, вып. 1. — С. 53. Архивировано 12 мая 2021 года.
- ↑ Cichocki A., Amari S.-I. Families of alpha- beta- and gamma-divergences: flexible and robust measures of similarities // Entropy. — 2010. — Т. 12, вып. 6. — С. 1532—1568. Архивировано 11 апреля 2023 года.
- ↑ 1 2 Nielsen F., Nock R. On Renyi and Tsallis entropies and divergences for exponential families // arXiv:1105.3259. — 2011. — С. 1—7. Архивировано 12 мая 2021 года.
- ↑ Waters A. Alpha divergence // STAT 631 / ELEC 633:Graphical Models. — Rice Univercity, 2008. — С. 1—4. Архивировано 25 февраля 2021 года.
- ↑ Sonnino G., Steinbrecher G.Sonnino A. The Rényi entropy of Lévy distribution // Physics AUC. — 2013. — Т. 23. — С. 10—17. Архивировано 2 февраля 2019 года.
- ↑ Xu D., Erdogmuns D. Renyi’s Entropy, Divergence and Their Nonparametric Estimator // J.C. Principe, Information Theoretic Learning: Renyi’s Entropy and Kernel Perspectives. — Springer Science+Business Media, LLC, 2010. — С. 47—102. Архивировано 2 февраля 2019 года.