Марк Алескер
Энтропия двоичного числа.
Со времен Клаузиуса энтропия стала научной (объективной) категорией, потому что ее стало возможно измерять. То же самое можно сказать и про информацию, но это произошло значительно позже, и связано с именем Шеннона.
Чаще всего (по Больцману) полагают, что энтропия есть мера хаоса, а информация (по Шеннону) — мера порядка. Но в таком случае не лучше было бы сразу задаться вопросом: что есть хаос, и что есть порядок?, а не изводить так много чернил на обсуждение понятий энтропии и информации — всего лишь мер для хаоса и порядка!
Обычно в термодинамике, возможно, еще до Больцмана, за меру беспорядка некоторой системы принимали (по-видимому, и до сих пор так считается) число способов, которыми можно осуществить внутренние перестройки в системе так, чтобы наблюдатель не заметил изменений макросостояния системы. Поясним это на простейшем примере (как это делается почти во всех учебниках и пр.).
Пусть есть сосуд, разделенный на две части проницаемой стенкой. В сосуде могут свободно перемещаться из одной половины в другую две частицы, обладающие одинаковой энергией (например, молекулы газа). Макросостоянием называют такую ситуацию, когда измеряются одни и те же параметры объекта, например давление частиц на стенки в каждой половине сосуда. Это давление в нашем случае зависит только от количества частиц. Тогда может существовать три разных макросостояния:
обе частицы находятся в правой половине сосуда,
обе частицы в левой половине,
одна частица в правой половине, другая — в левой.
Каждое из первых двух макросостояний может реализоваться лишь одним способом. А третье макросостояние двумя: или первая частица находится в правой половине сосуда, а вторая в левой, или наоборот.
То есть вероятность третьего макросостояния вдвое выше, чем первого или второго. Каждый отдельный способ, представляющий данное макросостояние, называют микросостоянием. А количество всех микросостояний для некоторого макросостояния называют статистическим весом данного макросостояния.
Ясно, что на опыте мы будем обнаруживать преимущественно наиболее вероятные макросостояния, то есть такие, статистический вес которых выше. При этом считается, что чем выше статистический вес наблюдаемого макросостояния, тем хаос в системе больше.
Казалось бы, все прекрасно. Однако можно показать, что, пользуясь вышеприведенными правилами, мы не всегда будем наблюдать наибольший хаос тогда, когда максимален статистический вес макросостояния. И если это действительно так, то нам придется искать иной критерий хаоса.
Начнем с того, что более наглядно представлять себе все ситуации, связанные с состоянием объектов, можно, если использовать отображение элементов некоторого объекта на поле чисел. Использовать числа и цифры всегда удобней, так как для различных подсчетов может быть привлечена математика.
Действительно, любой объект, состоящий из n элементов, каждый из которых может находиться в одном из m состояний, может быть приведен во взаимно однозначное соответствие с n–разрядным числом в m–ичной системе счисления, если некоторому элементу объекта поставить в соответствие определенный разряд числа, а некоторому состоянию — определенную цифру. Тогда конкретному состоянию объекта будет соответствовать некоторое число, и мы можем анализировать просто числа. Для упрощения вычислений в дальнейшем будем полагать число состояний равным m=2, то есть рассматриваемые нами объекты можно будет отображать на двоичные числа.
Итак, пусть имеется двоичное n–разрядное число. Цифры "0" и "1" этого числа могут быть расположены в разрядах в определенном порядке или беспорядочно. Как оценить степень беспорядоченности расположения цифр в числе?
Рассмотрим пример. Пусть имеется объект, элементы которого можно отобразить на двоичные четырехразрядные числа. Пусть макросостояние А определяется следующим образом: "два разряда находятся в состоянии 1, два других разряда — в состоянии 0". Пусть макросостояние В определяется так: "один разряд находится в состоянии 1, три других разряда — в состоянии 0".
Если теперь согласно нашим предыдущим представлениям вычислить статистический вес макросостояния А, то будет видно, что оно обладает большим весом, чем макросостояние В, так как для А имеется шесть комбинаций: 0011, 0101, 0110, 1001, 1010 и 1100, а для макросостояния В всего четыре: 0001, 0010, 01000 и 1000.
Обратим внимание на то, что в любом микросостоянии макросостояния А согласно традиционному критерию хаоса можно считать цифры 1 и 0 расположенными наиболее беспорядочно по сравнению с любым иным двоичным четырехразрядным числом, потому что веса для макросостояний, представленных другими числами, меньше шести.
Вес макросостояний, определяемых двоичными n-разрядными числами, равен числу сочетаний из n элементов по количеству нулей (или единиц), имеющемуся в этом числе. Веса для макросостояний, определяемых произвольными числами (n частиц и m состояний), можно подсчитывать по одной общей формуле, которая довольно громоздка, и поэтому здесь нет места ее приводить.
В этом примере трудно обнаружить нечто, противоречащее нашим наглядным представлениям о хаосе и порядке. Действительно, мы подсчитали какие-то числа (веса), и они нам говорят, что цифры в числе 0011 расположены более хаотично, чем в числе 0001. Возможно… Но возьмем число с большим количеством разрядов. Неужели и в нем расположение "подряд", скажем, пятисот единиц и пятисот нулей представляет собой больший беспорядок, чем некоторая комбинация нулей и единиц, расположенных в "настоящем" беспорядке? (Напомним, что комбинация с одинаковым количеством нулей и единиц обладает самым большим статистическим весом, если не принимать в расчет макросостояний более высоких уровней).
Ответ на последний вопрос,
Итак, приступим.
При поиске этого критерия будем руководствоваться следующим правилом: хаоса больше всего там, где больше всего информации. (Не зря же энтропия и информация вычисляются по одинаковым формулам!).
Действительно, из некоторой таблицы двоичных чисел, состоящей, например, из нулей и единиц, можно извлечь информации больше, чем из таблицы того же объема, но содержащей в себе только нули. А ведь наличие только нулей — это порядок, а "разбросанные" по таблице нули и единицы — хаос. И классическое определение понятия "информация" говорит о том же: информация — это устраненная неопределенность ожидания того или иного символа (кода, сообщения и т.п.). Ее мерой служит энтропия источника. Чем больше энтропия источника (хаос), тем больше информации можно получить от него. Если, например, ожидание появления некоторой кодовой последовательности достоверно, то количество полученной информации равно нулю. Подобный пример отсутствия передачи информации от источника, когда последний вычисляет значения очередного разряда числа “пи”, приведен в работе К. Шеннона "Математическая теория связи". (В кн.: Работы по теории информации и кибернетике. М., 1963, с.273).
Кроме отмеченного эвристического правила примем во внимание следующее соображение.
Все микросостояния, определяющие некоторое макросостояние неотличимы друг от друга только в границах определения макросостояния. Однако это не значит, что они абсолютно тождественны по всем показателям. Для доказательства этого утверждения достаточно обратить внимание на то, что приведенные выше шесть двоичных чисел для макросостояния А мы отличаем друг от друга без труда, а ведь они являются образами микросостояний, определяющих одно и то же макросостояние. Эти отличия, несомненно, играют существенную роль при оценке степени хаоса (или порядка) в расположении элементов объекта.
Теперь можно сформулировать критерий, определяющий наибольший хаос в некотором объекте.
Расположение элементов некоторого объекта достигает наибольшего хаоса тогда, когда из объекта можно мысленно вычленить максимально возможное количество его частей, каждое из которых отличается от любой другой вычленяемой части.
Или по-другому: максимальный хаос в расположении элементов объекта достигается тогда, когда для полного описания объекта требуется наибольшее количество информации.
Покажем далее, что применение этого критерия дает лучшие результаты, чем традиционные "термодинамические" правила. (Например, расположение нулей и единиц в двоичном тысячеразрядном числе по 500 штук "подряд" не будет теперь считаться максимально хаотичным, как это было ранее). Для этого рассмотрим, например, десятиразрядное двоичное число. Согласно старому критерию хаоса имеется 252 числа, в которых цифры расположены наиболее хаотично: 0000011111, 0000111110, 0101010101 и т.д. Однако если воспользоваться новым критерием и вычленить из некоторой комбинации все ее различающиеся составные части, то окажется, что из указанных 252 комбинаций только следующие 16:
| 0001011100 | 0001110100 | 0010111000 | 0011101000 | 0100011101 | 0101110001 | 0111000101 | 0111010001 |
| 1000101110 | 1000111010 | 1010001110 | 1011100010 | 1100010111 | 1101000111 | 1110001011 | 1110100011 |
обладают максимальным статистическим весом (равным 42). Среди этих чисел нет ни одного, в котором нули или единицы шли бы "подряд"!
Будем говорить, что такие комбинации нулей и единиц, которые могут "породить" максимальное количество чисел, обладают максимальной энтропией (хаосом) и могут содержать в себе максимальное количество информации. Эта информация не может быть "сжата" никакими способами. (В отличие, например, от комбинаций, содержащих много идущих подряд нулей или единиц. В последнем случае можно было бы просто сообщить словами, сколько таких цифр идет "подряд", и сообщаемая таким путем информация могла бы иметь меньший объем, чем изображение самого числа).
Величину максимальной энтропии Е “n”-разрядного двоичного числа можно определить по формуле:
Е = (1/2)[(n - m)2 + n – m] +2m+1-2,
где m целое и m = k max в неравенстве 2k < n. (k целое)
Итак, что же после всех наших рассуждений мы обнаруживаем в "сухом остатке"?
Пожалуй, кроме формулировки критерия хаоса, можно отметить еще неудовлетворенность в связи с употреблением термина "информация" без того, чтобы иметь ясное представление об этом понятии. А ведь использование этого понятия не по назначению могло привести нас к ложным выводам. Например, почему мы думаем, что "из некоторой таблицы двоичных чисел, состоящей, например, из нулей и единиц, можно извлечь информации больше, чем из таблицы того же объема, но содержащей в себе только нули"?
Пусть, например, числа принимаются от некоторого источника информации и затем последовательно записываются в две одинаковые таблицы. Пусть в одной таблице оказываются записанными только "нули", а во второй — как "единицы", так и "нули". Известно, что количество принятой информации зависит только от вероятности приема того или иного числа, а не от того, какие числа были приняты на самом деле. И если эти вероятности были одинаковы, то и количество информации в обеих таблицах равно друг другу. Так что наши предыдущие высказывания, будто бы в таблице, состоящей из хаотического набора "нулей" и "единиц" больше информации, чем в таблице, состоящей только из "нулей", вызывают определенные сомнения.