Нам тут понадобится только последний сомножитель, экспоненциальный (всё остальное слишком медленное относительно логарифма). Ну и в выражении
C_n^m = n!/(m! (n-m)!)
степени e в числителе и знаменателе сокращаются, и остаётся от экспоненциальной части только
(n/m)^m (n/(n-m))^(n-m).

Если прологарифмировать, поделить на n и сказать, что m~np, то получается примерно
(1/n) log_2 C_n^m ~ -p log_2 p - (1-p) log_2 (1-p).

С одной стороны, вот она размерность. Мы её и правда нашли (хотя, конечно, всё вышесказанное нужно делать честно, а не как я сейчас).

И этим занимался Безикович — тот самый, который решил задачу Какейя о развороте отрезка: что есть (невыпуклая) фигура сколь угодно малой площади, внутри которой можно развернуть отрезок.

(У Марка на слайде в знаменателе логарифм 3, а не логарифм 2 — потому что он вместо отрезка работает с канторовым множеством: его точки тоже можно закодировать 0 и 1, или 0 и 2 — просто взяв троичную запись.)

(Да, в качестве отступления в сторону — об этой задаче и конструкции можно прочитать в Кванте —
http://kvant.mccme.ru/1973/04/o_vrashchenii_otrezka.htm )

Так вот — с другой стороны, тут появляется выражение (-p log p), которое кому-то может быть знакомо из физики, а кому-то из информатики.

И мне в этом месте хочется сказать слова "энтропия Шеннона".
Представим себе, что на Марсе у нас стоит марсоход, и каждую секунду что-то измеряет. Например, ловит космические лучи — таким образом, разные измерения независимы друг от друга. Но шанс, что что-то прилетит, очень маленький, поэтому таблица из 0 и 1 (не прилетело/прилетело) состоит в основном из нулей, вероятность p единицы очень маленькая.
Как нам передать результаты наблюдений на Землю?

Можно, конечно, так и передать, нулями и единицами, но странно забивать канал нулями.

Так вот — при большом числе наблюдений нам понадобится примерно (-p log p - (1-p) log (1-p)) бит в расчёте на одно измерение, чтобы (честно) передать результаты.

Проще всего это сделать так — если мы провели n измерений, то сначала передаём m — число единиц. На это нам нужно log_2(n) бит, что по сравнению с n — копейки.

Теперь, когда мы знаем число единиц — у нас есть C_n^m разных вариантов, и на самом деле, они все равновероятны. Поэтому понятно, что меньше, чем log_2 (C_n^m) битами, мы не обойдёмся. А чтобы передать за это число бит — например, можно (мысленно) лексикографически упорядочить все C_n^m последовательностей из m единиц и (n-m) нулей, и заметить, что соответствие между номером последовательности и самой последовательностью несложно вычисляется в обе стороны.

Остаётся передать номер — что мы и сделаем.

Чтобы закончить позавчерашнюю байку — если у нас в эксперименте будут не 0 и 1, а несколько разных исходов 1,...,k — все со своими вероятностями p_1,...,p_k, — то вместо биномиального коэффициента будет мультиномиальный, из n по набору (m_1,...,m_k) того, сколько раз какой исход выпал.

То есть
n!/((m_1)!*...*(m_k)!)

Опять применив формулу Стирлинга и посмотрев на экспоненциальную часть, мы получим произведение (n/m_i)^(m_i), и его логарифм будет равен
n * (-\sum p_i log p_i).

Вот мы и получили знаменитую формулу для энтропии — число бит для передачи результата в расчёте на один эксперимент (или, по-другому, какая пропускная способность канала нам нужна):
H = - \sum_i p_i \log p_i.

Для аккуратности — если говорить о битах, то логарифм нужно брать двоичным, а в динамических системах и в физике его обычно берут натуральным.

Ещё на эту формулу можно посмотреть так: это математическое ожидание ( = результат усреднения) логарифма вероятности того исхода, которое у нас в результате одного эксперимента получается.

Так что можно сказать, что логарифм вероятности пронаблюдённого (случившегося) исхода — это та информация, которую мы в результате эксперимента получаем.