То есть вероятность отклонения на k падает со скоростью e^{-k^2/n}.

В частности, характерные отклонения имеют порядок корня из n — и слишком большие отклонения даже такого порядка мы в жизни никогда не увидим (ибо, например, e^{-25}<10^{-10})

Иными словами —

Хорошо, а всё-таки — при чём тут формула Стирлинга?

Давайте её применим, чтобы оценить C_{2n}^n.
Неизвестный нам коэффициент A вылезет один раз в числителе — и два раза в знаменателе, так что не сократится:

Соответственно, вероятность получить в 2n подбрасываниях (n+k) орлов примерно равна

А чему равна сумма всех таких вероятностей?

С одной стороны, сумма вероятностей равна единице (ну или сумма биномиальных коэффициентов — соответствующей степени двойки).

С другой, сумма правых частей, если обозначить x_k = k/\sqrt{n}, оказывается интегральной суммой Римана для интеграла от e^{-x^2}:

И стремится с ростом n она к соответствующему интегралу:

А поскольку предел должен равняться единице — мы (почти) нашли A:

Остаётся посчитать интеграл в правой части. Как мы уже знаем из продекларированного ответа, он должен равняться корню из π.

Есть такой неформальный принцип — пи может появиться только как длина окружности, всё, где оно возникает, должно быть как-то с окружностью связано. Пусть опосредованно, пусть не сразу видно — но где-то окружность должна быть закопана.

Поэтому корень из пи — штука странная. Гораздо лучше возвести этот интеграл в квадрат: