Оказывается, еще вчера был подписан протокол с итогами. Все, выгрузок больше не будет. Эти однажды приведу к более компактному виду и уберу из канала. Если кому надо 4 гигабайта сырых выгрузок — сообщите.
Убрал отдельные сообщения с выгрузками. Вот все данные канала по этим выборам одним архивом в формате TSV (UTF-8, CRLF):
В этом архиве исключены пять первых выгрузок (до 20:35) с ошибочными данными для кандидатов-однофамильцев, убран мусор в номерах участков и унифицированы заголовки столбцов в соответствии с последней выгрузкой.
collect.log
59.3 KB
Лог сборки (UTF-8, CRLF) со всеми изменениями (кроме исключения ошибочных данных).
История изменений каждого участка на основе этих данных, в формате JSON text sequence (UTF-8, CRLF):
То же самое в формате TSV (UTF-8, CRLF) — все данные, относящиеся к заданному участку (одной и той же паре «ТВО №», «№ ВД»), идут подряд:
aggregate.log
27.7 KB
Лог агрегации (UTF-8, CRLF) с отметками о странностях в выгрузках (судя по всему, некоторые выгрузки заставали сайт в процессе обновления).
Скрипты сборки и агрегации (простые), включая конвертацию в форматы CSV и JSON lines, которые я для простоты выкладывать не стал: https://gist.github.com/388d74776714f7b9e590a8b39094bf93
Gist
Aggregate multiple CVK scrapes into precinct histories
Aggregate multiple CVK scrapes into precinct histories - aggregate.py
Наконец, последняя сырая выгрузка из канала (соответствующая файлу
20190406T1151Z.tsv в архиве) на случай, если кому-то нужно сверить обработку со старым форматом:Shameless plug: сегодня файлы в канал выгружает https://github.com/alexshpilkin/hattifnatt — синхронизация каталога с телеграм-каналом.
GitHub
GitHub - alexshpilkin/hattifnatt: Push directory to Telegram channel
Push directory to Telegram channel. Contribute to alexshpilkin/hattifnatt development by creating an account on GitHub.
Утеряны изменения данных о предварительной явке с 3:19 UTC (6:19 MSK) до 13:19 UTC (16:19 MSK) из-за того, что программа скачивания не справилась с изменившимся форматом. За это время на девятнадцати ТВО (№№ 31, 50, 65, 86, 88, 90, 96, 113, 153, 155, 163, 167, 178, 179, 190, 192, 200, 206) изменились данные о явке на 20:00 в пределах ±0.05%. Сейчас скачивание работает штатно.
Добавил к каждой выгрузке результатов ссылку на сравнение с предыдущей (в обозначениях unidiff). Теперь за тем, как следующие несколько дней ничего не будет меняться, можно следить не выходя из браузера =)