猜测国家图书馆的网页快照存档项目的规模与速度。

图1，2020年09月 的论文中提到的 2018 年的数据——保存的数据量 210 TB。
——《国家图书馆网络资源采集与保存平台的技术实现》
图2，2021年03月 的论文中提到的最新数据（2021年3月）——300TB。
——《国家图书馆网络信息资源采集与保存平台关键技术实现》

按照论文里的说法，这个新(?)系统是 2018 年研制（基于 IIPC 的一整套轮子魔改）完成。那么算得国家图书馆的网页抓取量大概在每天 90 GiB 左右，且政府网站占其存档的比例约为 70% 。

如果每天抓取量在 90 GiB 左右的话，我们会得到一个很可笑的结论：

国家图书馆的网页抓取项目的有效数据录入带宽只有大约 10mbps 🙈🙈。

它的增量存档功能是居于 heritrix 3.4 二次开发。然后 heritrix 3.4 的第一个版本是在 2019-02 发布，并维护至今。——《国家图书馆WEB数据增量采集设计及其实现》


（它的存档系统有去重和压缩，但是这个存档效率真的……感觉一点都不“国家图书馆”）
（哪天有钱了，咋们也整个 heritrix 玩玩）

当然，也许是我们对网页的“大小”预估太大了，或许大部分网页的单页体积其实很小？
抑或许是政府网站的变动率小，所以易于增量存档？

但 10 mbps 的有效信息采集速度实在是太慢啦！（而且其论文里提到他们是 html、css、js、图片都会全部采集的。）

「搜狗科学百科」将于 11 月 11 日关站。
注：「搜狗科学百科」与「搜狗百科」是两个不同的产品，不要混淆。

搜狗科学百科自己的介绍条目：「搜狗科学百科」(链接关站后失效)

此百科的亮点：
- 各条目的分类依靠学科树 (链接关站后失效)
- 对编辑者有专业要求
- 有同行评审
- 尝试建立自治社区
- 以 知识共享 署名-相同方式共享 3.0协议（CC-BY-SA 3.0）开放版权

截至目前，共积累了 849(?) 篇条目。

——
我们正在存档此站。