# 科学网博客平台存档计划

科学网的博客平台（ https://blog.sciencenet.cn ）是国内少有的能存活到现在的博客平台（2007～）。

> 「科学网」由「中国科学报社」运营。「中国科学报社」是「中国科学院」所属唯一经国家新闻出版署批准的新闻媒体单位。（一句话：背景很大。）

其博客平台粗略目测没有任何广告，建站之初（2007）的老文章的存活率很高，而现今这个博客平台仍然有大量的活跃用户和新文章发布（估计每5分钟就会有一篇新文章，且多为长篇）。（一句话：存档价值很高！）

因此我们发起「科学网博客平台存档计划」，这是个长期项目，完成第一阶段的存档行动后，会定期 跟踪并存档 平台上新发布的文章。

目前用于该项目的存档脚本程序已经写好并运行。会将所有文章的 URL 推送到 archive.org 存档，待第一阶段存档完成后，我们会将详细存档结果（Archive.log）公开。

估计需要存档的文章数量在一百万左右，仅存档可公开访问的文章。

猜测国家图书馆的网页快照存档项目的规模与速度。

图1，2020年09月 的论文中提到的 2018 年的数据——保存的数据量 210 TB。
——《国家图书馆网络资源采集与保存平台的技术实现》
图2，2021年03月 的论文中提到的最新数据（2021年3月）——300TB。
——《国家图书馆网络信息资源采集与保存平台关键技术实现》

按照论文里的说法，这个新(?)系统是 2018 年研制（基于 IIPC 的一整套轮子魔改）完成。那么算得国家图书馆的网页抓取量大概在每天 90 GiB 左右，且政府网站占其存档的比例约为 70% 。

如果每天抓取量在 90 GiB 左右的话，我们会得到一个很可笑的结论：

国家图书馆的网页抓取项目的有效数据录入带宽只有大约 10mbps 🙈🙈。

它的增量存档功能是居于 heritrix 3.4 二次开发。然后 heritrix 3.4 的第一个版本是在 2019-02 发布，并维护至今。——《国家图书馆WEB数据增量采集设计及其实现》


（它的存档系统有去重和压缩，但是这个存档效率真的……感觉一点都不“国家图书馆”）
（哪天有钱了，咋们也整个 heritrix 玩玩）

当然，也许是我们对网页的“大小”预估太大了，或许大部分网页的单页体积其实很小？
抑或许是政府网站的变动率小，所以易于增量存档？

但 10 mbps 的有效信息采集速度实在是太慢啦！（而且其论文里提到他们是 html、css、js、图片都会全部采集的。）

「搜狗科学百科」将于 11 月 11 日关站。
注：「搜狗科学百科」与「搜狗百科」是两个不同的产品，不要混淆。

搜狗科学百科自己的介绍条目：「搜狗科学百科」(链接关站后失效)

此百科的亮点：
- 各条目的分类依靠学科树 (链接关站后失效)
- 对编辑者有专业要求
- 有同行评审
- 尝试建立自治社区
- 以 知识共享 署名-相同方式共享 3.0协议（CC-BY-SA 3.0）开放版权

截至目前，共积累了 849(?) 篇条目。

——
我们正在存档此站。