...靠银行贷款的资金维持周转，每个月还了再借出来。
...意外的悲剧来袭，几乎所有渠道的贷款持续断流（还款后借不出来或者被降额）

darwin-amd64
darwin-arm64
linux-amd64
linux-arm
linux-arm64
windows-amd64.exe

echo Hello World

仍然存在许多小型馆藏的长尾，每天都有新书被扫描或出版，但增长速度可能会逐渐减缓。我们的规模可能还会翻一番甚至增加两倍，但这将在更长的时间内发生。

过去10年中,硬盘成本每TB大致减少了三分之一,并且可能会继续以类似的速度下降。磁带似乎也在类似的轨迹上。固态硬盘价格下降速度更快,可能会在本世纪末超过硬盘价格。

一直以来都有第三种选择,但它的质量如此糟糕,以至于我们从未考虑过它:OCR,即光学字符识别。这是通过使用AI检测照片中的字符,将照片转换为纯文本的过程。这方面的工具长期以来一直存在,而且相当不错,但对于保存目的来说,"相当不错"是不够的。

然而,最近的多模态深度学习模型取得了极其快速的进步,尽管成本仍然很高。我们预计准确性和成本在未来几年内将大幅提高,到那时将有可能应用于我们整个图书馆。

总的来说,预计总文件大小至少会减少5-10倍,甚至更多。即使保守地减少5倍,即使我们的图书馆规模增加了三倍,在10年内我们也只需要1,000美元到3,000美元。

不幸的是,大语言模型的出现及其对数据的饥渴训练,使许多版权持有者变得更加防御性。甚至比他们已经如此的程度还要更多。许多网站正在使得抓取和归档变得更加困难,诉讼案不断涌现,与此同时,实体图书馆和档案馆继续被忽视。

我们只能预料到这些趋势将继续恶化,许多作品将在进入公有领域之前就丢失。

我们正处于保存革命的前夕,但"失去的无法挽回。"我们有一个大约5-10年的关键时期,在这个时期,运营一个影子图书馆并在世界各地创建许多镜像仍然相当昂贵,而且在这个时期,访问权限还没有被完全关闭。

url shortening was a fucking awful idea

When will Firebase Dynamic Links stop working?

On August 25th, 2025, Firebase Dynamic Links will shut down. All links served by Firebase Dynamic Links (both those hosted on custom domains and on page.link subdomains) will stop working.

goo.gl/*           至少存在70亿  URLs
*.app.goo.gl/*     至少存在2亿   URLs
goo.gl/**/*        未知
*.page.link        至少存在1.2亿 URLs
自定义域名          未知

SELECT
  URL
FROM (
  SELECT
    REGEXP_EXTRACT_ALL(payload, r'goo\.gl\/[0-9a-zA-Z\/]{4,256}') AS URLS
  FROM
    `githubarchive.year.2011`
),
  UNNEST(URLS) AS URL
WHERE
  ARRAY_LENGTH(URLS)!=0

SELECT
  URL
FROM (
  SELECT
    REGEXP_EXTRACT_ALL(payload, r'goo\.gl\/[0-9a-zA-Z\/]{4,256}') AS URLS
  FROM
    `githubarchive.month.2019*`
  WHERE
    _TABLE_SUFFIX BETWEEN '01' AND '06'
),
  UNNEST(URLS) AS URL
WHERE
  ARRAY_LENGTH(URLS)!=0

WARCs all the way going forward my friends! -- Zeno developer