darwin-amd64
darwin-arm64
linux-amd64
linux-arm
linux-arm64
windows-amd64.exe

echo Hello World

仍然存在许多小型馆藏的长尾，每天都有新书被扫描或出版，但增长速度可能会逐渐减缓。我们的规模可能还会翻一番甚至增加两倍，但这将在更长的时间内发生。

过去10年中,硬盘成本每TB大致减少了三分之一,并且可能会继续以类似的速度下降。磁带似乎也在类似的轨迹上。固态硬盘价格下降速度更快,可能会在本世纪末超过硬盘价格。

一直以来都有第三种选择,但它的质量如此糟糕,以至于我们从未考虑过它:OCR,即光学字符识别。这是通过使用AI检测照片中的字符,将照片转换为纯文本的过程。这方面的工具长期以来一直存在,而且相当不错,但对于保存目的来说,"相当不错"是不够的。

然而,最近的多模态深度学习模型取得了极其快速的进步,尽管成本仍然很高。我们预计准确性和成本在未来几年内将大幅提高,到那时将有可能应用于我们整个图书馆。

总的来说,预计总文件大小至少会减少5-10倍,甚至更多。即使保守地减少5倍,即使我们的图书馆规模增加了三倍,在10年内我们也只需要1,000美元到3,000美元。

不幸的是,大语言模型的出现及其对数据的饥渴训练,使许多版权持有者变得更加防御性。甚至比他们已经如此的程度还要更多。许多网站正在使得抓取和归档变得更加困难,诉讼案不断涌现,与此同时,实体图书馆和档案馆继续被忽视。

我们只能预料到这些趋势将继续恶化,许多作品将在进入公有领域之前就丢失。

我们正处于保存革命的前夕,但"失去的无法挽回。"我们有一个大约5-10年的关键时期,在这个时期,运营一个影子图书馆并在世界各地创建许多镜像仍然相当昂贵,而且在这个时期,访问权限还没有被完全关闭。

url shortening was a fucking awful idea

When will Firebase Dynamic Links stop working?

On August 25th, 2025, Firebase Dynamic Links will shut down. All links served by Firebase Dynamic Links (both those hosted on custom domains and on page.link subdomains) will stop working.

goo.gl/*           至少存在70亿  URLs
*.app.goo.gl/*     至少存在2亿   URLs
goo.gl/**/*        未知
*.page.link        至少存在1.2亿 URLs
自定义域名          未知

SELECT
  URL
FROM (
  SELECT
    REGEXP_EXTRACT_ALL(payload, r'goo\.gl\/[0-9a-zA-Z\/]{4,256}') AS URLS
  FROM
    `githubarchive.year.2011`
),
  UNNEST(URLS) AS URL
WHERE
  ARRAY_LENGTH(URLS)!=0

SELECT
  URL
FROM (
  SELECT
    REGEXP_EXTRACT_ALL(payload, r'goo\.gl\/[0-9a-zA-Z\/]{4,256}') AS URLS
  FROM
    `githubarchive.month.2019*`
  WHERE
    _TABLE_SUFFIX BETWEEN '01' AND '06'
),
  UNNEST(URLS) AS URL
WHERE
  ARRAY_LENGTH(URLS)!=0

WARCs all the way going forward my friends! -- Zeno developer

这三年困难阶段，园子靠想尽各种方法贷款维持，负债累累下园子的发展寸步难行，救园是为了还掉贷款，渡过难关。

截止9月30日 23:15，当天总收入￥189,662，两天累计收入￥350,992（包含会员、捐助、周边），另外收到2位园友的6w借款，1位园友的6w投资，总计53w。