Save The Web Project – Telegram
画吧是于 2013 年成立的绘画 APP。其特色功能是用户上传作品到社区时,APP 会同时上传工程文件。浏览者可以播放工程文件,看到每一笔一画的作画过程(100%没有 AIGC)。 其已于 2024-02-09 00:36 关站。

说起来挺赶巧, 在 2023 年 11 月,@yzqzss 去海鲜市场捡了台红米6来插多余的两张电信卡开 WiFi 热点。
心血来潮把小米自带应用市场的“社交”排行榜里的 APP (不包含约会婚恋类)从上到下全安装体验了一下。
然后发现了画吧这个奇葩。API 竟然木有鉴权,登录获取 jid(用户ID) 的时候有下发 token,且所有的 API HTTP 请求里都有 hbtoken 这个 field ,但是是置空的,后端不验证。

尝试过不同的渠道反馈这个问题,但官方一直没有回复。官方QQ群里的群友也说很难联系到客服。就不太对劲,然后我们一查,老板2023年上半年因为欠农业银行25万,被执行了(2023_苏0591执1084号之一.pdf),并且几个投资方也开始陆续撤股。生命体征很危险啊,必须给存上。

于是我们的爬网花了20多天把全部作品的元数据先全存了下来(彩蛋,一个爬虫节点还被主机商扬了)。在完成作品元数据爬取不久,2024-01-13 ,画吧宣布将于 2024-02-08 关站

问题来了,画吧作品的工程文件和图片抽样预计总量 10~13TiB,绝大部分放在七牛OSS。而根据他们的一次运营事故,我们得以推算他们的 CDN 月回源用量可能不超过 150G。如果我们真的从公网下(0.26元/GiB),可能中途他们账上那点点余额就穿了。

(1/2) #画吧
12👍3
Save The Web Project
画吧是于 2013 年成立的绘画 APP。其特色功能是用户上传作品到社区时,APP 会同时上传工程文件。浏览者可以播放工程文件,看到每一笔一画的作画过程(100%没有 AIGC)。 其已于 2024-02-09 00:36 关站。 说起来挺赶巧, 在 2023 年 11 月,@yzqzss 去海鲜市场捡了台红米6来插多余的两张电信卡开 WiFi 热点。 心血来潮把小米自带应用市场的“社交”排行榜里的 APP (不包含约会婚恋类)从上到下全安装体验了一下。 然后发现了画吧这个奇葩。API 竟然木有鉴权,登录获取…
然后 @wowjerry 发现七牛杭州OSS可以和同地域的七牛qvm内网互通@MistyNya 也确认了画吧用的就是七牛杭州OSS。事情好玩起来了,我们开了台七牛杭州的机子,可以以 100mbps 的带宽走内网把画吧的七牛OSS上的东西投到我们的七牛OSS上。这样帐单打穿的就不是画吧的钱包,而是我们的😭

还有更好玩的,机器到手 apt update 发现七牛用的阿里源,有点惊讶,但不多。
直到看到 htop 里的 aliyun-assist 进程时……我陷入了沉思。这东西……不会其实是阿里ECS吧?TM的还真是,七牛被阿里收编了,QVM就是阿里ECS的二道贩子。所以……我们可以在阿里杭州的ECS用阿里内网连上所谓的“七牛OSS”

更更好玩的是,从“真正的”阿里杭州 ECS 内网下“七牛”OSS 上的东西,带宽能打到 2Gbps 多,是“七牛内网”的 20 倍 xD。

——
最终存档:

* 19,218,609 个绘画作品(截止 2024-02-08T22:14:28+08
* ~8M个用户的自定义笔刷 by @Cronfox
* ???个用户的 7,616,587 条收藏记录 by @OverflowCat
* ???个用户的粉丝表 by @OverflowCat
* 画吧课堂等杂项

另外,它 APK 安装包没有任何混淆和保护,你完全可以把它硬编码的 API 域名改掉,然后利用我们存档的数据重建画吧APP。如果你有兴趣开发一个用于纪念的 fake API 后端,欢迎联系我们。

我们预计春节后可以向画吧画师提供个人绘画作品备份导出。

存档过程和数据详见: https://wiki.saveweb.org/画吧

——
感谢各位订户半月前实打实的帮助,以及在存档过程中提供了建议的群友,另外还要感谢 ArchiveTeam 的 JAA、Pokechu22 和 Arkiver 的帮助。

——
©头图《拜拜》由画吧用户“早点睡觉”创作,我们购得了这张画。理论上版权转让给我们了,但我们当时没说清是“买画”是买转让还是买使用权,所以……🫠

(2/2) #画吧
👍442🎉2👏1
Save The Web Project
为了 STWP 不长期咕咕咕🌚,我们将每周发布项目进展简讯。 --- 第 14 周项目摘要。 20230401 ~ 20230403: @jsun969 在尝试给 uglysearch.othing.xyz 写前端:https://github.com/saveweb/saveweb-search-frontend 20230405: saveweb/review-2022 收录 +1 20230403 ~ 20230406: * 播客存档项目开工,写存档工具:https://github.co…
#丑搜 #搜索引擎 #博客

> 什么,你不知道“丑搜”?这是一个索引了 133k+ 篇中文独立博客文章的搜索引擎。

🤗

由于半年前的一次服务器存储告急,为了腾空间就把丑搜的全文索引数据库删了。于是丑搜宕了快半年了……咕咕咕。

昨天重写了后端以及工作流,又捡起 @jsun969 去年给丑搜写的“新”前端,改进了下让它再次上线,现在它不丑了.jpg。或许不能再叫它丑搜了。

https://search.saveweb.org

* 加了查看快照的功能
* 可以实时更新数据库全文索引了(为防垃圾站瞬发投毒,暂不启用实时索引)
* 可按文章发布时间排序(前端还未实现)
* [NOTE]: 新前端还没做打字机模式

原丑搜还留着,目前充当 API: https://search-api.saveweb.org
👍10🥰3
降本增效中……(砍掉几台多余的服务器,每月省 200¥)

- 丑搜,暂关。
- @code_arxiv_bot ,暂关
- biliarchiver API ,暂关
- bilibili 新 item 通知频道,暂关
- blog.save-web.org ,将迁移
- 旧的互联网公墓 wiki,将合并到 wiki.saveweb.org
🤯15🔥2😁2👍1
https://github.com/keirf/greaseweazle/wiki/Blue-Pill-Adapter

准备做两三个 greaseweazle F1 (Blue Pill Adapter) 用于软盘存档项目(磁通量级别地读取软盘原始数据)。在嘉立创打了 25 片 F1 的 PCB,多余的二十多片板子闲着也是闲着。

这里有人要 greaseweazle F1 吗?参与软盘存档,领。

<https://news.1rj.ru/str/saveweb_projects/115>
🤯2
“开源中国”半年多前把 https://osdn.net 收购了,但是收购了之后啥动作也不做,各种服务都快宕完了。
人家日本用户全都跑光了(都宕机大半年了,不跑不是人)。

看不懂这波操作。
🤣16🤮2👍1
# 我们不再存档萌百

去年年后,存档萌娘百科就变得愈发困难。
萌百的 WAF 不断升级,不断推出新的奇葩反爬方式,存档所需的 API 也都关了。

且萌百还对其它镜像站项目做了针对性反爬。
现在已经是军备竞赛了。 wikiteam3 这一通用工具已不能存档萌百。

https://archive.org/details/wiki-zh.moegirl.org.cn-20230814 是我们打的最后一份 wikidump,除非未来萌百主动放宽访问限制,我们应该不会做新的 wikidump 了。

注:网站设置内容墙并不违反 CC BY-NC-SA 3.0
🙏14🤨7😢3
Save The Web Project
现在我们可为画吧的画师提供备份导出。 流程见: https://wiki.saveweb.org/画吧:takeout
尝试跟画吧合作为画师提供作品备份。但与画吧老板交涉无果,谈着谈着他就不回消息了。

非常可惜,截至目前我们只给3位画师提供了备份。
👍3
某仙人炫的两张图,现在 CC0 下公布。匿了。
🥰12
多年前,🌽🦊说要学习 ArchiveTeam ,建立 STWP 自己的 Tracker、Warrior 。

但是两年了,经过反复鞭尸催促,三个 repos 里还是只有 README.md.gitignore 和一个幻想出来的 apidoc/server.yml

近日多个项目需要分布式爬网,1️⃣🌉只好整了一个简单的 Tracker 出来。

https://github.com/saveweb/solar_tracker

半个月后就是五四青年节啦,敬告各位青年,不要学习🌽🦊
🐳13🥰4😁2
胆汁胆汁~永远不会变质~~
🤣15
Forwarded from 下课铃
中国互联网出现到现在刚好 30 年。30 年后又是什么样子
pip(x) install https://static.saveweb.org/lowapk_v2-2.0.3-py3-none-any.whl
lowapk_v2


WE NEED YOUR HELP, THIS IA A LONG TERM PROJECT.

ETA: 6000h
追不上,根本追不上。
😁72
pip(x) install https://static.saveweb.org/huashijie-1.0.1-py3-none-any.whl
huashijie_work


画世界。与上条消息是不同的项目,可与上面那个可以同时跑。(但单个项目不要多开)
源码: https://github.com/saveweb/huashijie_work
非常神奇啊,目前已知四位朋友各自给 lowapak 和 huashijie 打了 docker image。(两个项目的活跃节点加起来才 49 个,果然朋友们人均 Docker 大师

目前,经过激烈角逐,DigitalDragon 打的 images 胜出!

https://hub.docker.com/r/digitaldragons/saveweb-huashijie (49.93 MB)
https://hub.docker.com/r/digitaldragons/saveweb-lowapk (55.94 MB)

欢迎各位有赛博洁癖的朋友继续挑战 Docker 的下限!