体验 Anubis:一个新的反爬虫 WAF
----------------------
看到一篇文章:GNOME GitLab 使用 PoW 工具 Anubis 应对 GenAI 爬虫滥用行为 (层叠, FOSS infrastructure is under attack by AI companies)
可爱,马上使用
介绍
Anubis 是一个基于 PoW 的类 WAF 工具,可以保护你的网站免受爬虫爬取(从莫名其妙的爬虫到 OpenAI、Anthropic 爬虫,抑或是 Wayback Machine)
可以作为在不接入 Cloudflare 时一个较好的盾
快速部署
参考官方文档,直接使用 docker compose 部署,以下是我的配置(有点奇怪):
出来就是这样的:https://anubis.d0ne.me/ (Difficulty 5 计算的时间有点久,生产环境可以调成 Difficulty 4)
成功阻挡了网页存档:https://archive.is/BCXdX, https://web.archive.org/web/~
总结
好!
10 个帖子 - 10 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: NanoSwitch)
本文也在我的博客:https://blog.135579.xyz/archives/share/anubis-waf-experience/ 上发布
----------------------
看到一篇文章:GNOME GitLab 使用 PoW 工具 Anubis 应对 GenAI 爬虫滥用行为 (层叠, FOSS infrastructure is under attack by AI companies)
可爱,马上使用
介绍
Anubis 是一个基于 PoW 的类 WAF 工具,可以保护你的网站免受爬虫爬取(从莫名其妙的爬虫到 OpenAI、Anthropic 爬虫,抑或是 Wayback Machine)
可以作为在不接入 Cloudflare 时一个较好的盾
快速部署
参考官方文档,直接使用 docker compose 部署,以下是我的配置(有点奇怪):
services:
anubis-nginx:
image: ghcr.io/techarohq/anubis:latest
environment:
BIND: ":8080"
DIFFICULTY: "5"
METRICS_BIND: ":9090"
SERVE_ROBOTS_TXT: "true"
TARGET: "http://host.docker.internal:18822"
ports:
- 18823:8080
extra_hosts:
- "host.docker.internal:host-gateway"
出来就是这样的:https://anubis.d0ne.me/ (Difficulty 5 计算的时间有点久,生产环境可以调成 Difficulty 4)
成功阻挡了网页存档:https://archive.is/BCXdX, https://web.archive.org/web/~
总结
好!
10 个帖子 - 10 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: NanoSwitch)
kimi是否为套壳
在之前我在网上看到了关于kimi我测试了其对回答的审核。有多次他都回答 违反gpt的政策,我于是让他说出是哪个公司开发的,他回答是open的,后来过了几月我再次问,这次他没一下承认,但不断的问后还是说是gpt。后来可能修复了,问不出来了。
13 个帖子 - 13 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: GZX)
在之前我在网上看到了关于kimi我测试了其对回答的审核。有多次他都回答 违反gpt的政策,我于是让他说出是哪个公司开发的,他回答是open的,后来过了几月我再次问,这次他没一下承认,但不断的问后还是说是gpt。后来可能修复了,问不出来了。
13 个帖子 - 13 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: GZX)
提交了一个用于思维导图的mcp server
地址:github.com
GitHub - YuChenSSR/mindmap-mcp-server: mindmap, mcp server, artifact
mindmap, mcp server, artifact
1: 返回内容
2: 返回文件
注意为了兼容使用artifact 会消耗大量的tokens,只适合小的思维导图。
最好是打开html文件来看,可以丢给浏览器,或者只用命令行终端直接打开
10 个帖子 - 8 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: yaochen)
地址:github.com
GitHub - YuChenSSR/mindmap-mcp-server: mindmap, mcp server, artifact
mindmap, mcp server, artifact
1: 返回内容
html将返回思维导图的整个HTML内容,您可以在AI客户端的artifact中预览。2: 返回文件
filePath 将会把思维导图保存到文件中并返回文件路径,你可以在浏览器中打开它。这可以节省大佬们的tokens注意为了兼容使用artifact 会消耗大量的tokens,只适合小的思维导图。
最好是打开html文件来看,可以丢给浏览器,或者只用命令行终端直接打开
open path/quantum_computing_mindmap.html
10 个帖子 - 8 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: yaochen)
manus申请技巧
54 个帖子 - 52 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: o_oi)
现在manus申请通过后不再有邀请码信息的回复,而是一条和你邮箱绑定的链接,也就是只能通过该邮箱注册或登录才有效,即申请邮箱就是登录邮箱,不再存在转给别人的情况,除非邮箱一起给。这种机制下申请反而变得简单,国外常用邮箱加国外纯净ip以及同ip时区,这三者并不是一定都要满足,只是都满足通过率高。满足上述要求,可以自己试着申请,如果自己解决不了,可以留下公开邮箱。帮申请通过后麻烦在本话题留下收到通过邮件的截图,以反馈通过的实际情况。
Ps:官方目前任务数量是2,不过一个任务即一个对话可以完成多件事情,比如写代码后,可以接着让它做ppt,只要不超过对话长度限制。此外在它执行任务时,可以输入内容打断或者改变任务,不需要等它完成
54 个帖子 - 52 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: o_oi)
【开源】番茄小说下载器
之前答应给佬友们搞的番茄小说下载站爆炸了,所以重新写另一个的,放在github了,可以用actions直接下载小说
多的就不说了,详看readmegithub.com
GitHub - POf-L/Fanqie-Tomato-Downloader: 番茄小说下载器 -...
番茄小说下载器 - 支持多平台的番茄小说下载工具,提供TXT/EPUB格式转换,GUI界面及GitHub Actions在线下载功能
15 个帖子 - 10 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: linjinpeng)
之前答应给佬友们搞的番茄小说下载站爆炸了,所以重新写另一个的,放在github了,可以用actions直接下载小说
多的就不说了,详看readmegithub.com
GitHub - POf-L/Fanqie-Tomato-Downloader: 番茄小说下载器 -...
番茄小说下载器 - 支持多平台的番茄小说下载工具,提供TXT/EPUB格式转换,GUI界面及GitHub Actions在线下载功能
15 个帖子 - 10 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: linjinpeng)
订阅分享(四)
https://api.2c.lol/sub?target=clash&url=https%3A%2F%2Fsdk.bhqt.fun%3A443&insert=false
偶然碰到的订阅,质量很不错,可以长期保留,不能用就更新一下
38 个帖子 - 33 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: KBB订阅分享)
https://api.2c.lol/sub?target=clash&url=https%3A%2F%2Fsdk.bhqt.fun%3A443&insert=false
偶然碰到的订阅,质量很不错,可以长期保留,不能用就更新一下
38 个帖子 - 33 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: KBB订阅分享)
是否有纯净的手机本地音乐APP
费了些力气,下载了许多歌曲,只想本地听,发现手机自带音乐播放器无法识别内置歌词,用着真的是如芒刺背,如鲠在喉。请教各位老友,是否有本地音乐播放器,支持flac ,音乐内置歌词的APP。
27 个帖子 - 24 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: rey)
费了些力气,下载了许多歌曲,只想本地听,发现手机自带音乐播放器无法识别内置歌词,用着真的是如芒刺背,如鲠在喉。请教各位老友,是否有本地音乐播放器,支持flac ,音乐内置歌词的APP。
27 个帖子 - 24 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: rey)
秘塔ai的新功能太牛逼了
能根据搜到的内容自动美化成前端ui网页来展示
metaso.cn
秘塔AI搜索
秘塔AI搜索,没有广告,直达结果
10 个帖子 - 10 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: daisy mirai)
能根据搜到的内容自动美化成前端ui网页来展示
metaso.cn
秘塔AI搜索
秘塔AI搜索,没有广告,直达结果
10 个帖子 - 10 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: daisy mirai)
📥轻松解析下载多平台内容-文捕
一款📊 在线博客内容解析下载工具,支持多个平台,多种格式,尽量保留文章原始排版。
多平台支持 🌐
● 微信公众号
● CSDN
● 博客园
● 简书
● 思否
● 阮一峰的网络日志
● 腾讯云开发者社区
多格式导出 📚️
● HTML:保留原始样式
● PDF:适合归档打印
● Markdown:便于编辑
● MHTML:单文件保存,完整备份,离线浏览
注意事项 ⚠️
● 确保文章URL可以正常访问
● 对于图片较多的文章,导出可能需要较长时间,请耐心等待
● 若文件解析正常但下载后无法查看,或下载与解析的文件大小不一致,可以尝试下载全部
● 若PDF文件下载没有展示图片,建议使用Typora等工具重新导出
● 不支持需要登录或者付费的博客文章
● 不要过多尝试不支持的博客平台
● 建议使用 Chrome 或 Edge 浏览器
常见问题 ❓️
Q: 为什么解析失败?
A: 可能的原因:
不支持的博客平台
文章需要登录才能访问
网络连接不稳定
博客反爬机制,请在夜深人静的时候尝试
Q: 如何批量下载?
A: 暂时不支持批量解析,但可以同时选择多种格式下载。
Q: 文件保存在哪里?
A: 文件会自动下载到浏览器的默认下载目录。
标签:#文捕 #博客下载 #内容解析 #多平台支持 #文件格式
文捕:https://www.blog-keeper.com/
13 个帖子 - 13 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: rsdg2020)
一款📊 在线博客内容解析下载工具,支持多个平台,多种格式,尽量保留文章原始排版。
多平台支持 🌐
● 微信公众号
● CSDN
● 博客园
● 简书
● 思否
● 阮一峰的网络日志
● 腾讯云开发者社区
多格式导出 📚️
● HTML:保留原始样式
● PDF:适合归档打印
● Markdown:便于编辑
● MHTML:单文件保存,完整备份,离线浏览
注意事项 ⚠️
● 确保文章URL可以正常访问
● 对于图片较多的文章,导出可能需要较长时间,请耐心等待
● 若文件解析正常但下载后无法查看,或下载与解析的文件大小不一致,可以尝试下载全部
● 若PDF文件下载没有展示图片,建议使用Typora等工具重新导出
● 不支持需要登录或者付费的博客文章
● 不要过多尝试不支持的博客平台
● 建议使用 Chrome 或 Edge 浏览器
常见问题 ❓️
Q: 为什么解析失败?
A: 可能的原因:
不支持的博客平台
文章需要登录才能访问
网络连接不稳定
博客反爬机制,请在夜深人静的时候尝试
Q: 如何批量下载?
A: 暂时不支持批量解析,但可以同时选择多种格式下载。
Q: 文件保存在哪里?
A: 文件会自动下载到浏览器的默认下载目录。
标签:#文捕 #博客下载 #内容解析 #多平台支持 #文件格式
文捕:https://www.blog-keeper.com/
13 个帖子 - 13 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: rsdg2020)
👍1
【弗洛伊德吹水时间】升职加薪了!
因为半夜应急响应的事给我放假了一周,所以最近没看邮箱。
刚刚看邮箱发现了一封人事邮件,通知我
● 升职
● 加薪10%
● 团队其他成员加薪10%+X%,X的值根据个人绩效的30%按照公式核算,具体不公开。
我跳槽后其实已经给我加过一次了,他真的,我哭死
47 个帖子 - 43 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: 弗洛伊德)
因为半夜应急响应的事给我放假了一周,所以最近没看邮箱。
刚刚看邮箱发现了一封人事邮件,通知我
● 升职
● 加薪10%
● 团队其他成员加薪10%+X%,X的值根据个人绩效的30%按照公式核算,具体不公开。
我跳槽后其实已经给我加过一次了,他真的,我哭死
47 个帖子 - 43 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: 弗洛伊德)