零成本！Cloudflare 四件套搭建私人小说站

via LINUX DO - 热门话题 (author: xingzihai)

【开源2api分享】21,000+ tok/s 的 ChatJimmy，我把它变成了 OpenAI 兼容 API

看到坛里有佬分享 ChatJimmy 的恐怖输出速度，实测最高跑到 21,874+ tok/s，按下回车的瞬间答案就糊脸上了，根本来不及反应！

体验了一下确实离谱。虽然跑的是 Llama 3.1-8B 小模型，回答质量一般，但这个速度拿来做翻译、摘要、格式转换简直是神器，这速度真是离谱到家了

唯一的问题：它只有网页端，没有 API！

所以我写了个 Cloudflare Worker，把 ChatJimmy 转成了标准的 OpenAI 兼容 API，开源出来给大家白嫖

链接

● 在线演示：https://cj2api.keh5.workers.dev （需科学上网）
● GitHub：GitHub - qingchencloud/cj2api: 将 ChatJimmy 转换为 OpenAI 兼容 API 的 Cloudflare Worker | 零成本部署，支持流式输出，自带测试页
● npm：https://www.npmjs.com/package/@qingchencloud/cj2api

----------------------
长图演示，点击查看 （点击了解更多详细信息）

ChatJimmy 为什么这么快？

ChatJimmy 背后是硅谷初创公司 Taalas，他们搞了一个很疯狂的事情：把模型参数直接"刻"进定制 ASIC 芯片（HC1）里。

传统方案里，GPU 算力很强，但模型参数存在 HBM 显存里，计算时需要来回搬运数据，90% 的时间和电力都浪费在"搬砖"上

Taalas 的思路是：干掉 HBM，让计算即存储、存储即计算。模型权重直接编码在芯片的金属层里，数据不需要搬运，推理速度直接起飞

几个关键数据：

● 实测 21,000+ tok/s（Llama 3.1 8B），官方标称 16,960，比 NVIDIA B200 快近 50 倍
● 构建成本仅为同等性能 GPU 方案的 1/20
● 采用 3-bit / 6-bit 混合量化 + LaRA 适配器补偿精度损失
● 定制新模型只需换两层金属掩模，流片周期压缩到 2 个月

简单说就是：别人在优化软件，Taalas 直接把软件变成了硬件。

CJ2API：把这个速度变成你的 API

我写的这个 Worker 做的事很简单：把 ChatJimmy 的私有协议转成标准 OpenAI /v1/chat/completions 接口。

● 兼容所有支持 OpenAI API 的客户端（沉浸式翻译、NextChat、LobeChat、OpenAI SDK……）
● 响应自带 usage 字段，实时统计 token 数量
● 支持流式 (SSE) 和非流式输出
● 部署在 Cloudflare Workers 免费套餐上，零成本
● 无需 API Key，随便填一个字符串就行

部署

需要 Node.js 18+ 和一个 Cloudflare 账号（免费）。

git clone https://github.com/qingchencloud/cj2api.git

cd cj2api

npm install

npx wrangler login # 首次使用需登录 Cloudflare，浏览器会自动弹出授权页

npm run deploy

部署完 Wrangler 会给你一个 URL（形如 https://cj2api.xxx.workers.dev），直接拿去用。访问根路径有内置测试页，可以在线体验。

也可以从 npm 装：

npm install @qingchencloud/cj2api

cd node_modules/@qingchencloud/cj2api

npx wrangler login

npm run deploy

注意： *.workers.dev 域名在国内需要科学上网才能访问。如果你有托管在 Cloudflare 的域名，可以在 Dashboard 里给 Worker 绑定自定义域名，走 CDN 国内可直连。

用法示例

Python（OpenAI SDK）

from openai import OpenAI

client = OpenAI(

base_url="https://你的worker域名/v1",

api_key="any" # 随便填

)

response = client.chat.completions.create(

model="llama3.1-8B",

messages=[{"role": "user", "content": "用一句话总结量子力学"}]

)

print(response.choices[0].message.content)

cURL

curl -X POST https://你的worker域名/v1/chat/completions \

-H "Content-Type: application/json" \

-d '{

"model": "llama3.1-8B",

"messages": [{"role": "user", "content": "你好"}],

"stream": true

}'

适合什么场景

● 沉浸式翻译：21,000+ tok/s 的速度做翻译，网页秒翻
● 批量文本处理：摘要、改写、格式转换，小模型够用且极快
● 开发调试：需要一个免费的 OpenAI 兼容 API 来测试客户端
● 学习研究：了解 API 代理和协议转换的实现方式

链接

● 在线演示：https://cj2api.keh5.workers.dev （需科学上网）
● GitHub：GitHub - qingchencloud/cj2api: 将 ChatJimmy 转换为 OpenAI 兼容 API 的 Cloudflare Worker | 零成本部署，支持流式输出，自带测试页
● npm：https://www.npmjs.com/package/@qingchencloud/cj2api

----------------------

免责声明：仅供学习研究，不要拿去搞大规模请求。上游服务可用性和模型能力由 ChatJimmy 提供，与本项目无关

灵感来源：15,726 tok/s！超极速模型，快来体验一下吧

28 个帖子 - 17 位参与者

阅读完整话题

via LINUX DO - 热门话题 (author: 晴天)

看到高中混混朋友圈和我现在处境深夜有点感慨

转眼毕业2年混到过年躲出租屋吃挂面有点不知所措了，半夜有点胡思乱想就随便吐槽下，本人不是学习的料所以上的职高，我那个职高能离谱到什么程度呢，我们班那几个混混深夜喊上几个寝室的人组队翻墙去红灯区玩，班里2个溜大麻的，今天刷朋友圈看到大都混的比我好，他们中25年有几个结婚还喊我去捧个热闹，本来高中也只是个同学关系而已我混的太差也不好意思去就以工作忙拒了，唉，想想现在我24了大专除了进厂还有哪些行业选呢 🥲

52 个帖子 - 48 位参与者

阅读完整话题

via LINUX DO - 热门话题 (author: 碇真嗣)

宇树CEO王兴兴：当前机器人技术，接近10岁孩子水平

2 月 24 日消息，宇树科技创始人、首席执行官王兴兴做客微博科技栏目《科技漫谈》时，就公司人形机器人三度登上央视春晚的技术细节与行业发展前景发表看法。

"宇树科技 CEO 王兴兴：当前机器人技术阶段“非常接近 10 岁孩子水平”

2 月 17 日，王兴兴通过个人微博表示，“有朋友问春晚机器人进化速度有多快，我想说这取决于大家对 AI 的想象力。感谢所有支持我们的朋友们，祝每一个人梦想成真！”

81 个帖子 - 56 位参与者

阅读完整话题

via LINUX DO - 热门话题 (author: tiga6367)

再传喜报，阿里Coding Plan支持MiniMax-M2.5啦！

支持的模型

千问系列模型：qwen3.5-plus、qwen3-max-2026-01-23、qwen3-coder-next、qwen3-coder-plus
第三方模型：MiniMax-M2.5、glm-5、glm-4.7、kimi-k2.5

至此，国产三剑客已经支持完毕，还在官网的佬可以放心冲啦

接下来看千问自家模型了

43 个帖子 - 37 位参与者

阅读完整话题

via LINUX DO - 热门话题 (author: jzjzle)

稍微深度探讨一下anthropic指责国产厂商蒸馏攻击的文章

via LINUX DO - 热门话题 (author: JasonWenTF)