https://chat.inceptionlabs.ai

来了个更大的

OpenAI 小丑麻了，据说 1t 激活，120t 训练量跑了个 4o 级别的玩意出来，哈哈
150 刀的推理成本就离谱，现在 OpenAI 真就只会无脑堆量了，还堆不出来，赶紧被 scaling law 干死吧
15 倍 claude-sonnet-3.7 的价格😅

今天 DeepSeek 开源的是一个自研的高速文件系统，对集群固态存储有很好的优化，也是我预测会开源的三个 infra 中的第二个（x

这个技术的重要性不亚于 FlashMLA，用户也可以明显感知到使用体验上的提升，其主要作用于 kvcache 的提速降本

使用过 DeepSeek API 的群友可能都会发现两个事情：API 的收费分输入和输出，其中输入「如果缓存击中，则价格打骨折」，这个缓存就是 kvcache

大家都知道现在的 causallm 都是相当于给出所有的上文（prefill），让模型预测下一个词；而由于 transformer 的无状态特性，每推理一个词模型都会需要把所有上文全部重新读一遍，非常浪费。kvcache 就是把重新读一遍前面部分的计算结果先暂存下来，来缓解这个问题

乐
DeepSeek vs 腾讯元宝

尤老板技术可以软，嘴必须是硬的

DeepSeek Infrastructure 团队用尽了全产业以及大量的美国知识产品，没有感恩之心吗？

顺便把硅基流动骂了一顿，怼天怼地怼空气