breeze-shell 0.1.12 在发版前测了 8888 次右键(
应该不会再有什么玩着玩着崩了的问题了吧...希望?
之前偶发性崩溃是在 quickjs libc 里出现的堆栈错误,为了稳定直接把 qjs libc 整个扬了(
#breeze_shell
应该不会再有什么玩着玩着崩了的问题了吧...希望?
之前偶发性崩溃是在 quickjs libc 里出现的堆栈错误,为了稳定直接把 qjs libc 整个扬了(
#breeze_shell
🥰52👍5
DeepSeek infra 开源周 第一天就把可能是最重要的高效 MLA 推理实现爆了
要知道在此之前开源社区(transformers 的实现和 llama.cpp 的实现)我记得都还在用最简单最破烂的 MLA 实现,即使大推理商也好不到哪去,这本来应该是大模型真正的「护城河」(没有优化的推理实现,即使开源权重其他推理商跑的成本都会被 DeepSeek 橄榄),D 圣人决定直接给它开源...
只能说是真不靠这个吃饭啊 真正的 OpenAI
https://github.com/deepseek-ai/FlashMLA
要知道在此之前开源社区(transformers 的实现和 llama.cpp 的实现)我记得都还在用最简单最破烂的 MLA 实现,即使大推理商也好不到哪去,这本来应该是大模型真正的「护城河」(没有优化的推理实现,即使开源权重其他推理商跑的成本都会被 DeepSeek 橄榄),D 圣人决定直接给它开源...
只能说是真不靠这个吃饭啊 真正的 OpenAI
https://github.com/deepseek-ai/FlashMLA
🔥90🐳12