大模型阉割的几种手段

很遗憾，砂糖一年前的预言又一次印证了——力大砖飞的满血超大杯模型正在逐渐失宠。用户们逐渐认识到小型模型结合合理的优化策略（例如CoT、深度思考），能够在某种程度上以更低的算力消耗，达到全参数满血大尺寸模型同级别的输出质量。

那么，如何在不牺牲性能的前提下，精简模型以实现成本与质量的平衡呢？另外，“671B“的Deepseek-v3/r1，就一定是所谓的”满血版“吗？

认识模型

我们所谓的“模型”，其实储存的是模型各个节点的参数，包括权重和偏置。通常来说，参数量越大的模型能够存储的信息越多，理论上可以处理更加复杂的任务。每个参数也的确就是一个数，与计算机中的其他数一样，它也具有位数和精度——32位浮点（fp32），16位浮点（fp16），8位整型（int8）等等。更高的精度，以及更大的参数量，都会提升模型的性能需求，也能提升模型的输出质量，但同时也会消耗更多的计算资源。

模型的阉割技术，目的就是在可容忍的范围内，牺牲部分输出质量，换取更大的性能提升。
当然，如果一味地进行阉割，降本增效，以次充好，那么上面这句话也可以说成——模型的阉割，本质上是为了节约成本，牺牲掉输出质量。

模型阉割大法

蒸馏

将一个大型的、性能卓越的模型作为教师模型，另一个参数量较小的基底模型作为学生，让老师教学生，使基底模型学习到教师模型输出的分布特征，以及获取教师模型的部分知识。

当然，需要强调的是，蒸馏后的模型仍然是基底模型，它依赖于教师模型的知识，但仍与之有别。基底模型较小的参数量决定了其固有的上限所在。

我之前开玩笑地举了个例子，虽然不太雅观，但很形象：
把一个馒头往厕所里放两天，馒头会有一股屎味，但你不能说它就是屎——屎味的馒头说到底还是馒头。

量化

量化，就是将模型的参数由高精度缩减为低精度。就像做物理题时那样，c=299792458m/s 能让你猪脑过载，但令 c=3*10^9m/s 你就豁然开朗——当然这么做的后果就是你的计算结果并不那么准确。

当我们将FP32，或者FP16的参数修约到FP8，INT4，甚至二元量化或三元量化（三进制重出人间），能够带来数倍的模型体量缩减与性能提升——当然代价同时是损失输出质量，精度压缩得越激进，损失越明显。

好在与其他神经网络相比，多数的大型语言模型对量化具有一定的鲁棒性，即使进行一定程度量化，输出质量的损失也并不那么显著。这是因为LLM模型通常局部不变性更好，即使某一层出现偏差，也会在后续层中得到修复。

剪枝

果农为了收获品质更好的水果，会将一些发育不良的枝条减去，使有限的营养专注供给健康的果子。神经网络也是同理。偌大的神经网络中，存在着大量看起来不那么重要的神经元或者连接。由于这些连接对于模型的输出贡献极小，但实实在在地消耗了计算性能，通过重要性排序和相关性分析，删去一些”不重要“的参数，就能减小模型体积，提升运行时的性能。

剪枝是缩减模型体积，提升运行时性能的有效手段，结合微调手段重建冗余，合理利用剪枝，可以获得非常好的效果。但是过于激进的剪枝策略会删去大量非0权重，会实实在在地影响模型的泛化能力。

总结

模型的阉割大法不仅只有蒸馏一种，量化和剪枝都是重要的手段，并且都具有便捷性，可以在部署时进行。因此，“671b”参数的deepseek，未必就是满血版，它只声称了671b的参数量，但是参数的精度如何，加载模型时是否离线剪枝，又删去了多少参数，这些问题都会影响模型最终的表现。

阉割大法是双刃剑。各种事实已经证明了阉割模型是时代发展趋势，我们是时候摒弃猛堆参数量和精度的思维了。但同时也必须拒绝一种行为，那就是使用阉割的模型以次充好。下一次，当有商家再宣传自己提供671b”满血“大模型时，你就应当多留个心眼，这真的是满血的模型吗？

当然，我更希望将来能够有更加规范的行业要求——对于自部署的开源模型，商家不能仅仅公布模型的代号和原始参数规模，而应当披露具体的模型哈希、量化位数、剪枝比率和激活参数规模，以保障消费者的知情权。或者，应当允许消费者设定Temperature=0，以自行检查模型的一致性。

就当是我的下一个预言吧，不过我估计这个行业规范至少需要一年的等待时间。

看完觉得有收获，记得点点认可。虽然不知道有啥用但是搞一个玩玩（

11 个帖子 - 11 位参与者

阅读完整话题

via LINUX DO - 热门话题 (author: 粉毛红瞳精神病美少女松坂砂糖)

gemini-2.0-flash-thinking-exp-01-21 强的离谱

在数学题方面，有一些问题R1答对，O1不对，O1对R1不对，有些Groq对，有些Groq不对，把这些问题全部给gemini-2.0-flash-thinking-exp-01-21测试，对到完，没有开code execution，还没有测试代码(代码还是用claude 3.7 sonnet吧)，没有时间，有时间的佬可以去测试。网页版卡又慢，aistudio比较好

网页版的很烂

如果thinking就不要开code execution了，开code execution回答反而会错
Oceanuo:

中文作文/理解题那种需要creative（创意）的，使用Deepseek R1（R1 的幻觉实在是高）
中文搜索或者其他，要根据作文的，不要用deepseek，他会瞎编，用Grok-3
其他的除了代码全部使用 Gemini 2.0 Flash Thinking Experimental 01-21
代码用claude 3.7 sonnet

Overall：
math: Gemini
Instruction following: Gemini
Multi Turn: Gemini
Creative Writing: Gemini
Coding: Gemini
hard prompts: Gemini
hard prompts(English): Gemini
Longer Query: Gemini
English: Gemini
Chinese: Gemini
Exclude Ties: Gemini
Exclude Short Query (&LT5 tokens):Gemini
Exclude Refusal: Gemini

用claude测试groq 和 gemini，清一色全部都是gemini获胜
Oceanuo:

真的很强，我感觉grok 3都没有那么强了

这是Gemini写的中文作文

Oceanuo:

图文检测，google做的应该是最好吧，图内物体等，有关图片的，google做的应该就是最好的吧

58 个帖子 - 26 位参与者

阅读完整话题

via LINUX DO - 热门话题 (author: Oceanuo)

各位佬友手里有闲置的eu.org10r收一个，用于服务佬友

20 个帖子 - 12 位参与者

阅读完整话题

via LINUX DO - 热门话题 (author: 爱吃猫的鱼)

你们失眠会去上班吗

一晚上没怎么睡着，早上起来还没什么困意，一想到还要去上班就有点难受，请假也不太好请，你们一般是怎么应对失眠的

43 个帖子 - 42 位参与者

阅读完整话题

via LINUX DO - 热门话题 (author: godherry)

提振消费专项行动方案发布，涉及多项措施

提振消费专项行动方案发布中共中央办公厅 国务院办公厅印发《提振消费专项行动方案》_中央有关文件_中国政府网

看到了这条最亮眼

30 个帖子 - 26 位参与者

阅读完整话题

via LINUX DO - 热门话题 (author: makeGreat)

【抽奖】YouTube家庭组车位

🎉 奖品详情：

奖品：YouTube家庭组车位（一个月） ✖️ 3

⏰️ 活动时间：

开始时间：2025-03-17 08:20:00

截止时间：2025-03-17 20:20:00

📝 参与方式：

点赞并在本帖下回复任意内容。

🔍️ 抽奖规则：

每位用户仅允许参与一次。

使用 抽奖工具 随机抽取中奖者。

⚠️ 注意事项：

• 本活动将在活动截止时间后关闭回帖，以确保公平性。

• 中奖者将在活动结束后 2 小时内在本帖公布。

• 所有规则及抽奖结果由活动发起人最终解释。

•需自备未锁区账号（新号即可）与尼区节点（加入时需要）

期待您的积极参与，祝您好运！如有任何疑问，欢迎随时联系抽奖发起人。

39 个帖子 - 39 位参与者

阅读完整话题

via LINUX DO - 热门话题 (author: di Li)

我一点也不看好Coze和Dify的未来

这两天研究了几家agent平台，发现Coze和Dify这类agent平台的大方向完全错了。

为什么这么说？因为开发范式的发生了根本性改变。

传统程序是什么？

它是流程的集合，按预设路径执行，强调"如何做"

Agent是什么？

它是能力的集合，自主决策和学习，强调"能做什么"

这就解释了为什么工作流模式根本不适配agent。工作流思维本质上是"人类预设全部路径"，依然停留在传统程序的开发模式。

真正高效的agent架构是什么样的？

应该像MCP模式：为agent提供丰富工具集，让其自主学习如何选择和组合使用这些工具解决问题。
在agent时代，我们需要放弃用旧思维构建新技术。agent的核心价值在于自适应性和决策能力，而非简单地按图索骥。

18 个帖子 - 15 位参与者

阅读完整话题

via LINUX DO - 热门话题 (author: leomzh94)

开发了一年多，开源等宽字体 Maple Mono 发布 v7.0 正式版

预览 & 字体特性测试： https://font.subf.dev/
GitHub：GitHub - subframe7536/maple-font: Maple Mono: Open source monospace font with round corner, ligatures and Nerd-Font for IDE and terminal, fine-grained customization options. 带连字和控制台图标的圆角等宽字体，中英文宽度完美2:1，细粒度的自定义选项

为什么要做

市面上有这么多优秀的等宽字体，经由专业的设计师设计，看起来整洁美观。但是，当我真正把它们作为主要字体用来写代码时，我发现其中很多的字体总有一些地方让我不太满意，例如：

● JetBrains Mono 虽然字形设计精炼、排版整齐划一，但是风格有些死板
● Fira Code 虽然有丰富的连字，但是缺少斜体，自动生成的的斜体角度过大
● Victor Mono 虽然具有手写风格的斜体，但是其稍显夸张的风格让我有些难以接受
● Sarasa Gothic 虽然中英文2:1等宽，但是英文部分过于狭窄，阅读体验不太好
● 很少有等宽字体设计有圆角
● 很少有等宽字体对 Nerd-Font 和 中文 优先支持

因此，我制作了这一款字形整洁、拥有手写风格的斜体、细粒度自定义配置、内置 Nerd-Font、中英文2:1等宽的字体，用于提升自己的工作效率，希望它也能对其他人有所帮助。

54 个帖子 - 48 位参与者

阅读完整话题

via LINUX DO - 热门话题 (author: Song)

有时候就会觉得生活很没意思

就好比昨晚手机玩着玩着就觉得好没意思，整个人都快抑郁起来了，想想以后的生活，也是大差不差的这个轨迹，就是一天重复万遍，到现在都提不起精神。 🥲 如何解决这个问题呢？

79 个帖子 - 39 位参与者

阅读完整话题

via LINUX DO - 热门话题 (author: 念倏之)

微软邮箱快速取件

via LINUX DO - 热门话题 (author: xiaoxin)

你们有留意自己父母的手机卡套餐吗？我昨天才知道母亲的手机套餐……

5年前结婚后，我就从家里搬出去住了。昨天早上母亲来我家里作客，听见她抱怨手机套餐好贵，流量不够用，因为我知道母亲喜欢刷抖音和发抖音，我心里想，不够用那也正常。我就查询了一下套餐，原来一直在用89元30G流量的套餐，然后下个月自动生效为128元套餐！我就打电话给10086降级为保号，另外给她申请了一张流量卡。殊不知，降级保号套餐需要后面10086再打电话确认，提供手机号和服务密码才可以降级成功。真是恶心！怎么没不见升级套餐的时候也打电话过来确认呢？因为吃完午饭，母亲就要回去了。我妻子写了一张纸条，包含服务密码在里面，让她记得接听电话并且提供服务密码，后面以防万一纸条不见，还用母亲的手机拍一张照片做记录。
所以，佬要多多注意家里长辈的手机套餐啊，发现异常及时给长辈提供协助才可以！

39 个帖子 - 39 位参与者

阅读完整话题

via LINUX DO - 热门话题 (author: okekrr)

gemini 会员价格

不便宜阿，154人民币，你们都开了吗
29 个帖子 - 19 位参与者

阅读完整话题

via LINUX DO - 热门话题 (author: skyfox)

抽 5个115网盘 1T的永久空间卡 （回复内容：115号的后4位数字）

《易》为君子谋，趋吉避凶；若言天命有常，吉何可趋，凶何可避；开章第一义，便说：“‘积善之家，必有余庆。’汝信得及否？”

余信其言，拜而受敬。因将往日之罪，佛前心情发露，为疏一通，先求登科；誓行善事三千条，以报天地祖宗之德。

抽奖主题：抽 5个115网盘 1T的永久空间卡

🏆️ 奖品详情：

5个115网盘 1T的永久空间卡

🕒️ 活动时间：

开始时间：现在
截止时间：3/18 23点

📝 参与方式：

回复内容：115号的后4位数字
如果抽中者未回复后4位数字，则顺延

🔍️ 抽奖规则：
使用linuxdo官方工具随机抽取中奖者。https://lottery.linux.do/

161 个帖子 - 161 位参与者

阅读完整话题

via LINUX DO - 热门话题 (author: Y)

【OWB】思路打开，方案自来

github.com

GitHub - wozulong/open-wegram-bot: 【零费用】一个让人呼吸顺畅的 Telegram 双向私聊机器人 🤖 / [Zero Cost] A...

【零费用】一个让人呼吸顺畅的 Telegram 双向私聊机器人 🤖 / [Zero Cost] A Smooth-Operating Two-Way Private Messaging Telegram Bot 🤖

思路必须打开，而且不要藏着掖着，于是就出来了这么个神奇的小东西。

它有多神奇呢？自己去看 README 。因为文档是 AI 生成的，我这里就不贴了。

代码不长，但思路绝对清奇，自行感受 :tieba_025:

----------------------

你们都默默收下，不帮忙 star 和扩散是吧 :tieba_087:

106 个帖子 - 96 位参与者

阅读完整话题

via LINUX DO - 热门话题 (author: Neo)