Deepseek是否打破部署定式？摆脱GPU？
bilibili.com
完整版DeepSeek-R1 671b本地部署 速度瓶颈深度剖析_哔哩哔哩_bilibili
我在进行DeepSeek-R1的不同蒸馏量化版本，以及包含671b参数的Q4量化版本和1.58，2.22bit动态量化版本的本地部署的尝试，完全使用CPU而非GPU来进行不同参数数量的模型的本地推理。在此过程中发现，利用CPU进行LLM部署和推理的限速瓶颈在于系统内存带宽。即便使用了具有12通道内存的EPYC 9B14 CPU，也存在明显的内存带宽瓶颈，导致CPU线程数在32以上时，token输出, 视频播放量 164610、弹幕量 525、点赞数 6521、投硬币枚数 4346、收藏人数...
前几天看到这个视频，看到提到 tokens/s 其实取决于 内存带宽，与运算单元、内存容量关系都不大（没有达到数量级的提升效果）。
满血671B的模型在进行工作时调用的参数量也只是37B，所以它可以在相同的硬件平台上以较高的速度运行。
虽然看上去如果要部署满血 8比特量化的 671B参数的R1，仍然需要很大的内存容量，但似乎 顶级模型 的个人私有部署已经不再是遥不可及。
你会给你的个人私有的R1多少预算？
[译] 大模型推理的极限：理论分析、数学建模与 CPU/GPU 实测（2024）
52 个帖子 - 15 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: RU_Sirius)
bilibili.com
完整版DeepSeek-R1 671b本地部署 速度瓶颈深度剖析_哔哩哔哩_bilibili
我在进行DeepSeek-R1的不同蒸馏量化版本，以及包含671b参数的Q4量化版本和1.58，2.22bit动态量化版本的本地部署的尝试，完全使用CPU而非GPU来进行不同参数数量的模型的本地推理。在此过程中发现，利用CPU进行LLM部署和推理的限速瓶颈在于系统内存带宽。即便使用了具有12通道内存的EPYC 9B14 CPU，也存在明显的内存带宽瓶颈，导致CPU线程数在32以上时，token输出, 视频播放量 164610、弹幕量 525、点赞数 6521、投硬币枚数 4346、收藏人数...
前几天看到这个视频，看到提到 tokens/s 其实取决于 内存带宽，与运算单元、内存容量关系都不大（没有达到数量级的提升效果）。
满血671B的模型在进行工作时调用的参数量也只是37B，所以它可以在相同的硬件平台上以较高的速度运行。
虽然看上去如果要部署满血 8比特量化的 671B参数的R1，仍然需要很大的内存容量，但似乎 顶级模型 的个人私有部署已经不再是遥不可及。
你会给你的个人私有的R1多少预算？
[译] 大模型推理的极限：理论分析、数学建模与 CPU/GPU 实测（2024）
52 个帖子 - 15 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: RU_Sirius)
抑郁症测试（请佬友们帮测，十分感谢
26男，离职，有女朋友。家庭关系好。
1: 不常联系家人
2: 7x24h经常易怒不开心但不表现，或者说经常性心情不好（以前能听听音乐转移注意力解决，现在只想打人打沙包，以前把木门几拳锤破过，手指连掌的骨头皮肉肿鹌鹑蛋那么大。现在就是没发泄的地方）
3: 不喜欢透露内心，也就是喜欢自己扛吧（在这透露了….噗…
4: 没什么兴趣了
5: 没有自🔪念头
6: 喜欢熬夜，睡眠足
7: 抽烟比较严重，1天1包（2引起）
8: 疲惫感没有吧
9: 食欲有心情引起变化
10: 喜欢一个人（最好的几个朋友一起玩游戏出门啊也就暂时快乐，一起回去之后无聊就心情不好不差）
11: 可能有也可能没有反社会人格（但对自身不公平的情况我不会将就）
12: 其实笑点非常高，但是刷视频还是会莫名其妙“傻”笑
如想问其他的可以问，我会依次回答。我想看看我有没有抑郁症，严不严重。谢谢各位
PS: 经常和女朋友aiai，别说性啦各位，😳
58 个帖子 - 19 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: Deco)
26男，离职，有女朋友。家庭关系好。
1: 不常联系家人
2: 7x24h经常易怒不开心但不表现，或者说经常性心情不好（以前能听听音乐转移注意力解决，现在只想打人打沙包，以前把木门几拳锤破过，手指连掌的骨头皮肉肿鹌鹑蛋那么大。现在就是没发泄的地方）
3: 不喜欢透露内心，也就是喜欢自己扛吧（在这透露了….噗…
4: 没什么兴趣了
5: 没有自🔪念头
6: 喜欢熬夜，睡眠足
7: 抽烟比较严重，1天1包（2引起）
8: 疲惫感没有吧
9: 食欲有心情引起变化
10: 喜欢一个人（最好的几个朋友一起玩游戏出门啊也就暂时快乐，一起回去之后无聊就心情不好不差）
11: 可能有也可能没有反社会人格（但对自身不公平的情况我不会将就）
12: 其实笑点非常高，但是刷视频还是会莫名其妙“傻”笑
如想问其他的可以问，我会依次回答。我想看看我有没有抑郁症，严不严重。谢谢各位
PS: 经常和女朋友aiai，别说性啦各位，😳
58 个帖子 - 19 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: Deco)
这个DeepSeek服务商的榜单太全了
https://stateioc.cn/article-details/VjX
14 个帖子 - 13 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: F-Droid)
https://stateioc.cn/article-details/VjX
14 个帖子 - 13 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: F-Droid)
社区稍后将进行一次紧急维护
社区将在 2025-02-10T15:00:00Z UTC 也就是 17 分钟后进行一次紧急维护。
预计将持续 3-5 分钟。
特此公告，敬请理解。
2 个帖子 - 1 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: Neo)
社区将在 2025-02-10T15:00:00Z UTC 也就是 17 分钟后进行一次紧急维护。
预计将持续 3-5 分钟。
特此公告，敬请理解。
2 个帖子 - 1 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: Neo)
deepseek-ai/DeepSeek-V3 2025210
sk-TN46eSPADHWDYZ3bzqcQK8iGXfYc43nkAkE2xHc5Wujultxi
New API
标题是使用的模型名称和发布时间
最上面的是KEY
和使用的URL
如果您有疑惑 可以看 这个URL合集里面
里面有很多小白向的解释
乐子神写的小白帖子合集文档共建
一般来讲都是好使的
如果您使用失败请去帖子合集寻找相应解决方案
完全公益发KEY 无任何售卖
喜欢的话给我点个赞和认可哦
认可点开头像可以点。。。本来我发点KEY 大家就用没啥
然后有人举报我说我没接入L站
问题是哥们根本不如允许注册
然后我想了一个妙招
我接入L站登录
但是我还不让你注册
你可以登录 但登录完了也注册不了完美
完美符合了接入 但我还不想让你登录的方法
26 个帖子 - 23 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: 乐子神)
sk-TN46eSPADHWDYZ3bzqcQK8iGXfYc43nkAkE2xHc5Wujultxi
New API
标题是使用的模型名称和发布时间
最上面的是KEY
和使用的URL
如果您有疑惑 可以看 这个URL合集里面
里面有很多小白向的解释
乐子神写的小白帖子合集文档共建
想起来就更新一点 写在这里就是为了可以一直修改添加 2.写给小白的 如何使用API 3.DeepLX已切换至 LINUX DO Connect 认证 （这个是NEO写的 但我觉得很重要 就加进来了） 4.酒馆指南 如何优雅玩酒馆 5.推荐一个事业编查找网站 202486 6.优雅的网络文件柜 7.PC 微信 如何优雅双开 8.写个小白贴 小尾巴是什么 以及哪里改 9.RisuA…
一般来讲都是好使的
如果您使用失败请去帖子合集寻找相应解决方案
完全公益发KEY 无任何售卖
喜欢的话给我点个赞和认可哦
认可点开头像可以点。。。本来我发点KEY 大家就用没啥
然后有人举报我说我没接入L站
问题是哥们根本不如允许注册
然后我想了一个妙招
我接入L站登录
但是我还不让你注册
你可以登录 但登录完了也注册不了完美
完美符合了接入 但我还不想让你登录的方法
26 个帖子 - 23 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: 乐子神)
Gemini 2.0 Flash 免费账户的联网搜索配额回来了，一天500次免费搜索，AI Studio 含金量还在上升
十二月份，Gemini 2.0 Flash刚上线，大家惊讶的发现谷歌为免费账号也开通了Grounding（即联网搜索）功能，但是没过几天，就停用了
Gemini 2.0 Flash的联网搜索Rate Limit似乎很低？
这几天正式版上了，想去扫一眼价格，于是就打开了谷歌的API文档
诶，您猜怎么着，刚才翻的时候，发现谷歌好像偷偷又把配额加回来了
Free Tier给了足足 500 QPD
Reference：Google AI for Developers
Gemini API 价格 | Google AI for Developers
面向开发者的 Gemini API 提供强大的免费层级，并在您扩大规模时提供灵活的价格。
48 个帖子 - 20 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: VrianCao)
十二月份，Gemini 2.0 Flash刚上线，大家惊讶的发现谷歌为免费账号也开通了Grounding（即联网搜索）功能，但是没过几天，就停用了
Gemini 2.0 Flash的联网搜索Rate Limit似乎很低？
Gemini 2.0 Flash的联网搜索今天是对免费账户关闭了，要切换到付费账户，就可以使用了。
这几天正式版上了，想去扫一眼价格，于是就打开了谷歌的API文档
诶，您猜怎么着，刚才翻的时候，发现谷歌好像偷偷又把配额加回来了
Free Tier给了足足 500 QPD
Reference：Google AI for Developers
Gemini API 价格 | Google AI for Developers
面向开发者的 Gemini API 提供强大的免费层级，并在您扩大规模时提供灵活的价格。
48 个帖子 - 20 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: VrianCao)
大佬们 苹果手机有什么屏蔽色情的软件么
如题 🦌的有点多了 想减少一点次数 想问问大家有什么办法捏
30 个帖子 - 23 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: ads)
如题 🦌的有点多了 想减少一点次数 想问问大家有什么办法捏
30 个帖子 - 23 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: ads)
用过就会爽到，下掉各种chat2api，全接官转，速度嗷嗷快，也不担心降智，再次送上福利！！！
这段时间把各种chat2api全下了，站内的GPT模型全部用官转或AZ，有被爽到，再也不用担心降智，速度快到飞起，虽然成本上来了，但是佬友们用的爽，这点成本又算什么呢！！！！deepseek-v3 deepseek-r1也快到飞起！
可以安心做业务开发了！！！
欢迎各位佬友前来体验！
https://aicnn.cn/chatPage?model=gpt-4o
极致的速度，极致的性价比，用过就会上瘾（支持api）！！！
祝您天天开心！爽用AI！
呈上1w永久积分
积分兑换地址：
AICNN - aicnn | 领先的AI技术平台 | AI绘画 | AI插件 | AI语音生成 | GPTS 下拉，找到cdkey，输入cdkey
官方地址aicnn.cn
aicnn - 领先的AI技术平台
AICNN官方提供稳定的GPT超级大模型服务，包括AI绘画、AI语音生成和人工智能对话。
同样，本帖长期赠送GPT|Claude|R1镜像站体验福利，如果你评论的楼层为4的倍数则可获得8888永久积分以及一天GPT|Claude|R1镜像站的CDKEY（兑换时间为一周内，凭截图找我兑换，可多次参与）
如果您有任何问题或建议，可以在下方留言，看到就一定回复！
82 个帖子 - 74 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: 浪里小白条)
这段时间把各种chat2api全下了，站内的GPT模型全部用官转或AZ，有被爽到，再也不用担心降智，速度快到飞起，虽然成本上来了，但是佬友们用的爽，这点成本又算什么呢！！！！deepseek-v3 deepseek-r1也快到飞起！
可以安心做业务开发了！！！
欢迎各位佬友前来体验！
https://aicnn.cn/chatPage?model=gpt-4o
极致的速度，极致的性价比，用过就会上瘾（支持api）！！！
祝您天天开心！爽用AI！
呈上1w永久积分
IEWPZEWSDFAL
积分兑换地址：
AICNN - aicnn | 领先的AI技术平台 | AI绘画 | AI插件 | AI语音生成 | GPTS 下拉，找到cdkey，输入cdkey
官方地址aicnn.cn
aicnn - 领先的AI技术平台
AICNN官方提供稳定的GPT超级大模型服务，包括AI绘画、AI语音生成和人工智能对话。
同样，本帖长期赠送GPT|Claude|R1镜像站体验福利，如果你评论的楼层为4的倍数则可获得8888永久积分以及一天GPT|Claude|R1镜像站的CDKEY（兑换时间为一周内，凭截图找我兑换，可多次参与）
如果您有任何问题或建议，可以在下方留言，看到就一定回复！
82 个帖子 - 74 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: 浪里小白条)
如何保住3级哇
经常看到佬友会掉到2级，那该如何一直保住3级呢
是天数还是已读帖子呢?
111 个帖子 - 79 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: aphoba)
经常看到佬友会掉到2级，那该如何一直保住3级呢
是天数还是已读帖子呢?
111 个帖子 - 79 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: aphoba)
解放生产力过度
佬友们 我使用了Claude辅助编码后，速度简直太快 有时候一些老大给我分配时间长的东西分分钟搞定了，而我看着我的同事们都在那写代码 我很愧疚，我要不要去跟老大说 其实我挺强的！
48 个帖子 - 27 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: Monet)
佬友们 我使用了Claude辅助编码后，速度简直太快 有时候一些老大给我分配时间长的东西分分钟搞定了，而我看着我的同事们都在那写代码 我很愧疚，我要不要去跟老大说 其实我挺强的！
48 个帖子 - 27 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: Monet)
创历史新高 中国去年彩票销售超6000亿人民币
据中国财政部官网2月7日消息，2024年全年中国共销售彩票6234.86亿元，同比增加437.90亿元，增长7.6%。其中，福利彩票机构销售2079.56亿元，同比增加135.15亿元，增长7.0%；体育彩票机构销售4155.30亿元，同比增加302.75亿元，增长7.9%。
中国彩票收入总体保持较快增长，2008年突破1000亿元，2011年突破2000亿元，2013年破3000亿元，2017年破4000亿元，2018年破5000亿元。而此后受彩票游戏规则调整、监管加强以及疫情封控等影响，彩票销售收入到2020年一度跌破4000亿元，不过2021年开始彩票销售收入持续回升，最终创下历史新高。
第一财经引述彩票专家、中国财政科学研究院金融中心研究员王薛红说，这是自1984年中国开始销售彩票以来，全年彩票销售收入首次突破6000亿元。
22 个帖子 - 21 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: 维ABC)
据中国财政部官网2月7日消息，2024年全年中国共销售彩票6234.86亿元，同比增加437.90亿元，增长7.6%。其中，福利彩票机构销售2079.56亿元，同比增加135.15亿元，增长7.0%；体育彩票机构销售4155.30亿元，同比增加302.75亿元，增长7.9%。
中国彩票收入总体保持较快增长，2008年突破1000亿元，2011年突破2000亿元，2013年破3000亿元，2017年破4000亿元，2018年破5000亿元。而此后受彩票游戏规则调整、监管加强以及疫情封控等影响，彩票销售收入到2020年一度跌破4000亿元，不过2021年开始彩票销售收入持续回升，最终创下历史新高。
第一财经引述彩票专家、中国财政科学研究院金融中心研究员王薛红说，这是自1984年中国开始销售彩票以来，全年彩票销售收入首次突破6000亿元。
王薛红称，与经济发展联系密切的诸多行业不同，彩票行业属于逆势增长的特殊行业。不过，与多数年份彩票销售收入保持两位数较高增速不同，2024年这一增速下滑至个位数。第一财经报道，这一方面跟2023年彩票销售收入大幅增长、基数较高有关。另一方面跟即开型彩票供不应求有关，去年刮刮乐大面积缺货一度上了微博热搜。
22 个帖子 - 21 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: 维ABC)
这个AI.COM不知道在谁手上，但它一定能告诉你当今最强的AI
https://ai.com
原来是跳Gemini
后面是ChatGPT
现在是DeepSeek
26 个帖子 - 25 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: Zhi Yang)
https://ai.com
原来是跳Gemini
后面是ChatGPT
现在是DeepSeek
26 个帖子 - 25 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: Zhi Yang)