llama.cpp的server终于引入了speculative decode，现在我日常用的qwen 72B q8性能达到了>20 token/s😃
https://github.com/ggerganov/llama.cpp/commit/9ca2e677626fce759d5d95c407c03677b9c87a26
配置参考： llama-server -dev ROCm0,ROCm1 -devd ROCm2 -t 24 -c 65536 -cd 65536 -m qwen2.5-72b-q8.gguf -md qwen2.5-1.5b-q4.gguf -ngld 999 -ngl 999 -np 4 -sm row -ts 1,1 -cb -ctk q8_0 -ctv q8_0 -fa --draft-max 4 --draft-min 1 --draft-p-min 0 --samplers "temperature;top_k;top_p" --temp 0.1 --host 0.0.0.0 --port 8000
https://github.com/ggerganov/llama.cpp/commit/9ca2e677626fce759d5d95c407c03677b9c87a26
配置参考： llama-server -dev ROCm0,ROCm1 -devd ROCm2 -t 24 -c 65536 -cd 65536 -m qwen2.5-72b-q8.gguf -md qwen2.5-1.5b-q4.gguf -ngld 999 -ngl 999 -np 4 -sm row -ts 1,1 -cb -ctk q8_0 -ctv q8_0 -fa --draft-max 4 --draft-min 1 --draft-p-min 0 --samplers "temperature;top_k;top_p" --temp 0.1 --host 0.0.0.0 --port 8000
GitHub
server : add speculative decoding support (#10455) · ggerganov/llama.cpp@9ca2e67
* server : add speculative decoding support
ggml-ci
* server : add helper function slot.can_speculate()
ggml-ci
ggml-ci
* server : add helper function slot.can_speculate()
ggml-ci
👏8👍4
David's random thoughts
Qwen-QwQ用speculative decode的效果奇好，单卡q8随便跑40 token/s
RTX 6000 Ada可以把speculation decode的window开的比较大，单卡跑出90t/s
🤯14🔥3
话说上个月就看到skydio这事，没想到的是沉寂了这么久突然这两天又被知乎一群赢学家翻出来……这年头找个赢学话题都这么难了要靠翻旧账了是吧
https://www.zhihu.com/question/5317782004/answer/43707008414
https://www.zhihu.com/question/5317782004/answer/43707008414
😁15
关于Pat为什么离开Intel，这一篇跟我的看法比较接近：https://www.zhihu.com/question/5766243909/answer/46339548233
有些人喜欢污名化职业经理人，但Intel三次严重走弯路全是技术背景CEO带领下公司经营或投资方向出现重大失误，是个反例。
另外今天很多《分析师》认为Pat领导下Intel技术方面没大问题也是半吊子，对Intel现状没基本认知。
有些人喜欢污名化职业经理人，但Intel三次严重走弯路全是技术背景CEO带领下公司经营或投资方向出现重大失误，是个反例。
另外今天很多《分析师》认为Pat领导下Intel技术方面没大问题也是半吊子，对Intel现状没基本认知。
👍13🤔5👏2
接下来一段时间比较感兴趣的硬件
- Intel B580单槽卡，如果有AIB愿意做（或者专业卡？）
- 旗舰Navi48游戏卡
- Strix Halo（优先mini pc，实在没有就笔记本）
2027年之前感觉就这点东西了🙃
- Intel B580单槽卡，如果有AIB愿意做（或者专业卡？）
- 旗舰Navi48游戏卡
- Strix Halo（优先mini pc，实在没有就笔记本）
2027年之前感觉就这点东西了🙃
👍16❤1
David's random thoughts
谈谈Linux与ITMT调度器与多簇处理器 https://blog.hjc.im/thoughts-on-linux-preferred-cores-and-multi-ccx.html
终于……看起来再过段时间我就不需要用自己patch的内核了，未来Linux用户的单核跑分也会普遍正常了。
https://lore.kernel.org/lkml/20241203201129.31957-1-mario.limonciello@amd.com/
https://lore.kernel.org/lkml/20241203201129.31957-1-mario.limonciello@amd.com/
👍13👏4
说起来当年Trump上一任期引入TSMC AZ的时候我还觉得2025年美国本土造的TSMC N4芯片肯定都是花高价造些低端入门iPad去浪费纳税人的钱祸害美国学生，结果没想到真到了2025年不仅我全家除去一个mac mini之外全都还在用4/5nm，就连最贵最抢手的AI芯片都还是N4……
https://www.reuters.com/technology/tsmc-talks-with-nvidia-ai-chip-production-arizona-sources-say-2024-12-05/
https://www.reuters.com/technology/tsmc-talks-with-nvidia-ai-chip-production-arizona-sources-say-2024-12-05/
Reuters
Exclusive: TSMC in talks with Nvidia for AI chip production in Arizona, sources say
Taiwan Semiconductor Manufacturing Co is in discussions with Nvidia Corp to produce its Blackwell artificial intelligence chips at the contract manufacturer's new plant in Arizona, three sources familiar with the matter said.
😁13😢5❤1
支持Intel/AMD处理器的Windows Recall preview来了，在高通独占了14天之后……🤣
https://blogs.windows.com/windows-insider/2024/12/06/previewing-more-copilot-experiences-with-windows-insiders-in-the-dev-channel/
https://blogs.windows.com/windows-insider/2024/12/06/previewing-more-copilot-experiences-with-windows-insiders-in-the-dev-channel/
Windows Insider Blog
Previewing More Copilot+ Experiences with Windows Insiders in the Dev Channel
Hello Windows Insiders, today we are releasing Windows 11 Insider Preview Build 26120.2510 (KB5048780) to the Dev Channel. With this update, we are previewing new experiences for AMD and Intel®-powered Copil
😁17
🙃 所有认为Intel 18A进展良好的analyst目前都在拒绝直面一个问题，那就是为什么尽管Arrow Lake表现已经如此糟糕了，Panther Lake在路线图上依然无法完全取代Arrow Lake。
😁20🔥1