David's random thoughts – Telegram
David's random thoughts
1.73K subscribers
268 photos
1 video
29 files
173 links
个人想法合集,主要同步来自Twitter (𝕏)、知乎、博客等账号发布的内容。

注:本频道并非纯粹包含技术相关内容(虽然以它们为主),本人不会刻意回避政治观点表达。可能包含一些直言不讳的主观评价,慎入。

个人博客:https://blog.hjc.im
Download Telegram
看起来mesa 24.3.x的vulkan驱动可以用核显的XMX
👍13
Fedora rawhide的master branch内核可以用主线amdxdna NPU驱动了,可以考虑试着拿onnx跑个什么模型。

(图中为Debian LXC container)
TSMC救不了Intel:酷睿Ultra 7 255H(Arrow Lake H45)测试

https://blog.hjc.im/tsmc-cant-save-intel-core-ultra-255h-arrow-lake-h-review.html
👍26
好日子还在后面呢,特意留了H45平台4核Lion Cove的数据就等着明年测PTL对比。
👍7
昨天ARL文章发出去之后有质疑为何用gcc 12 -march=alderlake而非gcc 14 -march=arrowlake进行SPEC测试。

去年我确实考虑升级编译器重做排行,后来用gcc 14测了21个CPU后我得出gcc近年性能完全在摸鱼的结论于是就没怎么继续做了。

既然有人提到,这里给出gcc 14 -march=arrowlake的测试。高了1%。
😁28👍5
如果一个人以前从来没有聊过Qwen以及DS 2.5之前的版本却在DS R1/V3出来之后大吹特吹,基本可以认为是在蹭热度。
👏32
双路epyc现在能堆出1.1 TB/s的带宽,跑单请求LLM理论上吐字速度已经不逊于5090以下的任何显卡。Xeon那边理论上用MCR-8800内存能堆到1.7 TB/s而且AMX有更高的算力,但是现在这内存全网都找不到几条卖的,只有闲鱼卖ES。。

https://x.com/Hydrogen0E7/status/1888771102056603752
👍13🤯2🐳1
在我看来两者性质没有什么太本质的区别,diffusion model无法生成真正符合现实世界逻辑的图像,而LLM并不真正理解编程语言的语法,吐出的代码甚至没法保证过编译。

只不过无效的代码不会被人到处截图传播来恶心码农但AI图不一样,要是每天有不懂写码的人到处晒AI生成的过不了编译的代码也会很烦(逃

https://x.com/NankyuSeiichi/status/1889223578710888692
👍26🤡2
VLIW NPU拿来跑计算密集的prefill问题不大。前阵子私底下试过基于OGA的AMD XDNA+RDNA的混合LLM方案(NPU跑prefill,GPU跑decode) ,NPU可以在2.5W内实现llama 8B 350+ t/s的pp。

这个性能大致相当于16CU的RDNA 3.5火力全开跑llama.cpp的水平,如果软件支持跟上了能真正用起来的话还是相当不错的。

https://x.com/karminski3/status/1889566828919214152
👍14
🙃唉还想着等Asahi Linux支持M4 Pro之后把现在这一大堆LLM server搬过去,现在有点堪忧了

https://www.phoronix.com/news/Hector-Martin-Resigns-Asahi
😁17😢4🕊1
主流游戏卡真的是一点都不能用,说是双槽卡但是上下都要恰好入侵到相邻插槽,实际上就是个4槽卡。
🔥16👍5🤬4
David's random thoughts
主流游戏卡真的是一点都不能用,说是双槽卡但是上下都要恰好入侵到相邻插槽,实际上就是个4槽卡。
为什么不像之前那样继续用延长线呢,是因为上次尝试用Intel GPU在Linux下玩游戏又出现了神秘的整机reset问题……只能把延长线拿掉先排除一下影响。

于是只能暂时喜提损失两个PCIe槽的惨痛代价。
5
Debian sid前几天更新Plasma 6.3,时隔好几个月终于又能用上KIO smb而不用每次访问NAS都打开terminal手动mount.cifs了……
看了一圈首发评测,测70B LLM基本上都是在windows上用基于llama.cpp vulkan版本的方案在共享显存里跑出来的成绩,性能损失比较大。所以参考价值比较一般,Linux下把vLLM搭起来再上个投机解码之类的可以快不少。

不过这种平台跑LLM根本上还是跟我之前M4 Pro文章里讲的有差不多的问题,状况都比较尴尬。

https://x.com/kele_plus/status/1892081534443630771
🔥12🐳1
现在知道为什么给媒体送测的卡有特殊丝印了吧(

https://x.com/9550pro/status/1892956083507040756
😁9
看着50系首发这么多drama我本来都懒得说啥,不过最近感觉NVIDIA这个公司在我心目中的形象已经成功升级成独一份了。

集合了Google,华为以及挤牙膏时期的Intel的所有《优点》,最顶上那位PPT吹牛的能力比马斯克还强,还有一帮神奇的信徒。如此强大的公司怎么能不招人喜欢呢。
😁42🗿5👏3
其实这种事应该算常识而不是什么阴谋论之类的(

没有任何别的解释能说得通。如果是生产过程中没有筛出来缺陷品,那么在用户手里应该表现为玩游戏崩溃不稳定或者花屏等等故障。但如果NVAPI/驱动软件层面能识别,说明封测时已经发现缺陷并且作了对应的屏蔽、降级处理。


https://x.com/hjc4869/status/1893230565056229688
😁10
David's random thoughts
看了一圈首发评测,测70B LLM基本上都是在windows上用基于llama.cpp vulkan版本的方案在共享显存里跑出来的成绩,性能损失比较大。所以参考价值比较一般,Linux下把vLLM搭起来再上个投机解码之类的可以快不少。 不过这种平台跑LLM根本上还是跟我之前M4 Pro文章里讲的有差不多的问题,状况都比较尴尬。 https://x.com/kele_plus/status/1892081534443630771
为什么说vLLM在Strix Halo上值得一试

拿近似架构的W7900来说,双卡使用llama.cpp row split运行70B-72B q8的LLM大约是13 t/s左右的性能。但vLLM+投机解码可以实现30-40 t/s,当然96G显存极其紧张。

70-72B目前在STXH平台使用llama.cpp q4上限大约在5-6 t/s,提升后可能刚好到> 10t/s的高度可用水平。
😁3