David's random thoughts – Telegram
David's random thoughts
1.73K subscribers
268 photos
1 video
29 files
173 links
个人想法合集,主要同步来自Twitter (𝕏)、知乎、博客等账号发布的内容。

注:本频道并非纯粹包含技术相关内容(虽然以它们为主),本人不会刻意回避政治观点表达。可能包含一些直言不讳的主观评价,慎入。

个人博客:https://blog.hjc.im
Download Telegram
双路epyc现在能堆出1.1 TB/s的带宽,跑单请求LLM理论上吐字速度已经不逊于5090以下的任何显卡。Xeon那边理论上用MCR-8800内存能堆到1.7 TB/s而且AMX有更高的算力,但是现在这内存全网都找不到几条卖的,只有闲鱼卖ES。。

https://x.com/Hydrogen0E7/status/1888771102056603752
👍13🤯2🐳1
在我看来两者性质没有什么太本质的区别,diffusion model无法生成真正符合现实世界逻辑的图像,而LLM并不真正理解编程语言的语法,吐出的代码甚至没法保证过编译。

只不过无效的代码不会被人到处截图传播来恶心码农但AI图不一样,要是每天有不懂写码的人到处晒AI生成的过不了编译的代码也会很烦(逃

https://x.com/NankyuSeiichi/status/1889223578710888692
👍26🤡2
VLIW NPU拿来跑计算密集的prefill问题不大。前阵子私底下试过基于OGA的AMD XDNA+RDNA的混合LLM方案(NPU跑prefill,GPU跑decode) ,NPU可以在2.5W内实现llama 8B 350+ t/s的pp。

这个性能大致相当于16CU的RDNA 3.5火力全开跑llama.cpp的水平,如果软件支持跟上了能真正用起来的话还是相当不错的。

https://x.com/karminski3/status/1889566828919214152
👍14
🙃唉还想着等Asahi Linux支持M4 Pro之后把现在这一大堆LLM server搬过去,现在有点堪忧了

https://www.phoronix.com/news/Hector-Martin-Resigns-Asahi
😁17😢4🕊1
主流游戏卡真的是一点都不能用,说是双槽卡但是上下都要恰好入侵到相邻插槽,实际上就是个4槽卡。
🔥16👍5🤬4
David's random thoughts
主流游戏卡真的是一点都不能用,说是双槽卡但是上下都要恰好入侵到相邻插槽,实际上就是个4槽卡。
为什么不像之前那样继续用延长线呢,是因为上次尝试用Intel GPU在Linux下玩游戏又出现了神秘的整机reset问题……只能把延长线拿掉先排除一下影响。

于是只能暂时喜提损失两个PCIe槽的惨痛代价。
5
Debian sid前几天更新Plasma 6.3,时隔好几个月终于又能用上KIO smb而不用每次访问NAS都打开terminal手动mount.cifs了……
看了一圈首发评测,测70B LLM基本上都是在windows上用基于llama.cpp vulkan版本的方案在共享显存里跑出来的成绩,性能损失比较大。所以参考价值比较一般,Linux下把vLLM搭起来再上个投机解码之类的可以快不少。

不过这种平台跑LLM根本上还是跟我之前M4 Pro文章里讲的有差不多的问题,状况都比较尴尬。

https://x.com/kele_plus/status/1892081534443630771
🔥12🐳1
现在知道为什么给媒体送测的卡有特殊丝印了吧(

https://x.com/9550pro/status/1892956083507040756
😁9
看着50系首发这么多drama我本来都懒得说啥,不过最近感觉NVIDIA这个公司在我心目中的形象已经成功升级成独一份了。

集合了Google,华为以及挤牙膏时期的Intel的所有《优点》,最顶上那位PPT吹牛的能力比马斯克还强,还有一帮神奇的信徒。如此强大的公司怎么能不招人喜欢呢。
😁42🗿5👏3
其实这种事应该算常识而不是什么阴谋论之类的(

没有任何别的解释能说得通。如果是生产过程中没有筛出来缺陷品,那么在用户手里应该表现为玩游戏崩溃不稳定或者花屏等等故障。但如果NVAPI/驱动软件层面能识别,说明封测时已经发现缺陷并且作了对应的屏蔽、降级处理。


https://x.com/hjc4869/status/1893230565056229688
😁10
David's random thoughts
看了一圈首发评测,测70B LLM基本上都是在windows上用基于llama.cpp vulkan版本的方案在共享显存里跑出来的成绩,性能损失比较大。所以参考价值比较一般,Linux下把vLLM搭起来再上个投机解码之类的可以快不少。 不过这种平台跑LLM根本上还是跟我之前M4 Pro文章里讲的有差不多的问题,状况都比较尴尬。 https://x.com/kele_plus/status/1892081534443630771
为什么说vLLM在Strix Halo上值得一试

拿近似架构的W7900来说,双卡使用llama.cpp row split运行70B-72B q8的LLM大约是13 t/s左右的性能。但vLLM+投机解码可以实现30-40 t/s,当然96G显存极其紧张。

70-72B目前在STXH平台使用llama.cpp q4上限大约在5-6 t/s,提升后可能刚好到> 10t/s的高度可用水平。
😁3
话说之前一直都看到有人说MLX比llama.cpp快,但是实际测下来好像mlx 4bit vs ggml iq4_xs并没有快多少啊……
🤡3
它又开始犯病了……
🤡3😁1
昨天还在群里夸Intel 13700H核显SR-IOV有用,今天就被一小时崩溃一次的moonlight以及疑似每次连接都漏200MB显存的RDP server打脸了🙃🙃
🥰20🤡6
不知道Intel在倒闭的那一天之前能不能把各种场景漏显存的bug全都修完,从当年刚毕业入职开始这种核显漏内存的场景就没有停过,我怀疑等到我退休它还是这个鬼样。
🔥181