看着50系首发这么多drama我本来都懒得说啥，不过最近感觉NVIDIA这个公司在我心目中的形象已经成功升级成独一份了。
集合了Google，华为以及挤牙膏时期的Intel的所有《优点》，最顶上那位PPT吹牛的能力比马斯克还强，还有一帮神奇的信徒。如此强大的公司怎么能不招人喜欢呢。
集合了Google，华为以及挤牙膏时期的Intel的所有《优点》，最顶上那位PPT吹牛的能力比马斯克还强，还有一帮神奇的信徒。如此强大的公司怎么能不招人喜欢呢。
😁42🗿5👏3
其实这种事应该算常识而不是什么阴谋论之类的（
https://x.com/hjc4869/status/1893230565056229688
没有任何别的解释能说得通。如果是生产过程中没有筛出来缺陷品，那么在用户手里应该表现为玩游戏崩溃不稳定或者花屏等等故障。但如果NVAPI/驱动软件层面能识别，说明封测时已经发现缺陷并且作了对应的屏蔽、降级处理。
https://x.com/hjc4869/status/1893230565056229688
X (formerly Twitter)
David Huang (@hjc4869) on X
@deskflag 没有任何别的解释能说得通。如果是生产过程中没有筛出来缺陷品，那么在用户手里应该表现为玩游戏崩溃不稳定或者花屏等等故障。但如果NVAPI/驱动软件层面能识别，说明封测时已经发现缺陷并且作了对应的屏蔽、降级处理。
😁10
David's random thoughts
看了一圈首发评测，测70B LLM基本上都是在windows上用基于llama.cpp vulkan版本的方案在共享显存里跑出来的成绩，性能损失比较大。所以参考价值比较一般，Linux下把vLLM搭起来再上个投机解码之类的可以快不少。 不过这种平台跑LLM根本上还是跟我之前M4 Pro文章里讲的有差不多的问题，状况都比较尴尬。 https://x.com/kele_plus/status/1892081534443630771
为什么说vLLM在Strix Halo上值得一试
拿近似架构的W7900来说，双卡使用llama.cpp row split运行70B-72B q8的LLM大约是13 t/s左右的性能。但vLLM+投机解码可以实现30-40 t/s，当然96G显存极其紧张。
70-72B目前在STXH平台使用llama.cpp q4上限大约在5-6 t/s，提升后可能刚好到> 10t/s的高度可用水平。
拿近似架构的W7900来说，双卡使用llama.cpp row split运行70B-72B q8的LLM大约是13 t/s左右的性能。但vLLM+投机解码可以实现30-40 t/s，当然96G显存极其紧张。
70-72B目前在STXH平台使用llama.cpp q4上限大约在5-6 t/s，提升后可能刚好到> 10t/s的高度可用水平。
😁3
话说之前一直都看到有人说MLX比llama.cpp快，但是实际测下来好像mlx 4bit vs ggml iq4_xs并没有快多少啊……
🤡3
不知道Intel在倒闭的那一天之前能不能把各种场景漏显存的bug全都修完，从当年刚毕业入职开始这种核显漏内存的场景就没有停过，我怀疑等到我退休它还是这个鬼样。
🔥18⚡1
看很多讨论Framework STXH的顶配，但实际反而低配更好玩
799刀门槛低，在北美买套7700板u内存+4060都不止这个价格，这方面STXH居然有性价比。再一个之前讨论过这些设备运行LLM的尴尬，256b位宽适合32B q4模型，就算追求LLM用途也没必要上更大的内存
当然价格方面的结论仅限北美，国内还得深圳系努力
799刀门槛低，在北美买套7700板u内存+4060都不止这个价格，这方面STXH居然有性价比。再一个之前讨论过这些设备运行LLM的尴尬，256b位宽适合32B q4模型，就算追求LLM用途也没必要上更大的内存
当然价格方面的结论仅限北美，国内还得深圳系努力
👍14
试了下由于rocWMMA是个C++模板库，所以尽管它并不官方支持Windows，想在Windows上用它还是非常简单。
简单的patch就可以加速Windows上llama.cpp在ROCm/HIP下的flash attention推理性能（尤其是prefill和高batch size），需要的可以自行取用。
https://github.com/hjc4869/llama.cpp/releases/tag/b4786
https://github.com/hjc4869/llama.cpp/commit/1e0d34ec232b30913225a4f37cd4bdd173777d3d
简单的patch就可以加速Windows上llama.cpp在ROCm/HIP下的flash attention推理性能（尤其是prefill和高batch size），需要的可以自行取用。
https://github.com/hjc4869/llama.cpp/releases/tag/b4786
https://github.com/hjc4869/llama.cpp/commit/1e0d34ec232b30913225a4f37cd4bdd173777d3d
👏14🫡4
现在搞本地部署主要目标群体是企业而不是个人，个人因为门槛高+利用率上不去会血亏。理论上几个熟人凑一块搭一套出来用也可以搞。
性能方面，本地Windows/Mac部署流行的基于llama.cpp的方案确实是并发差了点。vLLM/SGLang虽然并发性能好很多，但是环境和硬件上的门槛又要更进一步，所以也就这样了吧。
https://x.com/wwwyesterday/status/1895820270901887358
性能方面，本地Windows/Mac部署流行的基于llama.cpp的方案确实是并发差了点。vLLM/SGLang虽然并发性能好很多，但是环境和硬件上的门槛又要更进一步，所以也就这样了吧。
https://x.com/wwwyesterday/status/1895820270901887358
X (formerly Twitter)
wwwgoubuli (@wwwgoubuli) on X
除了闲鱼和一些渠道上还在卖本地部署大模型教程外，绝大多数社媒上，我观察到，本地部署的热度终于下去一点了。
想来是很多人自己试过后，终于明白本地量化后的模型是残废是什么意思了。
跑工作流的人可能也发现了，自己那张卡跑一个并发还行，上了两个就明显变慢，几乎不可用。
想来是很多人自己试过后，终于明白本地量化后的模型是残废是什么意思了。
跑工作流的人可能也发现了，自己那张卡跑一个并发还行，上了两个就明显变慢，几乎不可用。
去年一直觉得Exynos 2400在上海用4G网络经常断流是Exynos的modem有问题，直到最近我把高通8 gen 2机器切换到4G模式用了一段时间，得到了几乎一样的体验……
😁13💊1
虽然我一向不认同什么护城河，但是拿llama.cpp的CUDA/ROCm实现来当靶子也太容易了，什么时候拿Vulkan做个能打vLLM的再说（
https://x.com/karminski3/status/1896412929328902351
https://x.com/karminski3/status/1896412929328902351
X (formerly Twitter)
karminski-牙医 (@karminski3) on X
CUDA 的护城河还能持续多长时间？
图片是 Vulkan 和 CUDA 在 4070 显卡上的token生成速度性能对比。可以看到有些项目仅有10%左右的差距了。（当然目前只是推理，训练还不行）
顺便，Vulkan 是用于与 GPU 进行交互的图形API。是开源的哦
文章地址：https://t.co/Rx5qecQfP8
#大模型竞技场
图片是 Vulkan 和 CUDA 在 4070 显卡上的token生成速度性能对比。可以看到有些项目仅有10%左右的差距了。（当然目前只是推理，训练还不行）
顺便，Vulkan 是用于与 GPU 进行交互的图形API。是开源的哦
文章地址：https://t.co/Rx5qecQfP8
#大模型竞技场
😁23❤1
llama.cpp的rocWMMA flash attention进入主线了，现在可以用RDNA3/3.5/CDNA1+的tensor core加速flash attention实现更好性能的prefill和batch decode。较小模型的单用户吐字速度也有些许提升，应该不会再落后于Vulkan。不过目前主线版本暂时还需要手动打开编译选项。
https://github.com/ggml-org/llama.cpp/commit/becade5de77674696539163dfbaf5c041a1a8e97
https://github.com/ggml-org/llama.cpp/commit/becade5de77674696539163dfbaf5c041a1a8e97
GitHub
HIP: implement FlashAttention via rocWMMA for CDNA and RDNA3+ (#12032) · ggml-org/llama.cpp@becade5
Adds GGML_HIP_ROCWMMA_FATTN and rocwmma header check
Adds rocWMMA support to fattn-wmma-f16
---
Signed-off-by: Carl Klemm <carl@uvos.xyz>
Co-authored-by: Johannes Gäßler <joh...
Adds rocWMMA support to fattn-wmma-f16
---
Signed-off-by: Carl Klemm <carl@uvos.xyz>
Co-authored-by: Johannes Gäßler <joh...
🥰2
Qwen QwQ实际用起来效果比几个DS蒸馏模型要强得多，试了之前几个经典问题都比DS用更少的token做出来。
可惜因为vocab有一些细微差异导致没法用qwen 2.5小模型来做draft model，以及因为众所周知的原因大概率热度远不如DS😆
可惜因为vocab有一些细微差异导致没法用qwen 2.5小模型来做draft model，以及因为众所周知的原因大概率热度远不如DS😆
👍27❤1