David's random thoughts – Telegram
David's random thoughts
1.73K subscribers
268 photos
1 video
29 files
173 links
个人想法合集,主要同步来自Twitter (𝕏)、知乎、博客等账号发布的内容。

注:本频道并非纯粹包含技术相关内容(虽然以它们为主),本人不会刻意回避政治观点表达。可能包含一些直言不讳的主观评价,慎入。

个人博客:https://blog.hjc.im
Download Telegram
没有人比我更懂显示输出
🤯41🔥3
AMD CPU + Intel GPU = ?
🥴22😁1
B580还需要一段时间才能在Debian下正常用,现在Debian和flatpak默认的mesa版本都太老,能正常玩的游戏比较少。flatpak的mesa-git似乎直接连Steam都起不来。
llama.cpp SYCL版本抛exception跑不起来,想着看看vulkan版怎么样,结果发现你I目前的cooperative matrix实现是废的。手动去掉这个check也跑不出符合xmx理论吞吐的性能。
2024年连AMD都在新游戏卡上架前几个月就把ROCm支持做好发布了,Intel依然在文档上不写清楚哪一版oneAPI支持哪些显卡。。从非常简单的demo都报错来看大概率是没支持B580的。
😁111
llama.cpp用上SYCL之后终于展现出XMX的优势,B580的prefill性能赶上了规格比它大50%的7800 XT,不过decode的效率还是稍微低了点,带宽差距不应该这么大。

当然目前SYCL版本的flash attention kernel看起来性能还是不太好,性能会减半,目测有不少优化空间。提高batch size性能也会立刻锐减。
13
当年的偷懒最后害的还是自己!

https://x.com/hjc4869/status/1332569705912041475
😁32🤣17😇32
B580虚拟化看起来也没什么问题,设备直通,驱动,虚拟显示器设备,以及关机重启reset之类的都ok。
👍11
拿长5B这种大国重器打互联网卫星,放在美国是不是相当于拿SLS发星链🙃
David's random thoughts
llama.cpp用上SYCL之后终于展现出XMX的优势,B580的prefill性能赶上了规格比它大50%的7800 XT,不过decode的效率还是稍微低了点,带宽差距不应该这么大。 当然目前SYCL版本的flash attention kernel看起来性能还是不太好,性能会减半,目测有不少优化空间。提高batch size性能也会立刻锐减。
B580在Win下用最新驱动运行llama.cpp的Vulkan版本会获得比较正常的文本生成性能,与7800XT对比性能与显存带宽大致成比例,后者8B q8_0 >50 t/s。但是依然没有cooperative matrix所以prompt processing性能稀烂(vkpeak的matrix测试也跑不了)

SYCL则是全盘比Linux还差,flash attention也没什么好实现
👍10
一幅裁员裁到大动脉的感觉。。

https://x.com/aschilling/status/1869457604570657065
😁15
David's random thoughts
一幅裁员裁到大动脉的感觉。。 https://x.com/aschilling/status/1869457604570657065
细看了一眼,这个里面大部分问题都是Windows 11 26100.2161修掉的,而这个版本10月就已经发布,这阵子各家评测应该已经包含这个更新。

0x114微码官方认为游戏性能只有个位数百分点提升,目测就调调prefetcher参数之类的细枝末节。基本上可以认为ARL-S的游戏性能不会有本质变化了吧?
👎4
真这么搞的话当年GitLab抢走GitHub的用户和开源项目怕不是要全部还回去

https://x.com/felixonmars/status/1870821742685663719
😁20😢11👏1
肉眼粗略观测了Orin的几个CPU频率对应的功耗之后我有点怀疑NS2的CPU会像NS1一样锁到1GHz附近……也许最多1.5GHz。
8
翻了下手头的数据,发现居然只有Crestmont LPE适合拿来给Orin作对比。