Show HN: WatchMachineGo – 直观展示硬件执行 LLM 推理的模拟工具
我特别喜欢通过动手玩来学习新概念（可以看看可探索解释这个概念），最近对在自己硬件上跑本地大语言模型（LLM）越来越感兴趣。既然我们生活在“开口说句话，副项目就搞定了”的时代（开个玩笑，不过 LLM 在前端开发和头脑风暴上确实帮了我大忙 :D），我就自己造了需要的工具。WatchMachineGo 本质上是一个可视化模拟器，它能模拟本地 LLM 模型从加载、预填充到推理的全过程，同时展示不同硬件参数（比如内存带宽）和配置（比如无 GPU、双 GPU 等）带来的影响。完全免费、无广告，永远如此。我计划之后把它开源，不过目前还在考虑具体怎么操作。如果你去看看，非常感谢，希望你的时间花得值得！:)
评论区链接：https://news.ycombinator.com/item?id=49022761
Points: 1 # Comments: 1（无需翻译，已译内容已完整覆盖原文。）