信息详情 ONE CURRENT SIGNAL 公开卡片 ### 背景与测试环境 我是社区开发者 **thebigmen486**。在近期的大模型多端部署与实际调用中,记录并整理了以下关键实测数据与环境配置细节。 ### 真实反馈与技术细节 我也用了2天,感觉说一下 配置: 4090D/DGX spark, 推理框架 llama.cpp 模型: 官方的Q4K_M、Q8(只能用在DGX Spark) 1. 编程很容易出bugs.. Qwen3.6 27B 一次过跑通的。对此重写才能修复。 2. 前端编写能力变强很多,美观也比3.6强不少。感觉有点比DSV4F 都强 3. 4090D 24G 的上下文不足问题严重,关闭MTP、视觉二选一,才能跑64k。 4. 速度明显慢了很多,4090D 跑不开MTP 40token/s 都不到。用DGX Spark 跑上下文的问题解决了,但速度 20token/s 又是一个问题了。 5. 思考太长, ### 探讨与诉求 希望与有类似硬件配置或高并发 API 调度经验的工程师探讨更优的参数调优与成本控制方案。 关联 ⚡️ 实时计算 等待读取 🔄 实时重算
### 背景与测试环境 我是社区开发者 **thebigmen486**。在近期的大模型多端部署与实际调用中,记录并整理了以下关键实测数据与环境配置细节。 ### 真实反馈与技术细节 我也用了2天,感觉说一下 配置: 4090D/DGX spark, 推理框架 llama.cpp 模型: 官方的Q4K_M、Q8(只能用在DGX Spark) 1. 编程很容易出bugs.. Qwen3.6 27B 一次过跑通的。对此重写才能修复。 2. 前端编写能力变强很多,美观也比3.6强不少。感觉有点比DSV4F 都强 3. 4090D 24G 的上下文不足问题严重,关闭MTP、视觉二选一,才能跑64k。 4. 速度明显慢了很多,4090D 跑不开MTP 40token/s 都不到。用DGX Spark 跑上下文的问题解决了,但速度 20token/s 又是一个问题了。 5. 思考太长, ### 探讨与诉求 希望与有类似硬件配置或高并发 API 调度经验的工程师探讨更优的参数调优与成本控制方案。