信息详情 ONE CURRENT SIGNAL 公开卡片 ### 背景与测试环境 我是社区开发者 **Nixiak雾行**。在近期的大模型多端部署与实际调用中,记录并整理了以下关键实测数据与环境配置细节。 ### 真实反馈与技术细节 现在我最大的问题就是这个思维链太长了吧,非常简单的一个小问题都要思考非常长的时间,我目前单卡推理的速度大概是100token每秒,使用low又不行,达不到效果,使用深度思考就卡掉了,什么时候可以出来A3B的版本啊 ### 探讨与诉求 希望与有类似硬件配置或高并发 API 调度经验的工程师探讨更优的参数调优与成本控制方案。 关联 ⚡️ 实时计算 等待读取 🔄 实时重算
### 背景与测试环境 我是社区开发者 **Nixiak雾行**。在近期的大模型多端部署与实际调用中,记录并整理了以下关键实测数据与环境配置细节。 ### 真实反馈与技术细节 现在我最大的问题就是这个思维链太长了吧,非常简单的一个小问题都要思考非常长的时间,我目前单卡推理的速度大概是100token每秒,使用low又不行,达不到效果,使用深度思考就卡掉了,什么时候可以出来A3B的版本啊 ### 探讨与诉求 希望与有类似硬件配置或高并发 API 调度经验的工程师探讨更优的参数调优与成本控制方案。