信息详情 ONE CURRENT SIGNAL 公开卡片 ### 背景与测试环境 我是社区开发者 **oldnew_1995**。在近期的大模型多端部署与实际调用中,记录并整理了以下关键实测数据与环境配置细节。 ### 真实反馈与技术细节 我试了,一个很重大的问题,就是太啰嗦,思考浪费的时间太长,浪费的上下文太多,我一个计算线段距离的问题,32G显存,Q6模型,25tokens/s,用了30分钟,上下文50k,才完成。显卡支持的上下文,很快就会被过度思考浪费掉,最常见的问题是思考没结束,上下文用完了,没干正事就结束了。 ### 探讨与诉求 希望与有类似硬件配置或高并发 API 调度经验的工程师探讨更优的参数调优与成本控制方案。 关联 ⚡️ 实时计算 等待读取 🔄 实时重算
### 背景与测试环境 我是社区开发者 **oldnew_1995**。在近期的大模型多端部署与实际调用中,记录并整理了以下关键实测数据与环境配置细节。 ### 真实反馈与技术细节 我试了,一个很重大的问题,就是太啰嗦,思考浪费的时间太长,浪费的上下文太多,我一个计算线段距离的问题,32G显存,Q6模型,25tokens/s,用了30分钟,上下文50k,才完成。显卡支持的上下文,很快就会被过度思考浪费掉,最常见的问题是思考没结束,上下文用完了,没干正事就结束了。 ### 探讨与诉求 希望与有类似硬件配置或高并发 API 调度经验的工程师探讨更优的参数调优与成本控制方案。