信息详情 ONE CURRENT SIGNAL 公开卡片 ### 背景与测试环境 我是社区开发者 **回忆灬羽**。在近期的大模型多端部署与实际调用中,记录并整理了以下关键实测数据与环境配置细节。 ### 真实反馈与技术细节 评论区都是怎么省的显存?吹牛逼呢?我两张3090,Q6,256k,需要40g显存,你们单卡,24g的,还说自己开q8,开bf16,还能64k ?现在最大的问题是速度太慢了。思考也很慢,而且不是很精准,千问还是老样子,跑分王。生成速度慢的一批,有买设备跑通它的钱,买token,能用好几年。 ### 探讨与诉求 希望与有类似硬件配置或高并发 API 调度经验的工程师探讨更优的参数调优与成本控制方案。 关联 ⚡️ 实时计算 等待读取 🔄 实时重算
### 背景与测试环境 我是社区开发者 **回忆灬羽**。在近期的大模型多端部署与实际调用中,记录并整理了以下关键实测数据与环境配置细节。 ### 真实反馈与技术细节 评论区都是怎么省的显存?吹牛逼呢?我两张3090,Q6,256k,需要40g显存,你们单卡,24g的,还说自己开q8,开bf16,还能64k ?现在最大的问题是速度太慢了。思考也很慢,而且不是很精准,千问还是老样子,跑分王。生成速度慢的一批,有买设备跑通它的钱,买token,能用好几年。 ### 探讨与诉求 希望与有类似硬件配置或高并发 API 调度经验的工程师探讨更优的参数调优与成本控制方案。