信息详情

ONE CURRENT SIGNAL

### 背景与测试环境 我是社区开发者 **石头都被搬没了**。在近期的大模型多端部署与实际调用中,记录并整理了以下关键实测数据与环境配置细节。 ### 真实反馈与技术细节 这个模型试过,两个问题,一个是思考过长,另一个就是gdn量化导致的注意力缺陷问题,思考过长就社区都是一致的观点,至于后面这个,unsloth专门做个测试。 其实在qwen3.6 27b的时候,社区出现了大量的思考限制模型和保留bf16的gdn,4bit量化版本,效果好是好,但代价就是同样的4bit量化,多了7个g的显存占用。 我自己也测过了,同样是awq 4bit的量化,保留bf16的gdn思考情况确实比4bit量化的gdn要好很多,至少知道自己在思考什么东西,无论是3.6还是3.8,而且社区上大部分降低思维链的微调版本都是基于保留bf16的gdn量化版本,甚至官方得fp8量化版本都要保留bf ### 探讨与诉求 希望与有类似硬件配置或高并发 API 调度经验的工程师探讨更优的参数调优与成本控制方案。

ENTER INFO

使用通行密钥

使用设备解锁即可进入,不用打开邮箱或等待验证码。

PUT ONE SIGNAL INTO MOTION

发布信息

发布人由当前账户自动填写 · 发布即确认你有权公开内容 · 支持 Markdown 与 LaTeX

YOUR SIDE OF THE NETWORK

我的网络

设置正在读取

MEMBER SIGNALS

成员

正在读取这个成员的卡片…

REQUEST A CONNECTION

发起连接

写一句临时验证消息。对方确认后,双方才可查看彼此的联系方式。

REAL CONNECTION

补充手机号

连接确认后,双方会自动看到彼此当前的手机号。