侧推理框架和字节推荐模型的适配问题,他在实验室里已经跑了几百轮测试,优化方案改了三版,偏差从百分之八压到了百分之一点五。
再往下压,他心里也有谱。
问题出在NPU调度策略和内存访问模式的匹配上,只要把算子融合那一层重构一下,理论上能进百分之一以内。
他虚的是另一件事。
字节会配合吗?
这个问题从接到出差通知那天起,就一直悬在他心里。
上周五的动员会上,陈默总把这次出征的骨干叫到一起,简单说了几句。
当时范正华坐在会议室后排,看着投影幕上那行“字节跳动·鸿蒙端侧推理联合攻坚”的标题,脑子里转的全是过去的经验。