第108章 晶片

⚡ 自动翻页 开启后阅读到底自动进入下一章
⚡ 开启自动翻页更爽 看到章尾自动进入下一章,追书不用一直点。

  沈一鸣刚入职三天,还在熟悉402的技术栈,听到左城的问题愣了一下:“模型压缩优化?你是指通用的模型压缩技术?“

  左城意识到自己差点说漏嘴,赶紧改口:“我的意思是,你的自適应压缩率算法,和业界主流的模型压缩技术能不能做更深度的结合?比如知识蒸馏加量化加你的自適应压缩,三管齐下。“

  沈一鸣思考了一会儿,推了推眼镜,眼睛亮了:“理论上可以。知识蒸馏把大模型的知识转移到小模型,量化降低精度要求,自適应压缩动態调整通信和计算量。三条路径叠加,压缩比可能做到五十倍以上。但如果三条路径深度耦合,还能更进一步,因为量化和蒸馏的损失可以在自適应压缩中被补偿。“

  “五十倍?“左城的心跳加速了。

  “保守估计。“沈一鸣拿过左城桌上的白板笔,在旁边的小白板上画了一个流程图,“你看,传统的做法是三步串行,蒸馏完了再量化,量化完了再压缩,每一步的误差会累积。但如果把三步並行,让蒸馏的损失函数包含量化约束,量化的参数空间由自適应压缩来搜索,误差就不会累积,反而可以互相补偿。“

  他在白板上写了几个公式,虽然写得很潦草,但逻辑清晰。

  “不过这需要三个方向的代码深度耦合,工程量不小。“沈一鸣放下笔,“至少要三个人做三个月。“

  “你来做。“左城说,“需要什么资源我给你配。算法方面你和马昊配合,工程方面方泽的硬体团队做支撑。两周內给我一个技术方案。“

  沈一鸣深吸一口气:“两周有点紧,但可以试试。“

  左城拍了拍他的肩膀:“不是试试,是做到。“

  沈一鸣愣了一下,然后用力点了点头。

  当天下午,左城在系统面板上查看了科技树的被动效果。ai枝干激活后,所有融合叶片的技术增幅从1.2倍提升到了1.25倍。也就是说,沈一鸣的模型压缩方案在402落地时,实际效率会比理论上更高。

  但他不能告诉沈一鸣这一点。

  左城关掉系统面板,拿起手机拨了於颖的电话。

  “空空,今晚有空吗?“