第135章 逻辑与生成的结合

  “不，高斯分布也不够好，它的尾部衰减太快，难以表达传递性。”

  徐辰在草稿纸上画了几个图形，最终，他的笔尖停在了一个特殊的流形结构上。

  gumbel-box（甘贝尔盒子）。

  “如果引入极值理论中的gumbel分布来对盒子的边界进行模糊化处理，就能让原本刚性的边界变得『柔软』且处处可导。”

  “这样一来，逻辑推理就不再是生硬的『是』或『否』，而是一个连续的概率流！”

  ……

  “不过，还有一个逻辑上的漏洞。”

  徐辰看著屏幕上新生成的gumbel-box模型代码，敏锐地捕捉到了一个潜在的问题。

  “如果我把逻辑边界变得『平滑』了，变成了一个连续的概率流，那这和传统的transformer有什么本质区別？transformer也是输出一个概率分布，预测下一个词是『猫』的概率是80%，是『狗』的概率是20%。”

  “如果我的模型也只是输出一个软绵绵的概率，那它依然可能会在那20%的时候胡说八道。”

  “必须要有一把锁。”

  徐辰的眼神变得犀利起来。

  他迅速在代码的输出层之前，插入了一个全新的模块——逻辑门控单元。

  “gumbel-box的平滑性，是为了在训练阶段让梯度能够流淌，让模型能『学会』逻辑。但在推理阶段，也就是真正上考场的时候，这个平滑的边界必须瞬间『硬化』。”

  他在草稿纸上画了一个陡峭的sigmoid函数。