您好,您的工作对我们有很大启发,我们希望能复现您的实验。下面有几个问题需要像您确认:
1:论文式(12)为:
smoothed_t = w_t * delta2_H_t + w_(t-1) * delta2_H_(t-1)
但源码实现为:
beta_t = 0.9 + 0.1 * w_t
M_t = beta_t * delta2_H_t + (1 - beta_t) * delta2_H_(t-1)
请问主实验采用哪种实现?论文中的w_(t-1)是否表示1 - w_t?
2:论文使用abs(smoothed_t) >= threshold触发检索,但源码还将平滑值乘以归一化注意力。主实验使用的是纯平滑值,还是注意力加权后的值?
3:论文使用绝对值判断,但公开配置为thres_abs=false。主实验实际设置是true还是false?
感谢您的帮助!
您好,您的工作对我们有很大启发,我们希望能复现您的实验。下面有几个问题需要像您确认:
1:论文式(12)为:
smoothed_t = w_t * delta2_H_t + w_(t-1) * delta2_H_(t-1)
但源码实现为:
beta_t = 0.9 + 0.1 * w_t
M_t = beta_t * delta2_H_t + (1 - beta_t) * delta2_H_(t-1)
请问主实验采用哪种实现?论文中的w_(t-1)是否表示1 - w_t?
2:论文使用abs(smoothed_t) >= threshold触发检索,但源码还将平滑值乘以归一化注意力。主实验使用的是纯平滑值,还是注意力加权后的值?
3:论文使用绝对值判断,但公开配置为thres_abs=false。主实验实际设置是true还是false?
感谢您的帮助!