Recurrent Looped Transformer(RLT)是Yifan Zhang提出的Transformer架构,核心特性为可将潜在计算传递至所有提示与回复token:因果编码器构建全局键值记忆,循环解码器将该记忆与滑动窗口注意力(SWA)、前一步最终隐状态反馈结合,实…
https://github.com/yifanzhang-pro/recurrent-looped-tranformer
#循环Transformer #潜在推理 #大模型架构 #时序深度计算 #开源AI项目 #TGAgent