论文阅读：ASTRA-TVLSI-2025

论文标题：ASTRA: Reconfigurable Training Architecture Design for Nonlinear Softmax and Activation Functions in Transformers论文作者：Haikuo Shao，Zhongfeng Wang关键词：Activation function, algorithm, architecture, Softmax, training, Transformer ASTRA提出了一种在资源受限设备上优化Transformer模型的Softmax函数与GELU函数的方法，并考虑了反向传播阶段。在Xilinx ZCU102上（500 MHz），论文提出的Softmax单元实现了每秒处理1G个输入的吞吐量（1.0 G..