标签： 预训练语言模型

Transformer架构以自注意力机制为核心，通过位置编码与编码器-解码器结构突破序列依赖限制。从原始Tra…