您现在的位置是：首页 > 快讯快讯

DeepSeek发布《原生稀疏注意力：硬件对齐且可原生训练的稀疏注意力机制》论文

zhoucl 2025-02-18 21:42:30 快讯已有人查阅

导读 2月18日消息，DeepSeek团队近日发布了一篇题为《原生稀疏注意力：硬件对齐且可原生训练的稀疏注意力机制》的技术论文，介绍了他们提出的NSA（Natively Sparse Attention）机制。NSA结合了算法创新和硬件优化，旨在实现高效的长文本建模。其核心创新包括：

2月18日，DeepSeek团队发布论文《原生稀疏注意力：硬件对齐且可原生训练的稀疏注意力机制》，介绍NSA（Natively Sparse Attention）机制。NSA结合算法创新与硬件优化，旨在高效处理长文本建模。

实验表明，NSA在长文本任务和指令推理中表现出色，尤其在64k长度序列处理中显著加速解码、前向传播和反向传播。

本文标签：