您现在的位置是：首页 > 快讯快讯

DeepSeek推出NSA机制提升长上下文训练与推理效率

zhoucl 2025-02-18 17:41:58 快讯已有人查阅

导读 2月18日消息，DeepSeek宣布推出NSA（稀疏注意力机制），该机制与硬件高度一致且支持本机训练，旨在实现超快速的长上下文训练和推理。通过针对现代硬件的优化设计，NSA在加速推理速度的同时显著降低预训练成本，且不会影响模型性能。

2月18日，DeepSeek推出NSA（稀疏注意力机制），该机制与硬件高度兼容并支持本地训练，旨在加速长上下文的训练和推理。通过优化设计，NSA不仅加快了推理速度，还显著降低了预训练成本，且不影响模型性能。

官方测试显示，NSA在通用基准、长上下文任务及指令推理中表现优异，甚至优于完全注意力模型。

本文标签：