机器之心编辑部

近期，清华DeepSeek 开启了大规模招聘，特奖岗位涵盖算法、煜贤研发、加入产品、清华运维、特奖数据工程师及职能等多个部门。煜贤

与此同时，加入备受瞩目的清华 DeepSeek V4 正式版预计将于本月中旬上线。在 DeepSeek V4 的特奖论文作者名单中，我们注意到了一位重量级学者：清华大学 2021 级博士生、煜贤2025 年研究生特等奖学金获得者顾煜贤（Yuxian Gu）。加入

据确认，清华顾煜贤已正式加入 DeepSeek。特奖

此外，煜贤顾煜贤还曾荣获 2025 年度苹果博士奖学金以及 蚂蚁 In-Tech 奖学金。

「在硬件资源受限的情况下，算法创新成为突破计算瓶颈的关键。」这是清华毕业生顾煜贤的研究理念。他本科及博士均毕业于清华大学计算机系，目前为毕业年级博士生。

根据个人主页信息，顾煜贤隶属于清华大学交互式人工智能课题组（Conversational AI, CoAI），师从 黄民烈教授。

个人主页：https://t1101675.github.io/

顾煜贤的研究聚焦于 大语言模型全生命周期的效率提升，涵盖预训练、下游适配及推理等关键环节。近期，他的研究主要围绕以下三个方向展开：

1. 预训练数据筛选：致力于构建理论与算法，优化大语言模型训练中的数据选择过程，旨在训练出更强大且高效的模型。代表性工作包括 PDS、Instruction Pre-training和 Learning Law。
2. 模型压缩中的知识蒸馏：设计新方法，将大模型的知识高效迁移至更小、更易部署的模型中。代表性成果包括 MiniLLM和 MiniPLM。
3. 高效模型架构：探索并设计新型模型架构，在降低计算成本的同时提升模型性能。相关工作包括 Jet-Nemotron。

在 Google Scholar 主页上，顾煜贤的论文引用量已接近 5000次。其中，引用量超过 1000 次的论文有两篇，分别是 《Pre-trained models: Past, present and future》和 《MiniLLM: Knowledge distillation of large language models》。

顾煜贤以第一作者身份，多次在 NeurIPS、ICLR、ACL等国际 AI 顶级学术会议上发表论文。

机器之心此前曾报道过 Jet-Nemotron，这是一种全新的混合架构语言模型系列。它在达到 SOTA 全注意力模型精度的同时，还具备卓越的效率。

Jet-Nemotron 的核心创新主要体现在以下两点：

• 后神经架构搜索 (Post Neural Architecture Search, PostNAS)：一种高效的后训练架构探索与自适应 pipeline，可适用于任意预训练的 Transformer 模型。
• JetBlock：一种新型的线性注意力模块，其性能显著优于 Mamba2 等先前设计。

论文地址：https://arxiv.org/pdf/2508.15884

当时数据显示，2B 版本的 Jet-Nemotron性能即可超越 Qwen3、Qwen2.5、Gemma3 和 Llama3.2 等最 SOTA 的开源全注意力语言模型，并实现了显著的效率提升。在 H100 GPU 上，其生成吞吐量实现了高达 53.6 倍的加速（上下文长度为 256K，最大 batch size）。

在 MMLU 和 MMLU-Pro 基准测试中，Jet-Nemotron 的准确率甚至超过了一些参数规模更大的 MoE 全注意力模型，如 DeepSeek-V3-Small 和 Moonlight。

在更早的 2024 年，顾煜贤及其合作者提出了一种将大语言模型蒸馏为小语言模型的知识蒸馏方法。该方法首先利用 反向 Kullback-Leibler 散度（KLD）替代标准知识蒸馏中的正向 KLD 目标，随后推导出一种有效的优化方法来学习这一目标。

他们将得到的学生模型命名为 「MiniLLM」。在指令跟随场景下的大量实验表明，相比基线方法，MiniLLM 能生成更精准的回答，整体质量更高，同时具备更低的曝光偏差、更好的校准能力以及更强的长文本生成性能。

目前，谷歌、阿里、英伟达等领先的开源社区和产业平台已采用这一方法。

论文地址：https://arxiv.org/pdf/2306.08543

我们期待顾煜贤在人生的下一段「DeepSeek」旅程中，带来更多新的成果。

(责任编辑：知识)