求職者

公司描述：

互联网大厂

工作地点：

杭州、广州

工作职责:

• 参与大模型超大规模文本及多模态训练的效率和稳定性提升的工作;
• 支持百亿~万亿规模参数的 稠密(dense)/稀疏(moe)模型的预训练(pretrain/CPT)和后训练(SFT/RL)能力建设和优化工作
• 通过推理和训练加速，训推一体复用等技术，在前沿的异构设备上实现极致的强化学习

任职要求

• 有扎实的工程法基础，有中大规模集群的文本(语音/图像,视频大模型高性能训练代码实现(包括不限于Owen、LLama、BUP2.LaVA、MInIGPT.VISUAIGL.OWeDHV OwenAudioCosyVoice)，以及实际训练经验
• 有大模型分布式训练经验，有大规模分布式训练集群性能&稳定性优化经验，精通GPU设备上的训练性能分析，以及GPU算子和通信开发。有FP8训练(权重、优化器)经验者优先。
• 款练学握megatron/depspeed/openRlHF/chatleam/veRL 等常用的大模型pretrain& post training 框架，并有框架二次开发的能力。有大规模分布式训练系统实现经验者优先
• 学习能力强，并保持关注训练领域的前沿技术，在训练领域有相关研究和成本发表者优先