AI 推理平台工程师

岗位介绍

负责公司大模型推理平台与算力服务后端的研发与优化，围绕 vLLM、SGLang 等推理引擎构建稳定、高并发的模型服务能力，服务于公司算力市场与 AI 应用产品。

岗位职责

• 设计与开发基于 vLLM / Triton / SGLang 等的推理服务架构
• 优化模型推理性能（吞吐、延迟、显存利用率）
• 维护多模型路由、负载均衡与限流策略
• 配合算力调度，完成 GPU 资源的高效利用与运维

任职要求

• 3 年以上后端或推理平台开发经验
• 熟悉 Python / Go，具备良好的工程能力与代码品味
• 熟悉至少一种主流推理引擎（vLLM / TensorRT-LLM / Triton）
• 了解 GPU 体系结构、CUDA 基础与显存优化方法

加分项

• 有大模型服务上线、调优、稳定性保障经验
• 熟悉 Kubernetes、容器化与服务网格
• 持续关注 AI 工程化与开源社区