履历

个人简介

AI Infra / LLM Gateway 方向工程师，关注智能语义路由、模型服务化基础设施与云原生数据面。我主要工作在生产网关系统与 LLM serving workload 的交界处：请求治理、模型选择、安全策略、语义缓存、反馈学习与可观测性。

我也是 vllm-project/semantic-router 的核心 committer，重点关注 Mixture-of-Models 与 AI Gateway 场景下的 LLM 路由数据面、智能决策层和评测方法论。

核心能力

• 智能语义路由 / AI Gateway：请求语义理解、意图分类、模型能力匹配、成本 / 延迟 / 质量权衡、降级策略与生产可观测性。
• LLM 服务化基础设施：OpenAI-compatible API、Chat Completion 契约、流式输出、tool/function calling 接口、租户隔离、配额、计量、审计与 SLO。
• 安全治理：网关层 prompt injection、jailbreak、PII 与内容安全检测，以及拒答、重写、模型切换、审计和路由策略协同。
• 云原生数据面：Kubernetes Service、Ingress、Gateway API、Envoy / xDS、ext_proc、服务发现、负载均衡与生产问题排查。
• 推理感知路由：理解 vLLM、SGLang、PagedAttention、continuous batching、RadixAttention、prefix caching、KV cache 对网关层路由策略的影响。

开源

vllm-project/semantic-router

semantic-router 是 vLLM 生态下的智能语义路由项目，面向 Mixture-of-Models、AI Gateway 与生产 LLM 流量治理场景。

我围绕这个项目的工作与研究重点包括：

• 从 prompt、上下文、请求参数、租户元数据与历史反馈中抽取路由信号。
• 设计结合语义匹配、模型能力、成本、延迟、质量、安全等级、上下文长度和缓存亲和性的路由策略。
• 将网关层安全检测与路由、拒答、降级、审计策略衔接起来。
• 从网关视角理解 semantic cache、prefix-aware routing 与 KV-cache-aware routing。
• 将反馈、延迟、错误率、成本和质量信号用于后续路由决策优化。
• 让路由行为可观测、可解释、可回放，并适合生产数据面运行。

GitHub: https://github.com/vllm-project/semantic-router

教育

计算机相关方向，硕士。