关于我：从云原生数据面到智能语义路由

我是一名关注 AI Infra、LLM Gateway 与智能语义路由 的工程师。我的工作经历从云原生网络与网关数据面开始，逐步延伸到统一模型服务、MaaS 平台、模型路由与 LLM 流量治理。

如果用一句话概括我现在最关心的问题，那就是：当大模型调用从应用代码里的一次 API 请求，变成高成本、高延迟、多模型、多租户、可观测、可治理的生产流量时，基础设施层应该如何理解这条请求，并做出更好的决策。

我的背景

我有计算机相关方向的硕士背景，长期在基础设施系统里工作。早期我主要关注云原生网络、Kubernetes Service、Ingress / Gateway、流量入口和生产数据面稳定性。这段经历让我对数据面、控制面、策略下发、服务发现、负载均衡、灰度、回滚和线上排障有比较扎实的工程直觉。

后来我的工作逐渐转向 AI Infra 和 LLM Gateway，参与统一模型服务与 MaaS 平台能力建设，关注模型 API 接入、请求治理、租户隔离、配额控制、可观测性与稳定性保障。相比普通 HTTP 服务，大模型请求通常更贵、更慢、更长连接、更难重试，也更需要在平台层做统一治理。

这两段经历看起来处在不同领域，但对我来说它们其实是一条连续的主线：无论是传统微服务流量，还是 LLM 推理流量，最终都需要一个可靠、可观测、可演进的数据面。区别在于，LLM 流量多了一层语义，也多了成本、质量、安全、上下文和模型能力这些新的决策变量。

我为什么关注 LLM Gateway

LLM 应用刚开始通常很简单：应用侧直接调用一个模型 API，拿到结果后返回给用户。但当系统进入生产阶段，问题会迅速变复杂。

你需要处理不同模型供应商和不同推理后端的协议差异，需要支持流式输出、tool calling、超时、重试、熔断和降级，需要在多租户环境下做鉴权、限流、配额、计量和审计，还需要知道一次请求为什么慢、为什么贵、为什么失败，以及是否触发了安全风险。

这正是 LLM Gateway 的价值所在。它不只是一个反向代理，而是 LLM 应用和模型服务之间的基础设施边界：应用把请求交给网关，网关负责治理流量、理解请求、选择后端、执行策略、采集反馈，并把系统行为变得可观测和可复盘。

我现在做的很多事情都围绕这个边界展开：模型 API 接入、请求治理、租户隔离、配额与 SLO、审计计量、模型路由、语义缓存、安全检测和反馈闭环。

我理解的智能语义路由

我也是 vllm-project/semantic-router 的核心 committer，长期关注 Mixture-of-Models、AI Gateway 和生产 LLM 流量治理场景下的智能路由问题。

在传统网关里，路由通常依赖路径、域名、Header、权重或实例健康状态。但在 LLM Gateway 里，真正重要的路由信号往往藏在请求语义和模型能力里：这个请求是在写代码、做数学推理、做信息抽取，还是闲聊？它需要长上下文吗？是否涉及敏感信息？是否可以用小模型完成？是否命中语义缓存？是否应该优先选择更低延迟、更低成本或更高质量的模型？

所以我理解的智能语义路由，不只是把请求转发到某个模型，而是从 prompt、上下文、请求参数、租户元数据、历史反馈、模型能力、成本、延迟、安全等级和缓存状态中抽取信号，然后做出一组可解释、可观测、可回放的决策。

这个决策可能包括：

选择最合适的模型或模型组合。
在成本、延迟、质量和稳定性之间做权衡。
判断是否需要安全检测、拒答、重写或人工审核。
判断是否可以命中 semantic cache、prefix cache 或其他上下文复用机制。
在后端异常、限流或质量下降时做降级和重试。
将用户反馈、错误率、延迟、成本和质量信号回流到后续策略中。

这也是我喜欢 semantic-router 的原因：它不是一个单点算法项目，而是一个把 LLM 应用层决策下沉到基础设施层的实验场。它连接模型服务、网关数据面、安全治理、在线学习、缓存系统和可观测性。

我的工程视角

我倾向于把 LLM 系统看成一条完整链路，而不是一个孤立模型。

一次请求进入系统后，可能会经过鉴权、配额、语义理解、安全检测、模型选择、缓存判断、后端推理、流式返回、审计计量和反馈采集。每一层都可能影响最终体验，也都可能成为线上问题的来源。

因此我在做技术判断时，会特别关注几个问题：

这个能力应该放在应用层、网关层，还是推理后端？
这个策略能不能解释、观测、回放和灰度？
它优化的是平均成本，还是尾延迟、质量、稳定性或缓存命中率？
它在单机 demo 中成立，到了多租户、长连接、流式输出和失败重试场景下是否仍然成立？
它和 Kubernetes、Gateway API、Envoy、vLLM、SGLang 等已有系统如何组合？

从云原生网关转向 AI Gateway 后，我越来越强烈地感受到：LLM 基础设施并不是从零开始的新大陆。它正在复用过去十年云原生数据面沉淀下来的控制面、数据面和可观测性范式，只是请求本身变得更语义化了。

接下来我会持续写什么

这个网站会作为我的长期技术档案，记录我对 AI Infra、LLM Gateway、智能语义路由和云原生数据面的理解。它不会只是一个静态简历，而会逐步沉淀文章、研究笔记、项目总结和公开履历。

我接下来会重点写这些主题：

LLM Gateway、AI Gateway 与模型服务化基础设施。
Semantic Router、Mixture-of-Models 与模型路由策略。
Envoy、Gateway API、ext_proc 与云原生数据面。
vLLM、SGLang、KV cache、prefix caching 对路由和调度策略的影响。
Agent runtime、上下文工程、工具调用和可观测性。

我希望这个网站最终呈现出的，不只是“我做过什么”，也包括“我如何理解这些系统”。它会记录我如何把开源研究、生产经验和工程实现连接起来，也会记录我在这个方向上持续学习、判断和迭代的过程。