AI Infra 全景入门 2026：是什么、技术栈 9 层拆解、3 条学习路线 + 1 个零成本实战跑通全链路

如果你最近关注 AI 领域的招聘或技术文章，一定反复看到一个词：AI Infra。

有人说它是”大模型时代的操作系统”，有人说它是”让 1 万张 H100 连起来不出故障的玄学”，还有招聘 JD 把 CUDA、K8s、分布式训练、向量数据库、Agent 编排…… 全塞进去，看得人一脸懵。

AI Infra 到底是什么？和 AI 算法有什么区别？一个普通 Java/Go/Python 后端工程师能转行进去吗？又该从哪里学起？

这篇就把这些问题一次性讲透。和网上只讲 CUDA/C++ 硬核底层的文章不同，我会从应用工程师也能看懂、能上手的视角出发，覆盖四块核心内容：

• 全景图：9 层 + 4 横切能力，看完立刻知道每个技术落在哪个位置，不会再”学了一个 vLLM 不知道它和 K8s、Ray 是什么关系”；
• 定位澄清：AI Infra vs AI 算法 vs 普通后端，一张表搞懂分工边界；
• 三条学习路线：后端转平台方向、算法转训练方向、产品/运营学概念方向，分别给出 3/6/12 个月的 roadmap，每个阶段带”做什么小项目”；
• 零成本实战：一台 16GB 内存的笔记本 + 一张 8GB 消费级 GPU（甚至纯 CPU），跑通 vLLM 推理服务 + LiteLLM 网关 + 前面讲过的 Spring AI + Milvus RAG，把前 4 篇文章的全部内容在 AI Infra 全景中归位。

看完这篇，你对 AI 技术栈的理解会从”零散的名词堆积”变成”一张清晰的地图”。

---

0）一句话定义 + 和相邻岗位的边界

0.1 什么是 AI Infra？

AI Infra（全称 Artificial Intelligence Infrastructure，人工智能基础设施）是为支持人工智能（尤其是大模型和深度学习）的开发、训练、部署与推理而构建的全栈底层技术体系与平台**。它的核心目标只有一个：在成本可控的前提下，让 AI 工作负载（训练 / 微调 / 推理 / Agent 执行）高效、稳定、可扩展地跑起来。

用两个互补的类比来建立直觉（一个对算法/研发，一个对老板/业务）：

比喻	AI 世界里的角色
赛车 + 赛道体系（偏研发视角）	赛车 = 大模型/算法；赛车手 = 调参/Prompt 工程师；赛道+加油站+维修站+物流体系 = AI Infra
智能工厂（偏业务/平台视角）	原材料 = 数据；生产线 = 训练/推理/Agent 工作流；厂房+流水线+机器人+能源调度+质量管理 = AI Infra——把硬件、软件、数据和计算资源整合在一起，确保 AI 系统稳定、快速、持续地”生产出智能”

没有好赛道，再牛的赛车也只能在院子里打转；没有智能工厂的基础设施，再先进的模型算法也只是论文里的公式。

0.2 AI Infra vs AI 算法 vs 普通后端：一张表看边界

很多同学纠结”我现在写 Java/Spring，算不算做 AI？””搞算法的写 CUDA 是不是在做 Infra？”看这张表就清楚了：

维度	AI 算法工程师	AI Infra 工程师	普通后端工程师
核心关心	模型效果（Loss、准确率、生成质量、MMLU 分数）	运行效率（吞吐、延迟、GPU 利用率、成本）	业务功能（CRUD、接口稳定、并发、数据一致性）
典型输出	一篇论文 / 一个更好的模型权重 / 一套微调策略	一套让 GPU 利用率从 30%→85% 的调度系统	用户下单 / 查询订单 / 权限管理接口
主要语言	Python（PyTorch）、偶尔写 CUDA Kernel	Python + C++/CUDA + Go（写调度/Operator）	Java / Go / Python（FastAPI/Spring）
优化方向	Loss 更低	显存更省、速度更快、扩展性更强	QPS 更高、RT 更低、SQL 命中索引
代表技术	Transformer、RLHF、LoRA、MoE	CUDA、NCCL、vLLM、Ray、Kueue、FlashAttention	Spring Boot、MySQL、Redis、Kafka、K8s（通用用法）
数学要求	高（线性代数、概率统计、优化理论）	中（对矩阵维度、通信复杂度要有直觉）	低
交叉地带	向左：写高性能 Kernel 就跨到 Infra 了	向右：用 Spring AI 写 RAG 就跨到业务端了	向左：做 AI 平台化开发、接入推理服务

关键洞察：三者不是割裂的，而是一条连续的光谱。尤其在 2026 年，“业务后端 + AI Infra 中上 4 层” 是需求最大的人才缺口——会写 Spring Boot、懂 K8s、能把前面写的 Spring AI + Milvus RAG 部署到生产、接个 vLLM 推理网关，这就是非常抢手的”AI 应用平台工程师”。

0.3 为什么 2026 年必须关注 AI Infra？

从”要不要做”的现实决策角度，有三个直接原因：

1. 算力是最大成本项：GPT-4 级模型一次训练烧 5000 万美金+，企业用 AI 产品 80% 以上的成本是推理费用，Infra 优化 10% 就是上千万真金白银；
2. Demo 到生产的鸿沟靠 Infra 填：95% 的 Agent/RAG 项目死在生产（GPU 闲时浪费、忙时排队、故障恢复慢、成本不可控），这些都是 Infra 问题；
3. 人才缺口极大：算法岗内卷严重，但 AI Infra 岗（推理部署、平台工程、GPU 调度）招聘量 2026 年同比涨 200%+，且跨学科壁垒高，进来后竞争反而小。

0.4 为什么一定要「专属的 AI Infra」，而不能复用传统 Web 后端的基础设施？

看到这里你可能会问：”公司 K8s 集群都有了，直接用不就行了？干嘛还要搞一套’AI Infra’？”答案是：AI 工作负载的底层特征，和传统 HTTP Web 服务完全不同——Web 服务的 Infra 优化到极致，也无法解决 AI 特有的三大矛盾，必须有专属的技术栈：

专属 AI Infra 的三大核心理由	本质矛盾	典型体现	没有专属 Infra 的后果
① 极致的性能敏感度	AI 的计算是”微秒级等待 = 巨大算力浪费”	训练每次 AllReduce 梯度同步多等 10µs，1 万张 H100 连续跑 30 天，累计浪费的算力相当于几十张卡空转；推理首 Token 延迟要求 <300ms，微秒级的网络抖动直接影响用户体验	GPU 利用率（MFU，Model FLOPs Utilization，模型浮点运算利用率）只能跑到 25%~35%，而业界顶级公司能跑到 55%+ —— 同样买 100 张卡，你只相当于用了 30 张
② 超大规模协同的必要性	千亿/万亿参数模型，单卡/单机根本塞不下，必须依赖万卡级集群的高效协同与分布式并行策略	Llama 3 405B 训练用了 16,384 张 H100；国内大模型公司动辄部署 5~20 个千卡集群；一张 H100 80GB 连 Qwen 3 72B 都塞不下，必须张量并行 + 流水线并行 + 数据并行的 3D 混合切分	集群通信占时 > 计算时间，训练跑一个月不出结果；或者推理 72B 模型首 Token 等 5 秒，用户直接关页面
③ 从「训练为王」转向「推理为王」的成本结构剧变	训练是一次性投入（几千万美金花完就结束），但推理是持续的运营成本中心（用户用得越多花得越多，常年累月远超训练成本）	2026 年 AI 产品端到端总成本中，推理支出普遍占 80% 以上；同样 1 个月 100 万 AI 账单，Infra 做得好的团队（vLLM + 量化 + 小模型路由）可能只要 15 万就够	产品还没盈利，推理账单先把公司烧垮；明明用户增长很快，毛利却是负数

这就是为什么 NVIDIA、阿里云、AWS 这类巨头，必须花几百亿专门建 AI 数据中心、搞 AI 专用交换机（InfiniBand NDR 800G）、做 AI 专属调度（Kueue）——因为 AI 工作负载的”不可能三角”（计算 / 通信 / 显存）和 Web 服务的”不可能三角”（并发 / 延迟 / 成本），压根就不是一个问题。

面试/汇报加分技巧：下次聊 AI Infra，把 MFU（Model FLOPs Utilization） 和**「训练一次性投入 → 推理持续成本中心」**这两个词抛出来，立刻从”聊概念”升级到”懂行”。

---

1）全景图：先看行业经典 3 层入门分层 → 再细化到 9 层 + 4 横切生产级全景

1.1 行业通用的 3 层入门分层（和 NVIDIA 官方术语表、主流行业文章口径一致）

无论在 NVIDIA 官方术语表、知乎专栏、还是 CSDN 深度文章里，AI Infra 最容易被新人理解的入门分层，永远是这 3 层——从下到上分别是”硬件层 → 软件与中间件层 → 运维与平台层（XOps）“：

层级	英文对应	核心职责	2026 主流代表技术
① 硬件层（算力 + 存储 + 网络）	Hardware Layer	提供物理层面的算力底座和数据通路，一切上层能力的物理根基	计算芯片：GPU（NVIDIA H100/H200/B200、AMD MI355X）、NPU（华为昇腾 910C/寒武纪 MLU590）、TPU（Google）、ASIC 定制芯片 高速网络：InfiniBand NDR 800G（训练首选）、NVLink/NVSwitch（单机 8 卡全互联）、RoCE v2（以太网经济方案） 高性能存储：本地 NVMe SSD（热数据）、分布式存储 / 对象存储（S3/OSS/MinIO 温冷数据）、JuiceFS/Alluxio 分布式缓存（加速数据加载）
② 软件与中间件层（框架 + 加速）	Software & Middleware Layer	让硬件真正”能跑模型”，并榨干每一分算力	底层算子库与编译器：CUDA / CUDNN / TensorRT（NVIDIA）、CANN（华为昇腾）、Triton / TVM（AI 编译器）、FlashAttention-2（手写高性能 Attention Kernel） 分布式训练与推理框架：PyTorch 2.x（训练+推理统一生态）、DeepSpeed ZeRO（微软，超大规模训练）、Megatron-LM（NVIDIA，3D 并行）、vLLM / TensorRT-LLM / llm-d（推理引擎，吞吐 10~24 倍提升）
③ 运维与平台层（XOps）	Operations & Platform Layer（DevOps → MLOps → LLMOps）	把”能跑一次”的模型，变成”100 个团队每天稳定用、成本可控、出问题能查”的平台服务	资源调度：Kubernetes（容器编排底座）+ NVIDIA GPU Operator（GPU 驱动/网络/MIG 一键部署）+ Kueue（CNCF 毕业，GPU 公平队列调度，利用率从 25%→70%+）+ Ray（统一分布式计算引擎） XOps 运维工具链： · DevOps（应用部署/CI-CD） · MLOps（传统机器学习：模型版本 MLflow、数据标注、自动训练流水线） · LLMOps（大模型时代新增）：Prompt 管理、RAG 评测（Ragas）、Agent Trace（Langfuse）、FinOps 成本归因、多模型网关（LiteLLM）

XOps 演化脉络：DevOps 管”应用” → MLOps 管”传统 ML 模型” → 2024 年后 LLMOps 专门管”大模型 + RAG + Agent”。这三者不是替代，而是叠加——企业生产环境里三层同时存在。

1.2 本文进一步细化：9 层纵向 + 4 个横切能力（2026 生产级全景）

上面的 3 层法，适合向老板汇报、或和非技术同学沟通时用；但如果你是工程师要真正上手落地，第 ① 硬件层太粗（只知道 GPU 没用，调度和存储得分开看）、第 ③ XOps 层太粗（调度/评测/可观测混在一起，根本没法分工）。

所以本文在 3 层法的基础上，进一步把每个大层拆成 3 个小子层，一共 9 层纵向 + 4 个横切能力。这就是整篇的骨架——以后你看到任何一个 AI 技术名词，先放对层，就立刻知道它解决什么问题、和其他组件是什么关系：

L8 可观测与运营层   ─── Prometheus + Grafana / Langfuse / Arize / MLflow   ]
L7 评测与质量层     ─── Ragas / DeepEval / Promptfoo / 自动化回归评测        ]  ← 对应原第③层
L6 状态与记忆层     ─── Redis / PostgreSQL / Momento / LangGraph Checkpoint ]    XOps 与平台
L5 工具执行层       ─── E2B / Modal / Serverless Worker / 工具沙箱 + 权限网关
L4 编排与 Agent 层  ─── LangGraph / Spring AI Advisor / CrewAI / AutoGen     ]
L3 Prompt 与上下文层 ── Prompt Hub / Dify Prompt Studio / 上下文管理 / Rerank ]  ← 对应原第②层
L2 数据与知识层     ─── Milvus / pgvector / Tika / Fesod / Spark ETL / 数据湖 ]    软件框架中
L1 模型与推理层     ─── vLLM / TensorRT-LLM / LiteLLM / KServe / llm-d      ]    的上层应用
L0 基础资源层       ─── H100/H200 + K8s + Kueue + Ray + GPU Operator        ]  ← 对应原第①层硬件
                      ╔════════════════════════════════════════════════╗
                      ║  横切 4 能力：安全治理 / CI-CD / FinOps / DevEx    ║  ← 贯穿所有 9 层
                      ╚════════════════════════════════════════════════╝

下面就按 9 层结构逐层拆解，每一层都讲：核心问题 → 2026 主流技术选型（开源/商业/云端）→ 适合你的切入点。

如果你是 Java 后端转过来，从 L2 开始往上 + 横切能力入手最丝滑（前面 4 篇 Fesod/Tika/Milvus/Spring AI 就是在 L2、L3、L4 这几层）。

---

2）逐层拆解：核心问题 + 主流选型

L0 基础资源层 —— “算力、存储、网络在哪里跑，怎么调度”

核心问题：10 个团队共享 100 张 GPU，A 团队的训练任务排 2 周队、B 团队 2 张卡闲 3 天，如何公平高效调度？GPU 节点故障了如何自动恢复？

2026 主流技术（2026 年 K8s 上 AI 的共识栈已基本形成，来自 KubernetesGuru 2026 年度报告、PremAI 等多家行业总结）：

类别	技术	说人话
计算硬件	H100 / H200 / B200（NVIDIA）、昇腾 910C（华为）、MI355X（AMD）	一张 B200 约等于 2.5 张 A100
容器编排底座	Kubernetes + NVIDIA GPU Operator	GPU 节点一键装驱动、CUDA、MIG 切分
GPU 任务调度（重点）	Kueue（CNCF 毕业） / Volcano / Slurm（科研）	Kueue 把 GPU 利用率从 25%→70%+，2026 年默认首选
分布式统一引擎	Ray 2.54+ / Anyscale（商业版）	OpenAI 训练 GPT 用它，训练+推理+离线 ETL 一套引擎搞定
存储	S3/OSS/MinIO（对象）、JuiceFS / Alluxio（分布式缓存）、本地 NVMe	大模型数据加载不能等机械盘
网络	InfiniBand NDR 800G（训练首选）/ RoCE v2（经济款）	跨节点通信不能成为瓶颈

普通人切入点：在笔记本上装 K8s + Kueue + GPU Operator（或用 Kind 模拟），跑一个简单的 Ray Job，知道”K8s 只管 Pod、Kueue 管 GPU 队列、Ray 管分布式计算角色”的三角关系。

L1 模型与推理层 —— “模型怎么被调用、怎么降本 80%（最容易产生业务价值的层）”

核心问题：我有一个 Qwen 3 72B 模型，用户并发 1000 人同时对话，如何控制首 token 延迟 < 300ms、单卡吞吐翻 10 倍、4bit 量化后效果不下降？

这是 Infra 里离业务最近、见效最快的一层，也是后端转 Infra 的最佳入口。

2026 主流技术：

类别	工具	定位 / 解决什么
推理引擎（重中之重）	vLLM 0.17+ / TensorRT-LLM / TGI	vLLM PagedAttention 把 LLM 吞吐拉爆 10~24 倍，2026 年开源默认选择；TensorRT-LLM 性能极致但部署复杂
分布式推理 > 70B	llm-d / vLLM + Ray Serve	单台 8 卡塞不下 405B，llm-d 做 prefill/decode 解耦分布，2026 年快速成熟
模型服务框架	KServe（CNCF 毕业） / BentoML / Seldon	套在 vLLM 外面，给你 K8s 原生的自动扩缩容、灰度发布、多模型路由
模型网关（业务最相关）	LiteLLM（开源 100+ 模型统一接口） / Portkey / OneAPI	和业务关系最大：调 OpenAI、通义、文心、本地 vLLM 全走一套 SDK，不绑定任何一家，自动 fallback、限流、缓存、成本统计
模型路由 / 降级	OpenRouter（SaaS）/ 自建 Router + 规则	简单问题用 7B 小模型（便宜 10 倍）、复杂问题用 70B，先粗筛后细答
推理加速技巧	KV Cache、连续批处理、INT4/FP8 量化、投机采样（Speculative Decoding）、Prompt 缓存	这些是面试必问的”推理优化三板斧”，后面学习路线里讲原理

和前面文章的联动：上一篇 Tika + Milvus + Spring AI RAG 里，Spring AI 调用 gpt-4o-mini 时，生产环境就是在 Spring AI 和真正的模型之间插一层 LiteLLM 网关。这样想换通义千问、或者模型降级为本地 vLLM 部署的 Qwen 3，Spring AI 代码一行都不用改，只改网关配置。

普通人切入点：用 Docker 在本地 8GB 显卡上跑 vLLM + Qwen 2.5 7B INT4，接 OpenAI 格式的 API，再把 Spring AI 的 base-url 指过去——半小时体验”从云端 API → 本地私有化大模型”。（第 5 章实战手把手带。）

L2 数据与知识层 —— “模型如何用到企业私有数据（本系列前 4 篇的主战场）”

核心问题：模型训练时没见过我们公司 2026 年的差旅报销制度，怎么让它准确回答而不胡编？怎么把 PDF/Word/Excel/PPT 几千份文档变成模型可消费的知识？

2026 主流技术（咱们系列里已经用过的会在说明里标注「本系列已实战用过」）：

能力	工具	说明
全格式文档解析	Apache Tika 2.9.4 / Unstructured.IO	1000+ 格式一把梭，本系列已实战用过，见 Tika 入门
Excel 精细化导入导出	Apache Fesod	业务系统批量入库 + 知识库 Excel 解析互补，本系列已实战用过，见 Fesod 两篇
向量数据库（重中之重）	Milvus 2.6 LTS / pgvector / Qdrant / Weaviate	Milvus 2.6 支持 BM25 全文 + 向量混合检索，2026 首选，本系列已实战用过；<100w 条用 pgvector 省事
文本切分（Chunking）	Spring AI TokenTextSplitter / LangChain Recursive / Semantic Chunking	本系列已实战用过 Spring AI TokenTextSplitter；切坏了 RAG 效果再怎么调都白搭
Rerank 精排	BGE-Reranker-v2 / 通义 Rerank / Jina Reranker v3	Top-K=30 粗召回 → 精排到 Top 6，准确率 +20%，性价比最高的一步
ETL 流水线	Spark / Ray Data / Airflow / dlt	千万级文档增量入库、清洗、去重、格式转换

普通人切入点：你已经在前面文章里做过了 —— Tika 解析 + Milvus 存向量 + Spring AI 检索。下一步可以把 Top-K 从 6 调到 30，再加一个 BGE-Reranker 精排，立刻看到效果提升。

L3 Prompt 与上下文层 —— “如何和模型说话最靠谱，怎么塞更多资料不超窗口”

核心问题：同样一个问题，张三写的 Prompt 模型回答精准，李四写的就胡说。怎么把好 Prompt 沉淀、版本化、多人协作、灰度对比？用户问题 + 10 份检索到的文档加起来超过模型 128K 窗口怎么办？

主流技术：

能力	工具
Prompt 管理平台	Dify Prompt Studio / PromptLayer / Prompt Hub（自建简单版 3 天搞定）
Query 改写 / 子问题拆解	HyDE（假设性文档嵌入）/ Multi-Query / Step-Back Prompting（都是 Spring AI Advisor 一行开启）
长上下文压缩	LLMLingua2 / LongLLMLingua（把 20K 上下文压缩到 5K，信息保留 95%，推理成本砍 75%）
上下文窗口管理	Lost in the Middle 重排 / 三明治结构（重要资料放最前和最后）

普通人切入点：Spring AI 1.1.x 的 QuestionAnswerAdvisor 已经内置 Query 改写、长上下文排序等开关，把这些参数都试一遍，对比同一个问题的 6 种回答，立刻建立直觉。

L4 编排与 Agent 层 —— “复杂任务怎么被拆解、调度、执行”

核心问题：一个”帮我对比 A、B 两家供应商 2026 年的所有合同条款，输出合规风险报告”的需求，模型不能一次回答好——它需要先查合同库（工具 1）、再逐条对照合规条款（工具 2）、调用 Excel 生成风险报表（工具 3）、最后写一份摘要发邮件。这一连串动作需要 Agent 编排引擎来管。

2026 主流技术：

类别	工具	定位
图编排引擎（2026 主流，重点）	LangGraph（Python/TS）+ Spring AI Flux（Java 版）	用”节点 + 边 + 条件分支”来写 Agent 流程，可控、可调试、可持久化
多 Agent 协作	CrewAI / AutoGen / ChatDev	一个 Agent 当”产品经理”，一个当”工程师”，一个当”测试”，适合复杂知识工作流
Java 生态接入	Spring AI Advisor + Function Calling	前 4 篇系列就是 Java 后端的最佳姿势，本系列已实战用过，工具调用就是写一个 @Bean 加注解

普通人切入点：用 Spring AI 的 Function Calling，写 3 个工具（查订单、查库存、发邮件），让模型决定该调哪个，半天搞定。进阶再上 LangGraph 做分支和循环。

L5 工具执行层 —— “Agent 能做什么，执行边界在哪里（安全最关键）”

核心问题：Agent 拿到用户指令”删除所有合同”，如果直接连业务数据库执行，公司没了。怎么把 Agent 调工具这件事关在沙箱里？怎么鉴权、限流、审计、回滚？

主流技术：

能力	工具
代码执行沙箱	E2B（云端沙箱） / Modal / 本地 Firecracker MicroVM
业务工具网关	自研”工具注册中心 + OPA 权限引擎”
Serverless Worker	AWS Lambda / 阿里云 FC / Knative

普通人切入点：把前面 Spring AI 的 Function Calling 全部包一层权限校验 + 操作审计入库，这就是一个”最小可用的安全工具网关”。

L6 状态与记忆层 —— “系统如何记住一切，又如何不越权”

核心问题：用户和 Agent 聊了 30 轮，怎么记住前面说过”我是财务部的张经理，只看 2026 年 Q3 华东区数据”？Agent 做到一半挂了，重启后怎么从断点继续？

主流技术：

能力	工具
短期对话记忆	Redis / PostgreSQL JSONB / Momento Serverless Cache
长期记忆（用户画像、偏好）	向量库存”历史交互 embedding” + 关系库存结构化信息
工作流 Checkpoint	LangGraph Checkpointer（内置 SQLite/PostgreSQL/AWS DynamoDB）
多租户隔离	按 tenant_id / user_id 给每一行数据打标签，查询时强制过滤（Milvus filterExpression 前面用过）

L7 评测与质量层 —— “改了 Prompt / 换了模型，效果是变好还是变坏？”

核心问题：你把 Embedding 模型从 OpenAI 小模型换成了通义 v3，成本降了，但 RAG 准确率到底降没降？靠人工抽样会累死，也不可复现。

主流技术：

能力	工具	核心指标
RAG 自动化评测	Ragas / DeepEval / TruLens	忠实度（Faithfulness）、答案相关性、上下文精度、召回率
Prompt 回归测试	Promptfoo / PromptLayer A/B Test	同一个 200 条测试集，跑新旧两版 Prompt 出对比报告
Agent 评测	AgentBench / GAIA 数据集 / 自定义工作流成功率	任务完成率、平均工具调用步数、错误率

普通人切入点：把你公司 50 个真实用户问题 + 标准答案录成 JSON，用 Ragas 跑一次，拿到 4 个核心指标的分数。以后每次改动，先跑过基准再上线——这就是最朴素的”AI 质量门禁”。

L8 可观测与运营层 —— “出了问题能不能定位，成本能不能归因到团队”

核心问题：凌晨报警”RAG 问答 P99 延迟从 2s 涨到 10s”，是 vLLM 推理挂了？Milvus 慢查询？还是 embedding API 挂了？本月 AI 账单花了 20 万，哪个团队、哪个接口花的最多？

主流技术：

类别	工具
指标监控	Prometheus + Grafana（vLLM/Milvus/Kueue 都有现成 Exporter）
分布式 Tracing	OpenTelemetry + Jaeger / Langfuse / LangSmith（AI 专用 Trace，能看每一轮 Prompt、每一次检索、每一步工具调用）
成本归因与 FinOps（重点）	Langfuse / LiteLLM Cost Tracker / 自建按 team_id 打标签计费
日志审计	ELK / Loki / Datadog

横切 4 个能力：这 4 件事每一层都要做，不是单独一层能搞定的：

横切能力	含义	典型技术
安全治理	输入/输出 PII 脱敏、Prompt 注入防护、越权检测、数据出境合规	NeMo Guardrails / Rebuff / OPA
CI/CD 与发布治理	Prompt 版本、模型权重、向量索引都走 GitOps；RAG 评测过了才允许灰度	ArgoCD / Flux + L7 的质量门禁
FinOps 成本治理	每个团队 GPU/Token 用量看板；闲时自动缩容；Spot 实例混合调度；小模型路由优先	Karpenter / Kubecost / LiteLLM Cost
开发者体验 DevEx	一键 Dev Container；统一 SDK；Playground（Dify 这类）；OpenAPI 文档自动生成

---

3）三层技术深度定位：你该在哪一层发力？

看完 9 层很容易焦虑：”我要全部学吗？”

当然不。 按你当前岗位 + 目标，选一个”主攻深度 + 相邻了解”的范围就行。我把 AI Infra 分成三个深度圈，大家对号入座：

┌─────────────────────────────────────────────────────────┐
│  第一层 —— 硬内核（1% 人做，薪资天花板）                   │
│  CUDA Kernel / NCCL / 通信原语 / AI 编译器 / FlashAttention │
│  入场难度：清华/浙大/上交 CS 博士 或 5 年+ 底层经验        │
├─────────────────────────────────────────────────────────┤
│  第二层 —— 平台内核（10~15% 人，当下最抢手）               │
│  K8s GPU Operator / Kueue / Ray 调度 / vLLM 部署          │
│  入场难度：有 K8s + Python/Go 经验的后端工程师，6 个月可转  │
├─────────────────────────────────────────────────────────┤
│  第三层 —— 应用平台层（80%+ 人，需求最大、门槛最低）        │
│  L2~L8：Tika / Milvus / Spring AI / Agent 编排 / 评测     │
│  入场难度：每一个 Java/Python/Go 后端 + 产品/测试，1~3 个月 │
└─────────────────────────────────────────────────────────┘

结论：

• 如果你之前是普通后端，不要直接扎 CUDA，从应用平台层切入，半年到 1 年后再决定要不要往平台内核层走；
• 如果你是算法工程师想转 Infra，从平台内核层的分布式训练（DeepSpeed/Megatron/ZeRO）切入最顺；
• 如果你是产品 / 运营 / 项目经理，把应用平台层 + 9 层全景搞懂，就能在 AI 项目里做”能和技术团队同频对话”的明白人，避免被”这事儿做不了”忽悠。

---

4）三条学习路线：3 / 6 / 12 个月的可量化 Roadmap

路线 A：后端工程师 → AI 应用平台工程师（应用平台层→平台内核层，需求量最大）

适用：Java / Go / Python 后端，会用 Spring Boot / K8s / MySQL，想转 AI 方向但不想写 C++/CUDA。

阶段	时长	学什么	产出物（面试能看）
A1 入门（1~2 个月）	前 4 篇系列 + L2~L4	跟着系列做： 1. Tika 解析 + Fesod Excel 导入 2. Milvus 向量库 + Spring AI RAG 3. Function Calling 做 3 个工具	一个能跑的私有化知识库 Demo，Docker Compose 一键起
A2 生产化（第 3 个月）	L1 + L8 横切	1. Docker 部署 vLLM 本地模型，替换掉 RAG 的 OpenAI API 2. 接入 Langfuse 做 Trace + 成本统计 3. 给 RAG 加 Ragas 评测 + 50 条测试集	一套”能演示 + 有指标 + 有监控”的 RAG 生产版（第 5 章实战就是这个）
A3 平台化（4~6 个月）	L0 + L1 + 横切 CI/CD + FinOps	1. 学 K8s + Kueue（GPU 调度） 2. 把 vLLM + Milvus + RAG 部署到 K8s，做自动扩缩容 3. 接入 LiteLLM 网关，多模型路由 + fallback	一个 Helm Chart：helm install my-rag 3 分钟装完一套私有化 RAG 平台
A4 进阶（7~12 个月）	平台内核层深入一层	选一个方向深挖： a. 推理优化：研究 vLLM PagedAttention、KV Cache、量化原理，给社区提 Issue/PR b. 调度系统：读 Kueue 源码，写一个自定义 Queue 插件 c. 向量数据库：给 Milvus 贡献 Java SDK / 测试用例	1~2 个开源项目 PR，或公司内部 1 套 AI 平台上线

路线 B：算法工程师 → AI 训练/推理 Infra 工程师（平台内核层→硬内核层）

适用：PyTorch 调过模型、跑过 DDP，想转”写系统让别人训练更爽、推理更快”的角色。

阶段	时长	学什么	产出物
B1 补齐基础（1~2 个月）	CUDA 入门 + 通信	1. 《CUDA C++ Programming Guide》前 4 章 + 写 2 个 Kernel（向量加、GEMM 简单版） 2. PyTorch DDP 从 0 手写一次 AllReduce 逻辑 + 测带宽	一个 CUDA 学习仓库，有 benchmark 数据
B2 分布式训练（3~5 个月）	数据/张量/流水线并行 + ZeRO + Megatron-LM	1. 用 DeepSpeed ZeRO-3 在 4 张卡训一个 7B 小模型 2. 读 FlashAttention-2 论文 + 看它怎么节约 HBM 带宽	一次完整的训练实验记录（不同 batch size 显存/吞吐对比）
B3 推理优化（6~9 个月）	vLLM 源码 + TensorRT-LLM	1. 给 vLLM 加一个自定义算子适配 / 修一个 Issue 2. 对比 INT4 / FP8 / GPTQ / AWQ 量化方案在 7B / 72B 模型上的精度损失曲线	2~3 篇技术博客 + 量化对比 Excel
B4 深水区（10~12 个月）	AI 编译器 / 通信原语	Triton / TVM / NCCL Ring AllReduce 自己实现一遍	顶会论文复现或开源 PR

路线 C：产品 / 运营 / 测试 → AI 项目懂行人（应用平台层：只学概念 + 动手 Demo）

适用：不和代码天天打交道，但要拍板 AI 采购、写 PRD、做验收、防被忽悠。

时长	目标	要做的事
2 周	建立全景感	把本文 9 层架构图打印贴墙上；遇到每个 AI 技术名词，先放对层
1 个月	亲手跑一次全链路	按第 5 章实战：Dify（可视化 RAG 工具，免代码）+ 本地 Ollama + 跑通一个公司 PDF 问答
2 个月	建立质量直觉	用 Ragas 跑 50 个真实问题，打印”忠实度 / 相关性 / 召回率”报表。能向供应商提问：”你这套 RAG 的 Ragas Faithfulness 能到多少？Rerank 用了没？”
持续	做决策有数据	每次 AI 项目上线前，先要求：评测数据集 + 基线分数 + Trace 看板 + 成本归因

---

5）零成本实战：vLLM + LiteLLM + Spring AI + Milvus，一台笔记本跑通私有化 RAG 全链路

这一章把 L1（vLLM + LiteLLM）+ L2（Milvus + Tika）+ L4（Spring AI Advisor） 串起来。就是把你前面已经写好的 Spring AI + Milvus RAG，从云端 OpenAI API 切到本地私有化模型，感受一次”AI Infra 到底在做什么”。

硬件要求：

• 推荐：8GB+ 显存 NVIDIA GPU（RTX 3060/4060 即可）+ Docker；
• 最低：16GB 内存 CPU（速度慢一点，但一定能跑），用 Qwen 2.5 1.5B。

5.1 Step 1：Docker 起 vLLM（L1 推理引擎）

vLLM 官方镜像已经配好 CUDA 环境，1 条命令起来：

# 1) 如果你有 8GB+ NVIDIA GPU：跑 7B 量化版（约占 5~6GB 显存）
docker run --gpus all -p 8000:8000 --ipc=host \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:v0.17.0 \
  --model Qwen/Qwen2.5-7B-Instruct-AWQ \
  --gpu-memory-utilization 0.9 \
  --max-model-len 8192 \
  --quantization awq

# 2) 如果你只有 CPU：跑 1.5B 小模型（慢，但一定能跑）
docker run -p 8000:8000 --ipc=host \
  -e VLLM_CPU_KVCACHE_SPACE=4 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:v0.17.0 \
  --model Qwen/Qwen2.5-1.5B-Instruct \
  --max-model-len 4096 \
  --cpu-offload-gb 2

验证（OpenAI 兼容 API，curl 直接测）：

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen2.5-7B-Instruct-AWQ",
    "messages": [{"role":"user","content":"请用一句话介绍 AI Infra 是什么"}],
    "temperature": 0.2,
    "stream": false
  }'

能返回 JSON，L1 层就搞定了！

5.2 Step 2：Docker 起 LiteLLM（L1 模型网关 —— 生产关键一步）

为什么要 LiteLLM？因为：

1. 你以后想换通义千问 / 文心一言 / Azure GPT，Spring AI 一行都不改，只改 LiteLLM config；
2. 自动 fallback：本地 vLLM 挂了，自动切云端 API（兜底）；
3. 成本、Token 数、调用日志统一统计。

写一个 litellm-config.yaml：

model_list:
  - model_name: my-chat-model          # 业务方只认这个名字
    litellm_params:
      model: openai/Qwen/Qwen2.5-7B-Instruct-AWQ
      api_base: http://host.docker.internal:8000/v1   # 指向刚才的 vLLM
      api_key: "xxx"                    # 本地随便填，vLLM 不校验

  - model_name: my-embed-model
    litellm_params:
      model: text-embedding-3-small
      api_key: "os.environ/OPENAI_API_KEY"  # Embedding 可以继续用云端便宜的，或者接本地 BGE

router_settings:
  num_retries: 3
  retry_after: 2
  allowed_fails: 2
  fallbacks: [
    {
      "my-chat-model": ["openai/gpt-4o-mini"]   # 本地挂了，自动切 GPT
    }
  ]
general_settings:
  master_key: sk-this-is-my-internal-key   # 业务侧只用这一个 key

启动 LiteLLM：

docker run -itd -p 4000:4000 \
  -v $(pwd)/litellm-config.yaml:/app/config.yaml \
  -e OPENAI_API_KEY=sk-xxx \
  ghcr.io/berriai/litellm:main-latest \
  --config /app/config.yaml --detailed_debug

验证：

curl http://localhost:4000/v1/chat/completions \
  -H "Authorization: Bearer sk-this-is-my-internal-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "my-chat-model",
    "messages": [{"role":"user","content":"1+1等于几？"}],
    "stream": false
  }'

5.3 Step 3：改 Spring AI 配置，RAG 秒变私有化（L2 + L4，复用前面代码 0 修改）

只改 application.yml，你上一篇 企业 RAG 知识库 的 Java 代码一行都不用动：

spring:
  ai:
    openai:
      # 原来指向 api.openai.com，现在改成你刚才起的 LiteLLM 网关地址！
      base-url: http://localhost:4000
      api-key: sk-this-is-my-internal-key    # 和 LiteLLM master_key 一致
      chat:
        options:
          # 这里写你在 LiteLLM 里定义的别名，不关心底层是 vLLM 还是云端
          model: my-chat-model
          temperature: 0.2
      embedding:
        options:
          model: my-embed-model
          dimensions: 1536

    vectorstore:
      milvus:
        # Milvus 不变，还是本地 Docker 的（上一篇里你已经起好了对吧？）
        collectionName: kb_docs
        dimension: 1536
        # ... 其他不变

然后就可以：

1. 调 /api/kb/ingest 上传 PDF（走 Tika → Milvus）；
2. 调 /api/kb/qa 提问（走 LiteLLM → vLLM 本地 7B 模型）。

恭喜！你已经亲手搭好了一套完全私有化、在 AI Infra 全景图上 L0~L4 四层都跑通的企业知识库系统。

5.4 Step 4（可选）：加 Langfuse Trace，体验 L8 可观测

2 个容器 + Spring AI 里加 2 行配置，就能看到每一次问答的”完整调用链 + Token 用量 + 每轮 Prompt”：

docker run -d --name langfuse \
  -e DATABASE_URL=postgresql://langfuse:langfuse@db:5432/langfuse \
  -e NEXTAUTH_URL=http://localhost:3000 \
  -p 3000:3000 \
  langfuse/langfuse:2

然后 Spring Boot 加依赖 + 配置（Langfuse 有官方 Spring Boot Starter，接入 10 分钟）。打开浏览器 http://localhost:3000，你就能看到：

• 每一次 qa 接口调用 → 花了多少 Token → 调了几次 Milvus 检索 → 检索到哪几个 chunk → Prompt 怎么拼的 → LLM 最终输出是什么。

这就是 L8 可观测层的威力：出了问题，不是猜，是一层层点开看。

---

6）学习资源清单：避开 90% 的垃圾教程，只看最高质量的

6.1 必看体系化课程 / 书籍 / 官方术语表（中英文混合）

方向	资源	特点
官方术语 & 行业定义（首选入门）	NVIDIA 官方术语表：AI Infrastructure（中文） + NVIDIA 中文 AI 数据中心解决方案页（含黄仁勋「AI 五层蛋糕 / AI 工厂官方蓝图）	行业最权威的术语定义、分层框架、硬件/网络/存储选型白皮书；数据中心页对应文章里有完整端到端 AI Infrastructure 落地蓝图
全景入门（本文配套）	CMU 15-442 / 15-642：Machine Learning Systems（2025）（陈天奇 + Zhihao Jia 主讲，课程主页，含 slides/lab）	免费公开的 CMU 研究生课，从 GPU 架构 + CUDA 编程、Transformer 优化、到 LLM Serving（PagedAttention / 投机采样）全覆盖，是 AI Infra 全景最系统的入门
系统 & 分布式训练	Stanford CS 336：Large Language Models from Scratch（Spring 2025）	Andrej Karpathy 客座，训练 + 对齐 + 部署全覆盖
CUDA 编程入门	NVIDIA CUDA C++ Programming Guide 前 5 章 + 《CUDA 编程：基础与实践》（开源译本）	看书 + 每章写 2 个 Kernel，比刷视频高效
推理 & 部署	vLLM 官方文档 + GitHub Discussions、 The Illustrated Inference Stack（Jay Alammar）	Jay Alammar 的图解系列是初学者神器，vLLM 讨论区是实战第一手资料
K8s AI 栈	AI/ML on Kubernetes 2026 Production Stack Guide（KubernetesGuru）	直接告诉你 2026 年生产默认工具是哪个，不用自己试
RAG & 评测	Ragas 官方文档 + Advanced RAG Patterns（LlamaIndex 博客）	别刷短视频，把 Ragas 的 6 个指标原理搞懂，你的 RAG 水平立刻超过 90% 人
Agent 工程化	LangGraph 官方文档 + Agentic Design Patterns 系列（DeepLearning.AI）	2026 年学 Agent 先学 LangGraph 图编排，再看那些”AutoXXX”框架

6.2 学习过程中的 3 个关键方法论

1. 永远带着”指标”学：不要”学完 CUDA”，要”手写 1 个矩阵乘法 Kernel，测出和 cuBLAS 的性能差是 x%”；不要”学完 RAG”，要”在公司 200 份文档 + 50 条标准问答上，把 Ragas Faithfulness 从 0.62 提到 0.83”。有量化目标才叫做 Infra。
2. 每周读 1 篇项目 Changelog / Release Note：vLLM、Milvus、Spring AI、LiteLLM 这些 2026 年每周都在更，看 Release Note 是跟上行业最快的方式，比任何二手解读都准；
3. 加入 1 个开源社区 Issue 跟踪：选一个你用得上的项目（比如 LiteLLM / Milvus Java SDK），每周看 3 个高赞 Issue，先思考”我怎么解决”，再看维护者怎么答。3 个月后你回答面试题就不是”背书”，而是”我在 XXX Issue 里见过这个坑，原因是 XXX”。

---

7）总结：一张图串起本系列 + AI Infra 的关系

最后，用一张图收尾，把前 4 篇 + 本篇的内容在 AI Infra 全景中定位清楚。这样你以后不管学什么新技术，都能在地图上找到它的位置。

                              ┌──────────────────────────────┐
                              │  本系列 5 篇文章在全景中的位置  │
                              └──────────────────────────────┘
L8 可观测 ───────────────────────────────── Langfuse / Prometheus
L7 评测 ──────────────────────────────── Ragas 质量门禁（本篇拓展）
L6 记忆 ──────────────────────── Milvus filter 多租户 / Redis
L5 工具 ─────────────────────  Spring AI Function Calling 鉴权
L4 Agent ─── ┌─────────────────────────────────────────────┐
            │ Spring AI Advisor + LangGraph（下一篇预告）     │
            └─────────────────────────────────────────────┘
L3 Prompt ─── Spring AI QuestionAnswerAdvisor（RAG 那篇）
            ┌──────────────────────────────────────────────────┐
L2 知识层    │ Apache Tika（解析 1000+ 格式）                     │  本系列主力
            │ Apache Fesod（Excel 精细化读写，2 篇）               │  ← 应用平台层
            │ Milvus 向量库 + Rerank（企业 RAG 那篇）              │
            └──────────────────────────────────────────────────┘
            ┌──────────────────────────────────────────────────┐
L1 推理层    │ vLLM + LiteLLM 私有化网关（本篇实战）             │  AI Infra 入门必学
            └──────────────────────────────────────────────────┘
L0 资源 ─── Docker Compose 本地 / K8s + Kueue 生产

本文重点回顾：

1. AI Infra 定义：支撑 AI 工作负载从开发到生产的全套软硬件体系，核心目标”让 GPU 利用率从 25%→85%，让推理成本降 80%，让 Agent Demo 真正上线”；
2. 9 层 + 4 横切全景图：L0 资源到 L8 可观测，每一层都给了 2026 年主流工具和和切入姿势；
3. 深度三圈定位：硬内核层（约 1% 从业者，薪资天花板）/ 平台内核层（约 10~15%，当下最抢手）/ 应用平台层（约 80%+，需求最大、门槛最低），后端同学从应用平台层入行最顺；
4. 三条学习路线：后端转平台 / 算法转训练 / 产品做明白人，都给了带产出物的 3~12 个月 roadmap；
5. 零成本实战：vLLM + LiteLLM + Spring AI + Milvus，一台笔记本 1 小时跑通私有化 RAG，L0~L4 四层串联。

如果你看到了这里，说明你已经具备了”把零散技术名词放对位置”的全局视角。下一步，不要收藏不做，直接把第 5 章实战跑一遍——1 小时之后，你对”AI Infra”的理解，会超过 90% 只在嘴上聊概念的人。