机器学习专栏导览
标签
AI/ml
字数
928 字
阅读时间
4 分钟
本专栏收录机器学习的概念判据、算法推导与数学基础。
它与相邻专栏的边界是关注点而不是技术栈：
| 不收 | 去哪看 | 本专栏只关心 |
|---|---|---|
| 大模型的架构演进、位置编码、采样参数、缩放法则、幻觉与选型 | AI/llm/ | 这些模型背后的数学与判据 |
| 模型之外的交互与工程 —— Prompt / Context / Harness、工具系统、评测闭环 | AI/agent/ | 算法侧给应用提供了什么 |
| 训练与部署的工程实践 —— 框架、并行策略、服务 | AI/infra/ | 03–05 是它所有显存与通信公式的数学出处 |
目录
- 01 · 机器学习介绍 —— T/E/P 定义、四类范式的分类依据、过拟合与数据泄漏的判据
- 02 · 线性回归 —— 最小二乘的闭式解与它的代价、损失函数与噪声假设的对应
- 03 · 线性代数与 GEMM —— 读公式的工程视角：shape、stride、秩与 GEMM tiling
- 04 · 概率、Softmax 与信息论 —— 稳定 Softmax、交叉熵与 KL、困惑度与采样
- 05 · 反向传播与梯度优化 —— 计算图与反向模式、各层梯度、优化器与梯度稳定性
阅读顺序
本目录是两条线，编号连续但不必顺读。
第一条：01 → 02。 01 建立术语与判据（什么叫学会了、监督信号从哪来、哪些指标会骗人），02 是第一个具体算法。02 的特殊性在于它是本专栏唯一有闭式解的模型 —— 正规方程的代价（
第二条：03 → 05 是数学基础线，三条相互独立、按需查阅：
| 篇 | 讲什么 | 下游 |
|---|---|---|
| 03 | 张量怎么变换 —— 形状、stride 与代价 | ../infra/cuda/（GEMM 与 tiling）、../infra/train/（显存账本） |
| 04 | 输出是什么分布 —— 概率与信息论 | ../llm/（采样、困惑度）、../infra/（精度与数值） |
| 05 | 参数怎么学 —— 链式法则与优化 | ../infra/train/（优化器状态、梯度稳定性） |
01 里的判据是后面所有篇的检查表：04 里的交叉熵就是 P 的一种具体形式，05 里的梯度下降是把 E 变成参数的那一步，02 的评估要回到 01 讲的「训练误差与验证误差的差」。
本目录不含训练与部署的工程实践 —— 框架用法与并行策略在 ../infra/train/，服务与部署在 ../infra/infer/。
相关
- 13-归一化与残差连接 —— 05 里 LayerNorm / RMSNorm 在模型架构侧的具体形态
- 01-数值计算与精度 —— 03–05 的公式在有限精度下会怎么失真
- 05-优化器与显存开销 —— 05 的 Adam 写进真实显存账本后的样子
- 04-采样参数 —— 04 的温度与 top-k / top-p 在推理侧的用法
参考
- https://caomaolufei.github.io/AIInfraGuide/guides/模块一-前置知识/第2章-数学基础
- Tom M. Mitchell. Machine Learning. McGraw-Hill, 1997.
- https://hastie.su.domains/ElemStatLearn/
- https://www.deeplearningbook.org/
YJ