Skip to content

Commit 176d483

Browse files
longsizhuolongsizhuo
authored
Merge pull request #18 from Mira190/feat/ai
Feat/ai add AI notes
2 parents 549e5d5 + 3fe7bbd commit 176d483

File tree

50 files changed

+15420
-0
lines changed

Some content is hidden

Large Commits have some content hidden by default. Use the searchbox below for content that may be hidden.

50 files changed

+15420
-0
lines changed

‎app/docs/ai/agents-todo/cs294-194-196/index.mdx‎

Lines changed: 10 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,10 @@
1+
---
2+
title: "CS294/194-196 Large Language Model Agents"
3+
description: "CS294/194-196 课程相关资料"
4+
---
5+
6+
## 课程信息
7+
8+
- 官网: https://rdi.berkeley.edu/llm-agents/f24
9+
- 机构: UC Berkeley
10+
- 特色: 系统性介绍 LLM 智能体的理论和实践

‎app/docs/ai/agents-todo/index.mdx‎

Lines changed: 7 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,7 @@
1+
---
2+
title: "Agent"
3+
description: "大语言模型智能体：CS294/194-196课程、ReAct、FireAct等"
4+
status: todo
5+
---
6+
7+
本节聚合 LLM 智能体相关的课程与技术框架，后续补充。

‎app/docs/ai/ai-math-basics/calculus-optimization/index.mdx‎

Lines changed: 44 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,44 @@
1+
---
2+
title: "微积分与优化 (Calculus & Optimization)"
3+
description: "微积分与优化核心概念及其在大模型中的应用"
4+
date: "2024-01-12"
5+
tags:
6+
- calculus
7+
- optimization
8+
- derivative
9+
- gradient
10+
- chain-rule
11+
- convex-optimization
12+
- backpropagation
13+
- sgd
14+
- adam
15+
- rmsprop
16+
---
17+
18+
## 核心
19+
20+
- 导数
21+
- 偏导数
22+
- 梯度
23+
- 链式法则
24+
- 泰勒展开
25+
- 拉格朗日乘子法
26+
- 凸优化
27+
28+
## 大模型应用
29+
30+
### 反向传播 (Backpropagation)
31+
32+
- 梯度计算和链式法则的完美体现。
33+
34+
### 模型训练
35+
36+
- 最小化损失函数（优化问题）的核心，各种优化器（SGD、Adam、RMSProp）都是梯度下降的变体。
37+
38+
### 激活函数
39+
40+
- 它们的导数特性对梯度传播至关重要。
41+
42+
### 模型收敛性分析
43+
44+
- 涉及到微积分中的收敛性理论。

‎app/docs/ai/ai-math-basics/index.mdx‎

Lines changed: 84 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,84 @@
1+
---
2+
title: "AI 数学基础"
3+
description: "AI相关数学基础知识：线性代数、概率统计、微积分优化、信息论、数值分析"
4+
date: "2025-01-27"
5+
tags:
6+
- mathematics
7+
- linear-algebra
8+
- probability
9+
- calculus
10+
- information-theory
11+
---
12+
13+
AI和大模型需要扎实的数学基础。本节涵盖了深度学习和大模型开发所需的核心数学概念。
14+
15+
## 核心数学领域
16+
17+
### 1. 线性代数 (Linear Algebra)
18+
19+
**核心概念**: 向量、矩阵、张量、特征值/特征向量、SVD（奇异值分解）、PCA（主成分分析）
20+
21+
**大模型应用**:
22+
23+
- **Embedding (嵌入)**: 词向量、Token嵌入本质上就是高维向量
24+
- **Attention Mechanism (注意力机制)**: QKV矩阵乘法、Self-Attention的核心计算（点积）
25+
- **Transformer架构**: 各种层（Linear Layer）、残差连接、Feed-Forward Network都涉及矩阵运算
26+
- **模型参数**: 整个模型的参数量可以用矩阵、张量来表示
27+
- **降维与可视化**: 对Embedding空间进行降维（t-SNE, UMAP, PCA）以进行分析
28+
29+
**参考资料**:
30+
31+
- [沉浸式线性代数](https://textbooks.math.gatech.edu/ila/index2.html)
32+
- [3Blue1Brown线性代数的本质](https://www.youtube.com/@3blue1brown) - 可视化极佳，能帮助建立直观理解
33+
- 《线性代数的几何意义》(任广千, 谢聪, 胡翠芳)
34+
35+
### 2. 概率论与数理统计 (Probability & Statistics)
36+
37+
**核心概念**: 随机变量、概率分布（高斯、伯努利、多项式）、期望、方差、协方差、条件概率、贝叶斯定理、最大似然估计（MLE）、最大后验估计（MAP）
38+
39+
**大模型应用**:
40+
41+
- **语言建模**: P(下一个词 | 上下文) 就是条件概率
42+
- **损失函数**: 交叉熵损失来源于信息论和概率分布的差异度量
43+
- **采样与生成**: Top-k, Top-p (nucleus) sampling都基于概率分布
44+
- **不确定性量化**: 对模型预测结果的置信度评估
45+
- **强化学习**: 基于概率策略的优化
46+
47+
### 3. 微积分与优化 (Calculus & Optimization)
48+
49+
**核心概念**: 导数、偏导数、梯度、链式法则、泰勒展开、拉格朗日乘子法、凸优化
50+
51+
**大模型应用**:
52+
53+
- **反向传播**: 梯度计算和链式法则的完美体现
54+
- **模型训练**: 最小化损失函数（优化问题）的核心，各种优化器（SGD、Adam、RMSProp）都是梯度下降的变体
55+
- **激活函数**: 它们的导数特性对梯度传播至关重要
56+
- **模型收敛性分析**: 涉及微积分中的收敛性理论
57+
58+
### 4. 信息论 (Information Theory)
59+
60+
**核心概念**: 信息量、熵（Entropy）、联合熵、条件熵、互信息、交叉熵、KL散度
61+
62+
**大模型应用**:
63+
64+
- **损失函数**: 交叉熵损失是衡量预测分布与真实分布之间差异的度量
65+
- **注意力机制**: 计算注意力权重时，softmax操作与概率分布和熵的关联
66+
- **强化学习**: 策略梯度的优化目标中可能包含熵正则项；TRPO/PPO算法的核心是KL散度约束
67+
- **模型压缩与量化**: 量化信息损失的评估
68+
69+
### 5. 数值分析 (Numerical Analysis)
70+
71+
**核心概念**: 浮点数精度、数值稳定性、梯度裁剪、学习率调度
72+
73+
**大模型应用**:
74+
75+
- **防止梯度爆炸/消失**: 大模型层数深，计算量大，数值稳定性问题尤为突出
76+
- **BFloat16/FP16训练**: 理解不同精度浮点数对模型训练的影响
77+
- **优化器选择**: 某些优化器在数值上更稳定
78+
79+
## 学习建议
80+
81+
1. **理论与实践结合**: 不要只停留在公式推导，要理解这些数学概念在AI中的具体应用
82+
2. **可视化理解**: 利用3Blue1Brown等资源建立几何直观
83+
3. **代码实现**: 尝试用代码实现基本的数学运算，加深理解
84+
4. **循序渐进**: 从基础概念开始，逐步深入到高级应用

‎app/docs/ai/ai-math-basics/information-theory/index.mdx‎

Lines changed: 42 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,42 @@
1+
---
2+
title: "信息论 (Information Theory)"
3+
description: "信息论核心概念及其在大模型中的应用"
4+
date: "2024-01-13"
5+
tags:
6+
- information-theory
7+
- entropy
8+
- cross-entropy
9+
- kl-divergence
10+
- mutual-information
11+
- rl
12+
- model-compression
13+
---
14+
15+
## 核心
16+
17+
- 信息量
18+
- 熵（Entropy）
19+
- 联合熵
20+
- 条件熵
21+
- 互信息
22+
- 交叉熵（Cross-Entropy）
23+
- KL散度（Kullback-Leibler Divergence）
24+
25+
## 大模型应用
26+
27+
### 损失函数
28+
29+
- 交叉熵损失是衡量预测分布与真实分布之间差异的度量。
30+
31+
### 注意力机制
32+
33+
- 计算注意力权重时，softmax 操作与概率分布和熵的关联。
34+
35+
### 强化学习
36+
37+
- 策略梯度的优化目标中可能包含熵正则项，以鼓励探索。
38+
- TRPO / PPO 算法的核心是 KL 散度约束。
39+
40+
### 模型压缩与量化
41+
42+
- 量化信息损失的评估。

‎app/docs/ai/ai-math-basics/linear-algebra/index.mdx‎

Lines changed: 49 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,49 @@
1+
---
2+
title: "线性代数 (Linear Algebra)"
3+
description: "线性代数核心概念及其在大模型中的应用"
4+
date: "2024-01-10"
5+
tags:
6+
- linear-algebra
7+
- matrix
8+
- tensor
9+
- embedding
10+
- attention
11+
- transformer
12+
- pca
13+
- svd
14+
---
15+
16+
## 核心
17+
18+
- 向量
19+
- 矩阵
20+
- 张量
21+
- 特征值 / 特征向量
22+
- SVD（奇异值分解）
23+
- PCA（主成分分析）
24+
25+
## 大模型应用
26+
27+
### Embedding (嵌入)
28+
29+
- 词向量、Token 嵌入本质上就是高维向量。
30+
31+
### Attention Mechanism (注意力机制)
32+
33+
- QKV 矩阵乘法
34+
- Self-Attention 的核心计算（点积）
35+
36+
### Transformer 架构
37+
38+
- 各种层（Linear Layer）
39+
- 残差连接（Residual Connection）
40+
- Feed-Forward Network
41+
→ 都涉及矩阵运算
42+
43+
### 模型参数
44+
45+
- 整个模型的参数量可以用矩阵、张量来表示。
46+
47+
### 降维与可视化
48+
49+
- 对 Embedding 空间进行降维（t-SNE, UMAP, PCA）以进行分析。

‎app/docs/ai/ai-math-basics/linear-algebra/resources/index.mdx‎

Lines changed: 15 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,15 @@
1+
---
2+
title: "参考资料"
3+
description: "线性代数参考资料。"
4+
date: "2024-01-10"
5+
tags:
6+
- linear-algebra
7+
- resources
8+
---
9+
10+
- [沉浸式线性代数 (Immersive Linear Algebra)](https://textbooks.math.gatech.edu/ila/index2.html)
11+
- 《线性代数的几何意义 (任广千, 谢聪, 胡翠芳)》 PDF
12+
- [3Blue1Brown (YouTube频道)](https://www.3blue1brown.com/)
13+
- 《线性代数的本质》系列视频
14+
- 《微积分的本质》系列视频
15+
→ 可视化极佳，能帮助建立直观理解。

‎app/docs/ai/ai-math-basics/numerical-analysis/index.mdx‎

Lines changed: 35 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,35 @@
1+
---
2+
title: "数值分析 (Numerical Analysis)"
3+
description: "数值分析核心概念及其在大模型中的应用"
4+
date: "2024-01-14"
5+
tags:
6+
- numerical-analysis
7+
- floating-point
8+
- stability
9+
- gradient-clipping
10+
- learning-rate
11+
- bfloat16
12+
- fp16
13+
- optimizer
14+
---
15+
16+
## 核心
17+
18+
- 浮点数精度
19+
- 数值稳定性
20+
- 梯度裁剪（Gradient Clipping）
21+
- 学习率调度
22+
23+
## 大模型应用
24+
25+
### 防止梯度爆炸 / 消失
26+
27+
- 大模型层数深，计算量大，数值稳定性问题尤为突出。
28+
29+
### BFloat16 / FP16 训练
30+
31+
- 理解不同精度浮点数对模型训练的影响。
32+
33+
### 优化器选择
34+
35+
- 某些优化器在数值上更稳定。

‎app/docs/ai/ai-math-basics/probability-statistics/index.mdx‎

Lines changed: 53 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,53 @@
1+
---
2+
title: "概率论与数理统计 (Probability & Statistics)"
3+
description: "概率论与数理统计核心概念及其在大模型中的应用"
4+
date: "2024-01-11"
5+
tags:
6+
- probability
7+
- statistics
8+
- random-variable
9+
- distribution
10+
- bayes
11+
- mle
12+
- map
13+
- hypothesis-testing
14+
- confidence-interval
15+
- cross-entropy
16+
- rlhf
17+
---
18+
19+
## 核心
20+
21+
- 随机变量
22+
- 概率分布（高斯、伯努利、多项式）
23+
- 期望
24+
- 方差
25+
- 协方差
26+
- 条件概率
27+
- 贝叶斯定理
28+
- 最大似然估计（MLE）
29+
- 最大后验估计（MAP）
30+
- 假设检验
31+
- 置信区间
32+
33+
## 大模型应用
34+
35+
### 语言建模
36+
37+
- P(下一个词 | 上下文) 就是条件概率。
38+
39+
### 损失函数
40+
41+
- 交叉熵损失（Cross-Entropy Loss）来源于信息论和概率分布的差异度量。
42+
43+
### 采样与生成
44+
45+
- Top-k, Top-p (nucleus) sampling 都基于概率分布。
46+
47+
### 不确定性量化
48+
49+
- 对模型预测结果的置信度评估。
50+
51+
### 强化学习 (RLHF)
52+
53+
- 基于概率策略的优化。

‎app/docs/ai/ai-math-basics/probability-statistics/resources/index.mdx‎

Lines changed: 11 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,11 @@
1+
---
2+
title: "参考资料"
3+
description: "概率论与数理统计参考资料。"
4+
date: "2024-01-11"
5+
tags:
6+
- probability
7+
- statistics
8+
- resources
9+
---
10+
11+
- 方浩

0 commit comments

Comments
 (0)