返回 Blog

Linear Algebra and Learning from Data

高等代数

从矩阵分解、SVD 与数值方法,逐步走向概率、优化和深度学习。

7 周集中学习 21 讲 Strang · Linear Algebra and Learning from Data
Week 1

第 1 周

01

7月21日 · 周二 · §1.1–1.2 · p.1–11

矩阵乘法:从列组合到秩1分解

Reading

精读 1.1 与 1.2;跟着书中小矩阵亲手计算 Ax、AB 与列×行分解。

Homework

  • 习题1.1:第8题
  • 习题1.1:第11题
  • 习题1.2:第3题
  • 习题1.2:第8题
作业 PDF 待上传

Note

查看 PDF
02

7月23日 · 周四 · §1.3–1.4 · p.12–25

四个基本子空间与 LU 分解

Reading

精读 1.3 与 1.4;将每次消元同时写成方程、矩阵行运算和消元矩阵。

Homework

  • 习题1.3:第3题
  • 习题1.3:第8题
  • 习题1.4:第2题
  • 习题1.4:第7题
作业 PDF 待上传

Note

查看 PDF
03

7月25日 · 周六 · §1.5–1.7 · p.26–50

正交、特征值与正定矩阵

Reading

精读 1.5–1.7;重点推导投影矩阵、特征分解和正定性的等价判据。

Homework

  • 习题1.5:第2题
  • 习题1.6:第3题
  • 习题1.7:第2题
  • 习题1.7:第6题
作业 PDF 待上传

Note

查看 PDF
Week 2

第 2 周

04

7月28日 · 周二 · §1.8–1.9 + 附录A · p.51–71、351–352

SVD、PCA 与最佳低秩逼近

Reading

精读 1.8、1.9 与附录A;对同一个小矩阵同时观察 AᵀA、AAᵀ 和 A=UΣVᵀ。

Homework

  • 习题1.8:第3题
  • 习题1.8:第8题
  • 习题1.9:第2题
  • 习题1.9:第7题
作业 PDF 待上传

Note

待上传
05

7月30日 · 周四 · §1.10–1.12 · p.72–97

Rayleigh 商、范数与结构化分解

Reading

精读 1.10–1.12;把不同范数、广义特征值、非负/稀疏分解放在同一张比较表中。

Homework

  • 习题1.10:第2题
  • 习题1.11:第3题
  • 习题1.12:第2题
  • 习题1.12:第6题
作业 PDF 待上传

Note

待上传
06

8月1日 · 周六 · §2.1–2.2 + 附录B · p.98–118、353–354

数值线性代数与最小二乘四种方法

Reading

阅读第2章导言、2.1、2.2 与附录B;比较正规方程、QR、SVD 和伪逆。

Homework

  • 习题2.1:第3题
  • 习题2.1:第7题
  • 习题2.2:第3题
  • 习题2.2:第8题
作业 PDF 待上传

Note

待上传
Week 3

第 3 周

07

8月4日 · 周二 · §2.3–2.4 · p.119–134

好基与随机线性代数

Reading

精读 2.3–2.4;关注不同列空间基的数值性质,以及随机采样为何能近似大矩阵。

Homework

  • 习题2.3:第2题
  • 习题2.3:第6题
  • 习题2.4:第2题
  • 习题2.4:第7题
作业 PDF 待上传

Note

待上传
08

8月6日 · 周四 · §3.1–3.2 · p.135–151

低秩更新与谱扰动

Reading

精读 3.1–3.2;亲手验证一次秩1更新下的逆矩阵公式与特征值交错。

Homework

  • 习题3.1:第2题
  • 习题3.1:第6题
  • 习题3.2:第2题
  • 习题3.2:第7题
作业 PDF 待上传

Note

待上传
09

8月8日 · 周六 · §3.3–3.5 · p.152–171

稀疏恢复、压缩感知与矩阵补全

Reading

精读 3.3–3.5;把低秩、稀疏、L1 正则和观测不足放进同一问题框架。

Homework

  • 习题3.3:第2题
  • 习题3.4:第2题
  • 习题3.5:第2题
  • 习题3.5:第6题
作业 PDF 待上传

Note

待上传
Week 4

第 4 周

10

8月11日 · 周二 · §4.1–4.3 · p.172–192

傅里叶、循环矩阵与 Kronecker 积

Reading

精读 4.1–4.3;从循环移位矩阵出发推导傅里叶基与卷积对角化。

Homework

  • 习题4.1:第2题
  • 习题4.1:第6题
  • 习题4.2:第2题
  • 习题4.3:第2题
作业 PDF 待上传

Note

待上传
11

8月13日 · 周四 · §4.4–4.6 · p.193–206

结构化变换、滤波器与图拉普拉斯

Reading

精读 4.4–4.6;把边界条件、Toeplitz 结构和图上的差分算子联系起来。

Homework

  • 习题4.4:第2题
  • 习题4.5:第2题
  • 习题4.6:第3题
  • 习题4.6:第7题
作业 PDF 待上传

Note

待上传
12

8月15日 · 周六 · §4.7–4.10 · p.207–220

谱聚类、矩阵补全与几何恢复

Reading

精读 4.7–4.10;关注从相似度、缺失数据或距离恢复隐藏几何结构的共同主线。

Homework

  • 习题4.7:第2题
  • 习题4.8:第2题
  • 习题4.9:第2题
  • 习题4.10:第2题
作业 PDF 待上传

Note

待上传
Week 5

第 5 周

13

8月18日 · 周二 · §5.1–5.2 · p.221–237

概率语言、均值方差与常见分布

Reading

阅读第5章导言、5.1 与 5.2;用统一表格整理离散和连续分布。

Homework

  • 习题5.1:第2题
  • 习题5.1:第7题
  • 习题5.2:第2题
  • 习题5.2:第6题
作业 PDF 待上传

Note

待上传
14

8月20日 · 周四 · §5.3–5.4 · p.238–254

矩、集中不等式与协方差矩阵

Reading

精读 5.3–5.4;把标量随机变量推广到随机向量和协方差矩阵。

Homework

  • 习题5.3:第2题
  • 习题5.3:第6题
  • 习题5.4:第2题
  • 习题5.4:第7题
作业 PDF 待上传

Note

待上传
15

8月22日 · 周六 · §5.5–5.6 · p.255–268

多元高斯、加权最小二乘与马尔可夫链

Reading

精读 5.5–5.6;观察高斯等密度线、协方差和加权最小二乘之间的联系。

Homework

  • 习题5.5:第2题
  • 习题5.5:第6题
  • 习题5.6:第2题
  • 习题5.6:第7题
作业 PDF 待上传

Note

待上传
Week 6

第 6 周

16

8月25日 · 周二 · §6.1–6.2 · p.269–282

凸性、Newton 法与拉格朗日乘子

Reading

阅读第6章导言、6.1 与 6.2;从一维曲线逐步推广到梯度和 Hessian。

Homework

  • 习题6.1:第2题
  • 习题6.1:第6题
  • 习题6.2:第2题
  • 习题6.2:第6题
作业 PDF 待上传

Note

待上传
17

8月27日 · 周四 · §6.3–6.4 · p.283–300

线性规划、对偶与梯度下降

Reading

精读 6.3–6.4;把原问题、对偶问题、鞍点与下降方向画在同一框架中。

Homework

  • 习题6.3:第2题
  • 习题6.3:第6题
  • 习题6.4:第2题
  • 习题6.4:第7题
作业 PDF 待上传

Note

待上传
18

8月29日 · 周六 · §6.5 · p.301–310

随机梯度下降与 Adam

Reading

精读 6.5;逐项写出 mini-batch SGD、动量和 Adam 的更新公式。

Homework

  • 习题6.5:第2题
  • 习题6.5:第5题
  • 习题6.5:第8题
  • 补写一页优化器比较表
作业 PDF 待上传

Note

待上传
Week 7

第 7 周

19

9月1日 · 周二 · 第7章导言、§7.1 · p.311–323

深度神经网络的线性代数

Reading

阅读第7章导言与 7.1;始终标注每层输入、权重、偏差和输出的形状。

Homework

  • 习题7.1:第2题
  • 习题7.1:第5题
  • 习题7.1:第8题
  • 手画一个三层网络并标注全部维度
作业 PDF 待上传

Note

待上传
20

9月3日 · 周四 · §7.2–7.3 · p.324–341

卷积神经网络与反向传播

Reading

精读 7.2–7.3;把卷积写成结构化矩阵乘法,并在计算图上逐节点应用链式法则。

Homework

  • 习题7.2:第2题
  • 习题7.2:第6题
  • 习题7.3:第2题
  • 习题7.3:第6题
作业 PDF 待上传

Note

待上传
21

9月5日 · 周六 · §7.4–7.5 + 附录C · p.342–350、355–356

超参数、泛化与全书闭环

Reading

精读 7.4、7.5 与附录C;回看全书目录,将数据、分解、概率、优化和网络串成一条链。

Homework

  • 回做习题1.8:第8题
  • 回做习题2.2:第8题
  • 回做习题6.5:第5题
  • 完成综合作业:PCA + 预测 + 优化 + 一页知识图
作业 PDF 待上传

Note

待上传