7月21日 · 周二 · §1.1–1.2 · p.1–11
矩阵乘法:从列组合到秩1分解
Reading
精读 1.1 与 1.2;跟着书中小矩阵亲手计算 Ax、AB 与列×行分解。
Homework
- 习题1.1:第8题
- 习题1.1:第11题
- 习题1.2:第3题
- 习题1.2:第8题
Linear Algebra and Learning from Data
从矩阵分解、SVD 与数值方法,逐步走向概率、优化和深度学习。
7月21日 · 周二 · §1.1–1.2 · p.1–11
精读 1.1 与 1.2;跟着书中小矩阵亲手计算 Ax、AB 与列×行分解。
7月23日 · 周四 · §1.3–1.4 · p.12–25
精读 1.3 与 1.4;将每次消元同时写成方程、矩阵行运算和消元矩阵。
7月25日 · 周六 · §1.5–1.7 · p.26–50
精读 1.5–1.7;重点推导投影矩阵、特征分解和正定性的等价判据。
7月28日 · 周二 · §1.8–1.9 + 附录A · p.51–71、351–352
精读 1.8、1.9 与附录A;对同一个小矩阵同时观察 AᵀA、AAᵀ 和 A=UΣVᵀ。
7月30日 · 周四 · §1.10–1.12 · p.72–97
精读 1.10–1.12;把不同范数、广义特征值、非负/稀疏分解放在同一张比较表中。
8月1日 · 周六 · §2.1–2.2 + 附录B · p.98–118、353–354
阅读第2章导言、2.1、2.2 与附录B;比较正规方程、QR、SVD 和伪逆。
8月4日 · 周二 · §2.3–2.4 · p.119–134
精读 2.3–2.4;关注不同列空间基的数值性质,以及随机采样为何能近似大矩阵。
8月6日 · 周四 · §3.1–3.2 · p.135–151
精读 3.1–3.2;亲手验证一次秩1更新下的逆矩阵公式与特征值交错。
8月8日 · 周六 · §3.3–3.5 · p.152–171
精读 3.3–3.5;把低秩、稀疏、L1 正则和观测不足放进同一问题框架。
8月11日 · 周二 · §4.1–4.3 · p.172–192
精读 4.1–4.3;从循环移位矩阵出发推导傅里叶基与卷积对角化。
8月13日 · 周四 · §4.4–4.6 · p.193–206
精读 4.4–4.6;把边界条件、Toeplitz 结构和图上的差分算子联系起来。
8月15日 · 周六 · §4.7–4.10 · p.207–220
精读 4.7–4.10;关注从相似度、缺失数据或距离恢复隐藏几何结构的共同主线。
8月18日 · 周二 · §5.1–5.2 · p.221–237
阅读第5章导言、5.1 与 5.2;用统一表格整理离散和连续分布。
8月20日 · 周四 · §5.3–5.4 · p.238–254
精读 5.3–5.4;把标量随机变量推广到随机向量和协方差矩阵。
8月22日 · 周六 · §5.5–5.6 · p.255–268
精读 5.5–5.6;观察高斯等密度线、协方差和加权最小二乘之间的联系。
8月25日 · 周二 · §6.1–6.2 · p.269–282
阅读第6章导言、6.1 与 6.2;从一维曲线逐步推广到梯度和 Hessian。
8月27日 · 周四 · §6.3–6.4 · p.283–300
精读 6.3–6.4;把原问题、对偶问题、鞍点与下降方向画在同一框架中。
8月29日 · 周六 · §6.5 · p.301–310
精读 6.5;逐项写出 mini-batch SGD、动量和 Adam 的更新公式。
9月1日 · 周二 · 第7章导言、§7.1 · p.311–323
阅读第7章导言与 7.1;始终标注每层输入、权重、偏差和输出的形状。
9月3日 · 周四 · §7.2–7.3 · p.324–341
精读 7.2–7.3;把卷积写成结构化矩阵乘法,并在计算图上逐节点应用链式法则。
9月5日 · 周六 · §7.4–7.5 + 附录C · p.342–350、355–356
精读 7.4、7.5 与附录C;回看全书目录,将数据、分解、概率、优化和网络串成一条链。