02-gradient-descent

02-gradient-descent: 梯度下降与损失函数

本节课学习均方误差损失函数和梯度下降算法的具体实现，并介绍了机器学习中损失函数、梯度下降、前向传播和反向传播的概念。

📖 本节内容

1. 为什么需要损失函数？

• 残差的问题（正负抵消）
• 均方误差（MSE）的优势
• 损失函数的作用：量化预测与真实的差距

2. 梯度下降算法

• 什么是梯度？
• 梯度下降的几何直观
• 学习率的选择
• 局部最小值 vs 全局最小值

3. 前向传播与反向传播

• 前向传播：计算预测值和损失
• 反向传播：计算梯度并更新参数
• 链式法则在神经网络中的应用

🚀 运行代码

# Jupyter Notebook 版本
jupyter notebook tutorial.ipynb

# Python 脚本版本
python tutorial.py

📝 数学基础

均方误差（MSE）

Loss = (1/n) * Σ(y_pred - y_true)²

梯度下降更新规则

w = w - α * ∂Loss/∂w

其中 α 是学习率

🎯 课后练习

1. 实现绝对值误差（MAE），对比 MSE 的效果
2. 绘制损失函数随迭代次数的变化曲线
3. 尝试不同的优化器（如动量梯度下降）
4. 可视化梯度下降在参数空间的轨迹

💡 关键理解

梯度下降就像是下山：站在山顶（高损失），沿着最陡的方向（负梯度）一步步走（学习率步长），最终到达山脚（最小损失）。

---

Previous ← 01-linear-model | Next → 03-activation