Create torch teaching documents

uploaded by lifeihan

Author: LiangZhisama

torch teaching documents

@@ -0,0 +1,69 @@
+### 如何成为一名神经网络训练师
+####一. 基本门槛
+（1）**具有一定的数学基础：** 一定要对**微积分、线性代数**具有较好的掌握，作为基础中的基础。大一上的同学可以提前学习微积分下册的多元函数微分、偏导相关内容，相较上册无难度提升，在其基础上简要阅读即可了解并掌握。此外，有余力者可以学习**概率论与数理统计**的相关内容。此部分不建议自行系统学习相关课本等内容，而是在AI学习遇到时再进行查询学习。
+
+（2）**掌握python语言：** 此处可参照酒井暑培3.0系列课程~
+- https://zhaochen20.notion.site/2ff7e897ee9847a4900206a52d895aa9
+- 建议不要死啃知识点，掌握最基础的知识后尝试跟着教程写一个小游戏或者诸如魔方求解一类的工具性程序，**遇到不懂的进行查询学习，而非在全面掌握知识点后再开始写程序**。然后再自行写一些小型程序进行巩固，这样才是最快掌握python语言的方法。
+  
+（3）**对一些常用工具进行简要的学习掌握：** 如Vim，git，linux...此部分可参照大量网络教程或酒井暑培资料，此处不做过多赘述。
+
+####二. 入门torch的基础知识学习
+（1）**机器学习相关基础知识：** 机器学习的部分知识只作为理解深度学习知识的基础，不必在一些相较之下更深入的知识上进行纠结，~~因为我学完了回头不用也忘了~~。同时如果以torch入门，训练神经网络为目的，不必进行相应的代码训练，而掌握知识点即可。此处对应该掌握的机器学习基础知识做一提纲，可对照着查缺补漏：
+- 数据预处理：数据清洗、数据变换
+  - https://blog.csdn.net/MrLevo520/article/details/77573757；  
+  - https://blog.csdn.net/weixin_35757704/article/details/89280715?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522164553726516780264084676%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=164553726516780264084676&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2
+  - https://zhuanlan.zhihu.com/p/135237642
+- 特征工程：
+  - https://blog.csdn.net/lc013/article/details/100033144?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-3.pc_relevant_paycolumn_v3&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-3.pc_relevant_paycolumn_v3&utm_relevant_index=6
+- 监督学习：
+  - 分类算法：K-近邻算法，决策树，朴素贝叶斯，Logistic回归，SVM，Softmax回归
+  - 回归算法：线性回归，局部加权线性回归
+- 无监督学习：
+  - K-means，层次聚类，DBSCAN
+- 模型评估方法：准确率，召回率，P-R曲线，ROC，AUC，MSE
+  - https://blog.csdn.net/sinat_16388393/article/details/91427631?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522164639688216780264063596%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=164639688216780264063596&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2
+
+**算法部分学习资料推荐：**
+1. 视频推荐：吴恩达的机器学习课程（b站搜素即可），可以高倍速过一遍，对相关内容有一定基础的理解，但是其不涉及几乎任何数学推导，而是傻瓜式的告诉你如何使用，这不是我们学习的目的，更建议在观看完前几节课有了一定了解后转2.
+2. 对着知识提纲名字逐个在CSDN/知乎/StackOverflow搜索进行学习，而非啃书或者看视频，效率更高
+3. 如果想对知识有更深入的理解，建议阅读李航的《统计学习方法》一书，相关知识点啃一遍后收获颇丰。（周志华的《机器学习》，也称西瓜书也可考虑，笔者有但没阅读过故不做推荐，此书风评也不错~）
+
+（2）**深度学习相关基础知识：** 此部分知识建议首先以视频资料为起始进行了解学习，然后根据提纲进行拓展补充，查缺补漏~
+- 视频资料推荐：李宏毅的机器学习课程（虽然叫机器学习，实则涵盖着大量的深度学习内容），老师风趣幽默，同时针对知识有着简明易懂的讲解，也不乏数学推导的自愿学习；针对一些延伸内容也有助教做了相关的学习讲解，非常推荐~
+  - 课程搬运视频链接：https://www.bilibili.com/video/BV1Wv411h7kN?spm_id_from=333.999.0.0
+  - 课程主页（作业链接，讲义下载使用）：https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.php
+**注：** 课程前27讲针对基础，务必看完；而后不一定要将后续所有课程学完，建议先行学习比较常见且基础的CNN，Self-Attention，Transformer，RNN部分，而余下的内容有余力可以全部学习，否则在以后需要时再观看学习更佳。
+
+- 知识提纲：
+  - **数据预处理&数据增强：** 
+    - 图像剪裁：中心剪裁，随机剪裁，随机长宽比剪裁
+    - 翻转和旋转：概率水平翻转，概率垂直旋转，随机旋转
+    - 图像变换：Resize，标准化，填充，灰度化，线性变化，仿射变换，Tensor
+  - **层次结构：**
+    - 卷积层：标准卷积，空洞卷积，分组卷积，可变形卷积，可分离卷积
+    - 激励层：sigmoid，tanh，ReLU，Leaky ReLU，ELU，SELU
+    - 池化层：平均池化，最大池化，随机池化，全局平均池化
+    - 上采样层：双线性插值，反卷积，反池化
+  - **损失函数：** zero one loss，cross entropy loss，mse loss，focal loss，logist loss，center loss，wing loss，dice loss，hinge loss，arcface loss
+  - **优化算法：** BCD，SGD，MBGD，Momentum，RMSProp，AdaGrad，Adam
+  - **权重初始化：** 零初始化，随机初始化，Xavier初始化，He初始化，预训练模型
+  - **学习率调整：** LamdalLR，MultiplicativeLR，StepLR，MultiStepLR，ExponentialLR，CosineAnnealingLR，CyclicLR，OneCycleLR，Warmup
+
+####三. 入门torch工具：
+入门工具的过程也是锻炼码力的过程，此处推荐以下路线:
+- 观看官方文档的简单示例并跟随写代码作为最基础的入门 
+  - https://pytorch.apachecn.org/#/docs/1.7/README
+- 寻找Kaggle网站的几个最基础示例比赛（如MINIST库的识别），在其Code中寻找基础的解决方案进行摹写学习
+  - https://www.kaggle.com/
+- 完成李宏毅课程作业，跟随公布的最佳方案进行一遍摹写，遇到不懂的函数/处理进行搜索引擎搜索补充学习，更好的做法是学会查询官方的函数库词典：https://pytorch.org/docs/stable/torch.html
+- 尝试在kaggle上自行寻找有开源Code的比赛自行撰写并提交看看结果，学习他人经验
+####四. 寻找适合自己的领域，进行深入学习与科研
+深度学习不是雨露均沾的学科，建议找到自己感兴趣的方向，如nlp，CV，计算优化等等大方向，及其下的细分领域进行学习，和自身的实验室/SRT科研进行结合找到自己感兴趣的点，进行学习，基本的学习思路如下：
+- 发现兴趣，找到方向，与学长老师交流此方向的前景，~~卷不卷~~，学习与入门方法
+- 对此领域的开山之作，一直到最近顶会的高影响力论文进行阅读学习，养成做笔记的好习惯，主要记录模型思路，优缺点
+- 了解，学习并逐渐掌握，熟练运用此方向的常用开源模型框架，能够更换自己的数据集，作出简要改造等，跑起来模型
+- 对模型参数，模型结构有自己深刻的认识，能够根据运算结果做出合理的调整并获取进一步优化的结果
+- 能够自行改变模型结构，利用自身理解对数据处理，模型计算等多方面做出优化，在领域翘楚模型的基础上创造性改造以获取更好的结果，甚至进行创造性的突破。
+####五. 结语
+~~快逃~~）祝大家能够坚持下来找到自己喜欢的方向并尽快入门这一年轻的学科~