|
| 1 | +# 欢迎参加社区计算机视觉课程 |
| 2 | + |
| 3 | +致各位学习者: |
| 4 | + |
| 5 | +欢迎加入**社区驱动的计算机视觉课程**。计算机视觉正以多种方式革新世界,从人脸识别解锁移动设备,到分析医学图像进行疾病诊断、监测野生动物以及创造全新的图像。让我们一同探索这个激动人心的计算机视觉领域! |
| 6 | + |
| 7 | +本课程将涵盖从基础知识到计算机视觉最新进展的各个方面。课程结构围绕一系列核心主题展开,力求对每一位学习者都友好且易于理解。我们热忱欢迎您的加入,共同开启这段精彩的学习之旅! |
| 8 | + |
| 9 | +在本页面,您将找到关于如何加入学习者社区、提交作业以获得认证,以及本课程的更多详细信息。 |
| 10 | + |
| 11 | +## 作业 📄 |
| 12 | + |
| 13 | +要获得本课程的结业认证,请完成以下作业: |
| 14 | + |
| 15 | +1. 训练/微调模型 |
| 16 | +2. 构建应用程序并将其部署在 Hugging Face Spaces 上 |
| 17 | + |
| 18 | +### 训练/微调模型 |
| 19 | + |
| 20 | +在 Notebooks/Vision Transformers 目录下,我们提供了一系列 Notebook。目前,这些 Notebook 涵盖了目标检测、图像分割和图像分类等任务。您可以选择在 🤗 Hub 上现有的数据集上训练模型,也可以将您自己的数据集上传到数据集仓库,并以此为基础进行模型训练。 |
| 21 | + |
| 22 | +模型仓库应包含以下内容: |
| 23 | + |
| 24 | +1. 一份填写完整的模型卡片。更多信息请参考[此处](https://huggingface.co/docs/hub/en/model-cards)。 |
| 25 | +2. 如果您使用 transformers 训练了一个模型并将其推送到 Hub,系统将自动生成模型卡片。在这种情况下,请编辑该卡片,补充更多详细信息。 |
| 26 | +3. 将数据集 ID 添加到模型卡片,以实现模型仓库与数据集仓库的链接。 |
| 27 | + |
| 28 | +### 创建 Space |
| 29 | + |
| 30 | +在本作业中,您需要使用 Gradio 为您的计算机视觉模型构建一个应用程序,并将其分享到 🤗 Spaces。有关这些任务的更多信息,请参考以下资源: |
| 31 | + |
| 32 | +- [Gradio 入门](https://huggingface.co/learn/nlp-course/zh-CN/chapter9/1?fw=pt#introduction-to-gradio) |
| 33 | +- [如何在 🤗 Spaces 上分享您的应用程序](https://huggingface.co/learn/nlp-course/zh-CN/chapter9/4?fw=pt) |
| 34 | + |
| 35 | +## 加入社区! |
| 36 | + |
| 37 | +诚邀您加入我们充满活力的 [Discord 社区](http://hf.co/join/discord)。这里汇聚了众多对计算机视觉感兴趣的学习者,每天都有热烈的讨论,是本课程交流互动的重要场所。在这里,您可以结识志同道合的伙伴,交流想法和资源。这是一个协作、获取反馈和提出问题的好地方。 |
| 38 | + |
| 39 | +参与社区活动能够激发您完成课程的动力。加入我们的社区并保持活跃,共同探索计算机视觉的无限可能! |
| 40 | + |
| 41 | +随着人工智能技术的不断发展,我们讨论的质量和社区观点的多样性也在不断提升。作为社区成员,您将有机会与其他学员建立联系、交流想法并开展合作。此外,本课程的贡献者们也会积极参与 Discord 讨论,随时为您提供帮助。立即加入我们吧! |
| 42 | + |
| 43 | +## 计算机视觉频道 |
| 44 | + |
| 45 | +我们的 Discord 服务器设有多个频道,分别关注不同的主题。您会发现大家在讨论论文、组织活动、分享项目和想法、进行头脑风暴等。 |
| 46 | + |
| 47 | +对于计算机视觉课程的学习者,以下频道可能特别有价值: |
| 48 | + |
| 49 | +- `#computer-vision`:一个涵盖所有与计算机视觉相关内容的综合频道。 |
| 50 | +- `#cv-study-group`:一个交流想法、提出关于特定帖子的疑问并展开讨论的平台。 |
| 51 | +- `#3d`:一个讨论 3D 计算机视觉各个方面的频道。 |
| 52 | + |
| 53 | +如果您对生成式人工智能感兴趣,也欢迎加入所有与扩散模型相关的频道:#core-announcements、#discussions、#dev-discussions 和 #diff-i-made-this。 |
| 54 | + |
| 55 | +## 课程内容 |
| 56 | + |
| 57 | +本课程融合了理论知识、实践教程和趣味挑战。 |
| 58 | + |
| 59 | +- **理论**:本部分详细介绍计算机视觉的理论基础,并结合实际案例进行阐释。 |
| 60 | +- **实践**:您将学习如何使用 Google Colab Notebooks 训练和应用计算机视觉模型。 |
| 61 | + |
| 62 | +本课程将涵盖从基础知识到计算机视觉前沿研究的各个方面,力求让您全面了解计算机视觉在当今社会的重要影响。 |
| 63 | + |
| 64 | +## 预备知识 |
| 65 | + |
| 66 | +在开始本课程之前,请确保您具备一定的 Python 编程经验,并熟悉 transformers、机器学习和神经网络等概念。如果您对这些概念不太熟悉,建议您回顾 [Hugging Face NLP 课程的第一单元](https://huggingface.co/learn/nlp-course/zh-CN/chapter1/3?fw=pt)。虽然对预处理技术和卷积等数学原理有深入的理解会有所帮助,但它们并非必要条件。 |
| 67 | + |
| 68 | +## 课程结构 |
| 69 | + |
| 70 | +本课程分为多个单元,从基础知识入手,逐步深入到最先进的模型。 |
| 71 | + |
| 72 | +- **单元 1 - 计算机视觉基础**:本单元介绍计算机视觉的基本概念,包括对计算机视觉的需求、该领域的基础知识及其应用。同时,还将探讨图像基础、形成和预处理,以及特征提取的关键环节。 |
| 73 | +- **单元 2 - 卷积神经网络 (CNNs)**:本单元深入 CNN 的世界,介绍其通用架构、关键概念和常见的预训练模型。您将学习如何应用迁移学习和微调来调整 CNN,使其适应各种任务。 |
| 74 | +- **单元 3 - Vision Transformers**:本单元探索计算机视觉领域的 Transformer 架构,并了解它们与 CNN 的比较。同时,还将介绍常见的 Vision Transformers,如 Swin、DETR 和 CVT,以及迁移学习和微调技术。 |
| 75 | +- **单元 4 - 多模态模型**:本单元通过探索图像到文本和文本到图像等多模态任务,了解文本和视觉信息的融合。您将学习诸如 CLIP 及其相关模型(GroupViT、BLIPM、Owl-VIT)等模型,并掌握多模态任务的迁移学习技术。 |
| 76 | +- **单元 5 - 生成模型**:本单元探索生成模型,包括 GAN、VAE 和扩散模型。了解它们在文本到图像、图像到图像和图像修复等任务中的差异和应用。 |
| 77 | +- **单元 6 - 基本计算机视觉任务**:本单元涵盖图像分类、目标检测和分割等基本任务,以及在这些任务中使用的模型 (YOLO, SAM)。您将了解这些任务的评估指标和实际应用。 |
| 78 | +- **单元 7 - 视频和视频处理**:本单元研究视频的特征、视频处理的作用以及与图像处理相比的挑战。探索时间连续性、运动估计和视频处理中的实际应用。 |
| 79 | +- **单元 8 - 3D 视觉、场景渲染和重建**:本单元深入研究三维视觉的复杂性,探索诸如 Nerf 和 GQN 等用于场景渲染和重建的概念。了解 3D 视觉在计算机视觉中的挑战和应用,以及它如何提供更全面的空间信息视图。 |
| 80 | +- **单元 9 - 模型优化**:本单元探索模型优化的关键方面,涵盖模型压缩、部署注意事项以及工具和框架的使用等技术,包括蒸馏、剪枝和 TinyML 等主题,以实现高效的模型部署。 |
| 81 | +- **单元 10 - 合成数据创建**:本单元介绍使用深度生成模型创建合成数据的重要性。探索诸如点云和扩散模型等方法,并研究主要的合成数据集及其在计算机视觉中的应用。 |
| 82 | +- **单元 11 - 零样本计算机视觉**:本单元深入研究计算机视觉中零样本学习的领域,涵盖泛化、迁移学习及其在零样本识别和图像分割等任务中的应用。探索零样本学习和迁移学习在各种计算机视觉领域之间的关系。 |
| 83 | +- **单元 12 - 计算机视觉中的伦理和偏见**:本单元探讨计算机视觉领域特有的伦理考量。了解伦理的重要性,偏见如何渗透到人工智能模型中,以及这些领域中普遍存在的偏见类型。学习如何进行偏见评估和缓解,强调人工智能技术的负责任开发和部署。 |
| 84 | +- **单元 13 - 展望和未来趋势**:本单元探索当前趋势和前沿架构,深入研究 Retentive Network、Hiera、Hyena、I-JEPA 和 Retention Vision Models 等创新方法。 |
| 85 | + |
| 86 | +## 课程团队 |
| 87 | + |
| 88 | +本课程由 Hugging Face 社区倾力打造 💜!欢迎您[在 GitHub 上](https://github.com/huggingface/computer-vision-course)贡献您的力量。我们的目标是创建一个对初学者友好的计算机视觉课程,并使其成为其他人的宝贵资源。来自世界各地的 60 多位贡献者共同完成了这个项目,在此我们向他们致以衷心的感谢: |
| 89 | + |
| 90 | +**单元 1 - 计算机视觉基础** |
| 91 | + |
| 92 | +- 审阅者:[Ratan Prasad](https://github.com/ratan)、[Ameed Taylor](https://github.com/atayloraerospace)、[Sergio Paniego](https://github.com/sergiopaniego) |
| 93 | +- 作者:[Seshu Pavan Mutyala](https://github.com/seshupavan)、[Isabella Bicalho-Frazeto](https://github.com/bellabf)、[Aman Kapoor](https://github.com/aman06012003)、[Tiago Comassetto Fróes](https://github.com/froestiago)、[Aditya Mishra](https://github.com/adityaiiitr)、[Kerem Delikoyun](https://github.com/krmdel)、[Ker Lee Yap](https://github.com/klyap)、[Kathy Fahnline](https://github.com/kfahn22)、[Ameed Taylor](https://github.com/atayloraerospace) |
| 94 | + |
| 95 | +**单元 2 - 卷积神经网络 (CNNs)** |
| 96 | + |
| 97 | +- 审阅者:[Ratan Prasad](https://github.com/ratan)、[Mohammed Hamdy](https://github.com/mmhamdy)、[Sezan](https://github.com/sezan92)、[Joshua Adrian Cahyono](https://github.com/JvThunder)、[Murtaza Nazir](https://github.com/themurtazanazir)、[Albert Kao](https://github.com/albertkao227)、[Sitam Meur](https://github.com/sitamgithub-MSIT)、[Antonis Stellas](https://github.com/AntonisCSt)、[Sergio Paniego](https://github.com/sergiopaniego) |
| 98 | +- 作者:[Emre Albayrak](https://github.com/emre570)、[Caroline Shamiso Chitongo](https://github.com/ShamieCC)、[Sezan](https://github.com/sezan92)、[Joshua Adrian Cahyono](https://github.com/JvThunder)、[Murtaza Nazir](https://github.com/themurtazanazir)、[Albert Kao](https://github.com/albertkao227)、[Isabella Bicalho-Frazeto](https://github.com/bellabf)、[Aman Kapoor](https://github.com/aman06012003)、[Sitam Meur](https://github.com/sitamgithub-MSIT) |
| 99 | + |
| 100 | +**单元 3 - Vision Transformers** |
| 101 | + |
| 102 | +- 审阅者:[Ratan Prasad](https://github.com/ratan)、[Mohammed Hamdy](https://github.com/mmhamdy)、[Ameed Taylor](https://github.com/atayloraerospace)、[Sezan](https://github.com/sezan92) |
| 103 | +- 作者:[Surya Guthikonda](https://github.com/SuryaKrishna02)、[Ker Lee Yap](https://github.com/klyap)、[Anindyadeep Sannigrahi](https://bento.me/anindyadeep)、[Celina Hanouti](https://github.com/hanouticelina)、[Malcolm Krolick](https://github.com/Mkrolick)、[Alvin Li](https://github.com/alvanli)、[Shreyas Daniel Gaddam](https://shreydan.github.io)、[Anthony Susevski](https://github.com/asusevski)、[Alan Ahmet](https://github.com/alanahmet)、[Ghassen Fatnassi](https://github.com/ghassen-fatnassi) |
| 104 | + |
| 105 | +**单元 4 - 多模态模型** |
| 106 | + |
| 107 | +- 审阅者:[Ratan Prasad](https://github.com/ratan)、[Snehil Sanyal](https://github.com/snehilsanyal)、[Mohammed Hamdy](https://github.com/mmhamdy)、[Charchit Sharma](https://github.com/charchit7)、[Ameed Taylor](https://github.com/atayloraerospace)、[Isabella Bicalho-Frazeto](https://github.com/bellabf) |
| 108 | +- 作者:[Snehil Sanyal](https://github.com/snehilsanyal)、[Surya Guthikonda](https://github.com/SuryaKrishna02)、[Mateusz Dziemian](https://github.com/mattmdjaga)、[Charchit Sharma](https://github.com/charchit7)、[Evstifeev Stepan](https://github.com/minemile)、[Jeremy Kespite](https://github.com/jeremy-k3/)、[Isabella Bicalho-Frazeto](https://github.com/bellabf)、[Pedro Gabriel Gengo Lourenco](https://github.com/pedrogengo) |
| 109 | + |
| 110 | +**单元 5 - 生成模型** |
| 111 | + |
| 112 | +- 审阅者:[Ratan Prasad](https://github.com/ratan)、[William Bonvini](https://github.com/WilliamBonvini)、[Mohammed Hamdy](https://github.com/mmhamdy)、[Ameed Taylor](https://github.com/atayloraerospace) |
| 113 | +- 作者:[Jeronim Matijević](github.com/jere357)、[Mateusz Dziemian](https://github.com/mattmdjaga)、[Charchit Sharma](https://github.com/charchit7)、[Muhammad Waseem](https://github.com/hwaseem04) |
| 114 | + |
| 115 | +**单元 6 - 基本计算机视觉任务** |
| 116 | + |
| 117 | +- 审阅者:[Adhi Setiawan](https://github.com/adhiiisetiawan) |
| 118 | +- 作者:[Adhi Setiawan](https://github.com/adhiiisetiawan)、[Bastien Pouëssel](https://github.com/Skower) |
| 119 | + |
| 120 | +**单元 7 - 视频和视频处理** |
| 121 | + |
| 122 | +- 审阅者:[Ameed Taylor](https://github.com/atayloraerospace)、[Isabella Bicalho-Frazeto](https://github.com/bellabf) |
| 123 | +- 作者:[Diwakar Basnet](https://github.com/DiwakarBasnet)、[Chulhwa Han](https://github.com/cjfghk5697)、[Woojun Jung](https://github.com/jungnerd)、[Jiwook Han](https://github.com/mreraser)、[Mingi Kim](https://github.com/1kmmk1) |
| 124 | + |
| 125 | +**单元 8 - 3D 视觉、场景渲染和重建** |
| 126 | + |
| 127 | +- 审阅者:[Ratan Prasad](https://github.com/ratan)、[William Bonvini](https://github.com/WilliamBonvini)、[Mohammed Hamdy](https://github.com/mmhamdy)、[Adhi Setiawan](https://github.com/adhiiisetiawan)、[Ameed Taylor](https://github.com/atayloraerospace0) |
| 128 | +- 作者:[John Fozard](https://github.com/jfozard)、[Vasu Gupta](https://github.com/vasugupta9)、[Psetinek](https://github.com/psetinek) |
| 129 | + |
| 130 | +**单元 9 - 模型优化** |
| 131 | + |
| 132 | +- 审阅者:[Ratan Prasad](https://github.com/ratan)、[Mohammed Hamdy](https://github.com/mmhamdy)、[Adhi Setiawan](https://github.com/adhiiisetiawan)、[Ameed Taylor](https://github.com/atayloraerospace) |
| 133 | +- 作者:[Adhi Setiawan](https://github.com/adhiiisetiawan) |
| 134 | + |
| 135 | +**单元 10 - 合成数据创建** |
| 136 | + |
| 137 | +- 审阅者:[Mohammed Hamdy](https://github.com/mmhamdy)、[Ameed Taylor](https://github.com/atayloraerospace)、[Bhavesh Misra](https://github.com/Zekrom-7780) |
| 138 | +- 作者:[William Bonvini](https://github.com/WilliamBonvini)、[Alper Balbay](https://github.com/alperiox)、[Madhav Kumar](https://github.com/miniMaddy)、[Bhavesh Misra](https://github.com/Zekrom-7780)、[Kathy Fahnline](https://github.com/kfahn22) |
| 139 | + |
| 140 | +**单元 11 - 零样本计算机视觉** |
| 141 | + |
| 142 | +- 审阅者:[Ratan Prasad](https://github.com/ratan)、[Mohammed Hamdy](https://github.com/mmhamdy)、[Albert Kao](https://github.com/albertkao227)、[Isabella Bicalho-Frazeto](https://github.com/bellabf) |
| 143 | +- 作者:[Mohammed Hamdy](https://github.com/mmhamdy)、[Albert Kao](https://github.com/albertkao227) |
| 144 | + |
| 145 | +**单元 12 - 计算机视觉中的伦理和偏见** |
| 146 | + |
| 147 | +- 审阅者:[Ratan Prasad](https://github.com/ratan)、[Mohammed Hamdy](https://github.com/mmhamdy)、[Charchit Sharma](https://github.com/charchit7)、[Adhi Setiawan](https://github.com/adhiiisetiawan)、[Ameed Taylor](https://github.com/atayloraerospace)、[Bhavesh Misra](https://github.com/Zekrom-7780) |
| 148 | +- 作者:[Snehil Sanyal](https://github.com/snehilsanyal)、[Bhavesh Misra](https://github.com/Zekrom-7780) |
| 149 | + |
| 150 | +**单元 13 - 展望和新兴趋势** |
| 151 | + |
| 152 | +- 审阅者:[Ratan Prasad](https://github.com/ratan)、[Ameed Taylor](https://github.com/atayloraerospace)、[Mohammed Hamdy](https://github.com/mmhamdy) |
| 153 | +- 作者:[Farros Alferro](https://github.com/farrosalferro)、[Mohammed Hamdy](https://github.com/mmhamdy)、[Louis Ulmer](https://github.com/lulmer)、[Dario Wisznewer](https://github.com/dariowsz)、[gonzachiar](https://github.com/gonzachiar) |
| 154 | + |
| 155 | +**组织团队** |
| 156 | +[Merve Noyan](https://github.com/merveenoyan)、[Adam Molnar](https://github.com/lunarflu)、[Johannes Kolbe](https://github.com/johko) |
| 157 | + |
| 158 | +感谢您的阅读,让我们开始学习吧! |
0 commit comments