2020 年度的教程合集分为「入门」、「课程 & 教材」、「工具」、「语言」、「精选项目」、「人生经验」等版块,在文章的最后,我们还列出了往年教程合集,喜欢温故知新的同学们可以继续学,因为学习是没有止境的。
- 2019:收藏、退出一气呵成,2019 年机器之心干货教程都在这里了
- 2018:新年大礼包:机器之心 2018 高分教程合集
- 2017:灵魂追问 | 教程那么多,你…… 看完了吗?
- 2016:人工智能从入门到进阶,机器之心高分技术文章全集
人工智能这十年
当 2020 年已经成为往事,我们发现,人工智能在过去的十年里如此深刻地改变了世界。
站在交界点,下一个十年,人工智能将走向何方?时间会给我们答案。
入门必备
在人工智能随处可及的今天,入门还来得及吗?嗯,问题不大。
首先,你需要充分理解一些领域内的常见概念:
- 为非专业人员量身打造,斯坦福教授 Christopher Manning 一页纸定义 AI 核心概念
- 想入门图深度学习?这篇 55 页的教程帮你理清楚了脉络
- 史上最全 GAN 综述 2020 版:算法、理论及应用
- 图解机器学习:人人都能懂的算法原理
如果你准备深入研究某一主题,先看看这些综述类宝藏资料吧!其中很多都来自世界各地的机器之心分析师们,精彩原创内容的背后,是他们字斟句酌的日日夜夜:
- 三辩三驳:这篇论文告诉你传统优化分析与现代 DL 有哪些不匹配
- AlphaGo 原来是这样运行的,一文详解多智能体强化学习的基础和应用
- 没有完整图时,如何使用图深度学习?你需要了解流形学习 2.0 版本
- 从 Bengio 演讲发散开来:探讨逻辑推理与机器学习
- 什么是近似算法?它适用于哪些问题?这篇文章给你答案
- 结构化数据,最熟悉的陌生人
- 学习 Hinton 老爷子的胶囊网络,这有一篇历史回顾与深度解读
- 不要小看树模型
- 相关性 ≠ 因果性,用图的方式打开因果关系
- 三篇论文,纵览深度学习在表格识别中的最新应用
- 微分方程 VS 机器学习,实例讲解二者异同
- 图解 NumPy:常用函数的内在机制
- 如何解决稀疏奖励下的强化学习?
- 自动微分到底是什么?这里有一份自我简述
- 2020 入坑图像分割,我该从哪儿入手?
- 看 GAN 如何一步步控制图像生成风格?详解 StyleGAN 进化过程
- 万字长文综述:给你的数据加上杠杆——文本增强技术的研究进展及应用实践
- 哈希算法、爱因斯坦求和约定,这是 2020 年的注意力机制
- 模块化、反事实推理、特征分离,「因果表示学习」的最新研究都在讲什么?
- 机器学习第一步,这是一篇手把手的随机森林入门实战
- 从α到μ:DeepMind 棋盘游戏 AI 进化史
- 相信你的模型:初探机器学习可解释性研究进展
- 直观、形象、动态,一文了解无处不在的标准差
- 神经正切核,深度学习理论研究的最新热点?
- 如何构建识别图像中字符的自动程序?一文解读 OCR 与 HTR
- 想了解风头正劲的联邦学习?这篇包含 400 多个参考文献的综述论文满足你
- 在推荐系统中,我还有隐私吗?联邦学习:你可以有
- 联邦学习 OR 迁移学习?No,我们需要联邦迁移学习
- 7 篇 ICLR 论文,遍览联邦学习最新研究进展
- 模型攻击:鲁棒性联邦学习研究的最新进展
- Science:AI 领域那么多引人注目的「进展」,竟是无用功
- 速度数十倍之差,有人断言 KNN 面临淘汰,不断更强的 ANN 将取而代之
- 2021 年的第一盆冷水:有人说别太把图神经网络当回事儿
- 纯贝叶斯神经网络没有意义?OpenAI 科学家何出此言?
- 深度度量学习的这十三年,难道是错付了吗?
可以走别人走过的路,但不要踩别人踩过的「坑」:
- 算法工程师福利:超实用技术路线图
- 微积分、线性代数、概率论,这里有份超详细的 ML 数学路线图
- GitHub 霸榜项目:30 万字图解算法题典,超全实用资源,狂揽 6000 星
- 「走过」微软、优步,老工程师告诉你哪些数据结构和算法最重要
- 研究 idea 不 work,可能不是它不好,而是硬件没跟上
- 机器学习论文复现,这五大问题你需要注意
- 机器学习模型部署都有哪些坑?剑桥研究者梳理了 99 篇相关研究
- 你的生产型 ML 复现不了,可能是工作流程出了问题
- 不要上手就学深度学习!超详细的人工智能专家路线图,GitHub 数天获 2.1k 星
- 哪些电脑最适合做机器学习、数据科学和深度学习呢?这里有份调研报告
- PapersWithCode 发布代码完整性自查清单:想获得更多星,你需要注意这五项
- 数据缺失、混乱、重复怎么办?最全数据清洗指南让你所向披靡
- 老码农的「锦囊」:10 个编程技巧、5 个纠错步骤,让你的编程之路少点坎坷
- 如何成为更好的软件架构师?这篇 3.8K star 的文章值得一看
什么是数学之美?就是思考的时候忘记时间的流逝,解答或证明后无与伦比的快乐
。搞 AI 离不开数学,就在这些精选内容里,领略数学之美吧:
- 如何入门线性代数?这里有一份 Python 线性代数讲义
- 诞生 272 年后,这个看似简单的数学问题终求得闭式解
- 用简单术语让你看到贝叶斯优化之美
- 受折纸游戏启发,柏拉图立体的数学难题,被这三位数学家解决了
- 陶哲轩之后,有人在这个猜想的证明之路上又前进了一步
- 入数据科学大坑,我需要什么样的数学水平?
- 一周时间解决数学界「康威扭结」难题,这个数学博士小姐姐太强悍
- 优化背后的数学基础
- 看得懂的数学之美:从青年欧拉对巴塞尔问题的解法说起
- 如何在黎曼流形上避开鞍点?本文带你了解优化背后的数学知识
- 不用计算器怎么开平方?徒手也可以
- 破洞牛仔裤中的几何学:简单理解万有覆叠问题
- 21 岁 MIT 本科生推动数学重要问题新进展,曾获阿里数学竞赛奖
- 124 页哈佛数学系本科论文,带你了解流形学习的数学基础
优质课程 & 教材
众所周知,「机器之心」是一个用来学习的公众号。学习资料不需要太多,关键在于「经典」。这一年,编辑部为读者挑选出了这些优质的课程和教材:
课程
- 86 岁还在录网课:MIT 教授 Gilbert Strang 最新「线性代数」课程上线
- 威斯康辛大学《机器学习导论》2020 秋季课程完结,课件、视频资源已开放
- CMU 出品,计算机图形学秋季课程已上线,B 站同步字幕视频
- Manning、陈丹琦讲座,2021 斯坦福 CS224N 即将开课
- UC 伯克利出品,深度强化学习最新课程已上线
- 图神经网络新课上架:宾大 2020 秋季在线课程开课,视频上线 B 站
- 吴恩达 Deeplearning.ai 国庆节上新:生成对抗网络(GAN)专项课程
- Bengio 亲自讲授因果表示学习,Mila 博士 Brady Neal 因果推理导论开课了
- 深度学习准「研究僧」预习资料:图灵奖得主 Yann LeCun《深度学习(Pytorch)》春季课程
- 哈佛 CS50 撕书教授在家录了一套 4K 网课,你准备好电话簿了吗?
- Jure Leskovec 等顶尖学者倾情授课,斯坦福知识图谱课程完结(B 站可看)
- B 站教学,全中文课程:港中文周博磊强化学习课程完结
- 2400 门课:MIT 开放迄今最全 CS + 电气工程课程
- 菲尔兹奖得主陶哲轩的春季课程 3 月底线上开放,非 UCLA 学生也能上
- 你离开学只差这个视频:李宏毅机器学习 2020 版正式开放上线
- 斯坦福 CS330 2019 秋季课程视频全新上线,专注多任务与元学习
- 不怕学不够,只怕不够学:这份 MIT 最新深度学习入门公开课请收好
- 官方「补习班」:MIT 新年开课,帮你补习学校没教的计算机工具技巧
教材
- 谷歌研究科学家 Kevin P. Murphy 概率机器学习经典教材再版,PDF 免费下载
- 七年力作:UC 伯克利马毅新书预印版开放下载,探讨低维模型与高维数据分析
- 李宏毅强化学习完整笔记!开源项目《LeeDeepRL-Notes》发布
- 经典教材《统计学习导论》现在有了 Python 版
- 82 页《现代 C++ 教程》:高速上手 C++ 11/14/17/20
- 95 后哈佛小哥撰写《从零开始的机器学习》,入门必备,书籍资源已开放
- 十年之后,CV 经典教材《计算机视觉:算法与应用》迎来第二版,初稿开放下载
- 涵盖逻辑回归、贝叶斯等算法,一本关于 ML 在线免费书籍,值得一读
- 328 页,ACM Fellow、耶鲁 CS 教授凸优化算法书籍开放下载了
- 140 页,初学者友好,麦吉尔大学助理教授 Hamilton 新书《图表示学习》开放下载
- 杨强教授领衔,十余年研究沉淀,迁移学习「开山之作」全新上市
- 我问了十多位机器学习专家,得到了这份书单
- PyTorch 官方教程书限时免费!500 页内容带你上手最流行框架
- 周志华「西瓜书」啃不动?「南瓜书」PDF 上线了!详细公式推导,GitHub 标星过万
工具
要想提高生产力,你得掌握真正高效的工具,这里分为深度学习框架、笔记本、数据集几个类别。
深度学习框架
- 深度学习框架简史:TF 和 PyTorch 双头垄断,未来十年迎来黄金时期
- TensorFlow 惊现大 bug?网友:这是逼着我们用 PyTorch 啊!
- 只知道 TF 和 PyTorch 还不够,快来看看怎么从 PyTorch 转向自动微分神器 JAX
- Keras vs PyTorch,哪一个更适合做深度学习?
- OpenAI 全面拥抱 PyTorch,TensorFlow:我哪里比不上它?
- PyTorch 称霸顶会:CVPR 论文占比是 TensorFlow 4 倍
- 2020,PyTorch 真的赶上 TensorFlow 了吗?
- TensorFlow 官方开发者认证:考试费 100 美元,5 小时完成 5 个模型
- 官方文档太辣鸡?TensorFlow 2.0 开源工具书,30 天「无痛」上手
- TensorFlow2.1 正式版上线:最后一次支持 Python2,进一步支持 TPU
- TensorFlow 2.4 来了:上线对分布式训练和混合精度的新功能支持
- 无性能损失,不用更改代码,Lightning 1.1 版本发布,切分训练新功能节省 50% 以上内存
- TensorFlow 为新旧 Mac 特供新版本,GPU 可用于训练,速度最高提升 7 倍
- 两个月不到,我是如何从 Python 新手成长为谷歌认证 TensorFlow 开发者的?
- 输入示例,自动生成代码:TensorFlow 官方工具 TF-Coder 已开源
- PyTorch 1.4 最新版放出:支持 Python2 的最后一版,支持分布式模型并行、Java 程序、移动端等多项新功能
- PyTorch 1.5 上线:加入稳定 C ++ 前端,高级自动渐变 API
- PyTorch 1.6 来了:新增自动混合精度训练、Windows 版开发维护权移交微软
- PyTorch 1.7 发布,支持 CUDA 11,Windows 分布式训练
- 分离硬件和代码、稳定 API,PyTorch Lightning 1.0.0 版本正式发布
- 高性能 PyTorch 是如何炼成的?过来人吐血整理的 10 条避坑指南
- PyTorch 版 YOLOv4 更新了,另外适用于自定义数据集,还集成了关注和 MobileNet
- PyTorch 版 EfficientDet 比官方 TF 实现快 25 倍?这个 GitHub 项目数天狂揽千星
Notebook
- 超强一代 JupyterLab 3.0 发布,兼具可视化调试、中文显示、简单交互界面等功能
- 挑战 Jupyter Notebook:云协作、云硬件,上云的 Notebook 编程环境
- VS Code 上也能玩转 Jupyter Notebook,这是一份完整教程
- 青出于蓝而胜于蓝,这是一款脱胎于 Jupyter Notebook 的新型编程环境
- 大幅提高生产力:你需要了解的十大 Jupyter Lab 插件
- 首款 Jupyter 官方可视化 Debug 工具,JupyterLab 未来可默认支持 Debug
其他
- 我研究了最热门的 200 种 AI 工具,却发现这个行业有点饱和
- 不要让你的开源项目「裸奔」,一文了解开源证书
- 写出一手烂代码的 19 条准则
- Goodbye Clean Code,这是对代码编写与重构的新感悟
- 做 ML 项目,任务繁多琐碎怎么办?这份自查清单帮你理清思路
- 画图太丑拿不出手?有人做了套机器学习专用画图模板,还有暗黑模式
- 拯救手残党,机器学习画图模板 ML Visuals 更新了
- 论文 LaTeX、项目 README:无脑套用格式、开源模板最高 10 万赞
- 分分钟甩 Word 几条街,Python 编辑公式竟可以如此简单
- Python 代码转 Latex 公式,这个开源库用一行代码帮你搞定
- 数学表达式一键变图,CMU 开发实用工具 Penrose,堪称图解界 LaTeX
- 数学公式太晦涩,不如用代码写出来:这是程序员学数学的独特方式
- 太阳图,平行坐标… 5 种动态,相互作用可视化让数据讲出更动听的故事
- 对不起,你的 PPT 数据不够直观,你可能需要让数据动起来
- 一个像素的旅行,华人博士卷积网络可视化项目火了:点点鼠标就能看懂的扫盲神器
- 工作流一目了然,看小姐姐用动图展示 10 大 Git 命令
- 还在写 Bug?GitHub 官方代码扫描工具上线,免费查找漏洞
- 一天 1300 Star 量,GitHub 上新官方命令行工具
- 实时可视化 Debug:VS Code 开源新工具,一键解析代码结构
- 截屏、文字提取一气呵成,超实用 OCR 开源小工具
- 只需一行代码,你的纯文本秒变 Markdown
- 优化器怎么选?一文教你选择适合不同 ML 项目的优化器
- 狂揽 2500 星,开源十六进制编辑器登顶 GitHub 热榜
- 编辑神器 Vim 新教程出炉,GitHub 3400 星,复杂命令轻松搞定
- 「最全」实至名归,NumPy 官方早有中文教程,结合深度学习,还有防脱发指南
- 加速数据分析,这 12 种高效 Numpy 和 Pandas 函数为你保驾护航
编程语言
最火的语言是什么?咳咳,从数量上来看,是 Python 无疑了。这一年,我们介绍了这些关于 Python 的最新动态(但仍然保留,关于「世界上最好的编程语言」这个问题的结论)。
- Python2 已终结,入手 Python 3,你需要这 30 个技巧
- Python 3.9 来了!这十个新特性值得关注
- Python3.9 又更新了:dict 内置新功能,正式版十月见面
- Python3.10 第二个 alpha 版本来了!最新特性值得关注
- 更快、更强的 Python 实现:Pyston v2.0 发布
- 微软推出的 Pylance,随着 VS Code 的更新,性能又前进了一步
- 这些方法,能够让你的 Python 程序快如闪电
- 为 Python 正名:语言本身不是瓶颈,可能是外部资源出了问题
- 微软研究院开源编程语言 Verona,借鉴 Rust、Cyclone 等特性
- 半小时入门 Rust,这是一篇 Rust 代码风暴
- 解读 C++ 即将迎来的重大更新(一):C++20 的四大新特性
- 解读 C ++ 即将迎来的重大更新(二):C ++ 20 的核心语言
- Python 和 Go 都很火,我要怎么选?
- 有人说 Julia 比 Python 好,还给出了 5 个理由
- 2021 编程语言「后浪」趋势预测:JavaScript、Python 热度不减,但崛起最快的却是它
- 哪种编程语言又快又省电?有人对比了 27 种语言
- 下个 10 年,Go 能取代 Python 成为开发者的首选语言吗?
- 用哪种语言写的应用漏洞最严重?六大主流语言代码漏洞分析报告出炉
- Python、Java、C++ 一网打尽,这个 GitHub 项目用多种语言实现经典算法
精选项目
这一年,机器之心还介绍了让人直呼好家伙的精选项目,这里是否有你的作品呢?
你永远不知道,人类是多么热爱各种魔幻的换头术、隐身术……
- 拯救单身狗:这个对象生成器帮你看看未来对象长啥样
- 皱眉细节完美复刻,阿尔伯塔大学团队标星 1.7K 的项目生成超逼真的肖像画
- 不用 GAN,照片生成简笔画,效果惊艳
- 英伟达开源「Imaginaire」:九大图像及视频合成方法,你学 fei 了吗?
- 宫崎骏动画里的新垣结衣见过没?这个开源动漫生成器让你的照片秒变手绘日漫
- 1.9K star 量,解救无聊网友,小姐姐的「动画师」项目可一键生成个人角色
- 和马斯克 Zoom 开个会,竟是 AI 换脸,GitHub 4000 星项目登上热榜
- 3 个月实现产品落地,这个 GitHub 8000 星的 AI 实时换脸项目有 APP 了
- 一键 Deepfake,人人都能用的视频自动换脸网站上线
- 万圣节定制「丧尸生成器」,编辑部亲测,效果鬼畜
- 川普跳「鸡你太美」?这么专业,一定是 AI 合成的!
程序员的乐趣,其他人怎么会懂?
- 只有 170 字节,最小的 64 位 Hello World 程序这样写成
- 程序员的乐趣,生成自定义二维码,5 行 Python 代码就搞定
- 来自一个插件的疯狂夸赞,VS Code「彩虹屁」插件问世,网友:我想要郭德纲版
- 厌倦了大众字体?你可以用这个项目自创一款手写体
- GTA 5 真香!哦不,我在用深度学习做自动驾驶
- 几行代码搞定 ML 模型,低代码机器学习 Python 库正式开源
- 饭圈黑话翻译机:「老年人」专用,防止暴露年龄神器
- 是时候抄底了?强化学习炒股,走向人生巅峰(或倾家荡产)
- 你以为文言编程只是闹着玩?三个月后,人家 IDE、教程、包管理器都有了
- 实测超轻量中文 OCR 开源项目,总模型仅 17M
- MIT 开源高性能自动微分框架 Enzyme:速度提升 4.5 倍
- 模型仅有 7M:轻量级高精度人脸识别方法 DBFace
- 「英伟达呼吸机」开源:计算机架构大师打造,成本暴减 98%,黄仁勋点赞
- 不到 1000 行代码,GitHub 1400 星,天才黑客开源深度学习框架 tinygrad
- 一天 star 量破千,300 行代码,特斯拉 AI 总监 Karpathy 写了个 GPT 的 Pytorch 训练库
- PyTorch 实现,GitHub 4000 星:这是微软开源的计算机视觉库
- FaceBook 开源 PyTorch3D:基于 PyTorch 的新 3D 计算机视觉库
- 竞赛比完,代码、模型怎么处理?Kaggle 大神:别删,这都是宝藏
- Manning 大神牵头,斯坦福开源 Python 版 NLP 库 Stanza:涵盖 66 种语言
- 面试资源、公共 API、多样化学习路径,这 10 个 GitHub 库开发者必看
- 一行代码不用写,就可以训练,测试,使用模型,这个 star 量 1.5k 的项目帮你做到
- 清华开源 Jittor:首个国内高校自研深度学习框架,一键转换 PyTorch
- 来自本科生的暴击:清华开源「天授」强化学习平台,纯 PyTorch 实现
- 清华大学开源迁移学习算法库:基于 PyTorch 实现,支持轻松调用已有算法
- 你有特斯拉,我有树莓派,纯手工打造车载车牌识别检测系统,家用车秒变智能车
- 自制「低配版」开源波士顿动力机器狗:53 万买不起,有树莓派就够了
- 拔掉 MacBookPro,用 8GB 树莓派 4 工作一天,体验原来是这样的
- 等等党的胜利:树莓派 4 首发 8GB 版本,售价 75 刀,还可尝鲜 64 位操作系统
数据集
- 万余首钢琴作品、一千多个小时,字节跳动发布全球最大钢琴 MIDI 数据集
- 36 万类别、1800 万图像,国内机构创建全球最大人脸数据集
- 170 多万篇论文,存储量达 1.1 TB,Kaggle 上线 arXiv 完整数据集
- 上海交大:我们做了一个医疗版 MNIST 数据集,发现常见 AutoML 算法没那么好用
- 10 万视频,所有面部图像均获授权,Facebook 创建大规模 Deepfake 数据集
- 10 大类、142 条数据源,中文 NLP 数据集线上搜索开放
- 谷歌数据集搜索正式版出炉:全面升级,覆盖 2500 万数据集
分享一点人生的经验
读书 or 求职?这是一个问题。在决策之前,你可以看看这些:
- 谷歌大脑高级研究科学家:在康奈尔读博 6 年,我收获了什么
- 要不要读博?机器学习博五学生和强化学习博士展开了一场 battle
- 21 页优雅读博指南:佐治亚理工学院助理教授 Eric Gilbert 撰写,入坑前必读
- 「学术放养」和「认真负责」并不冲突,芝大 CS 博士谈从导师身上学到的几件事
- 过来人的肺腑之言,攻读 CV 和 ML 硕士给我带来了什么?
- ML 社区八大「毒瘤」:盲目崇拜、相互攻讦、重 SOTA 轻实效……
- 读博难,大神来支招:DeepMind 科学家 Sebastian Ruder 提出十条实用建议
- 论文被拒,项目被砍?斯坦福「最惨」在读博士教你如何直面失败
关于论文,你要知道这些事儿:
- 魁北克大学教授痛批双盲评审制度:这不是个好主意
- 揭秘同行评审「十宗罪」,这样做才能改进论文评审机制
- SOTA 论文也未必能被接收,谷歌科学家 Eric Jang 谈顶会审稿标准
- 记录理解程度、一篇至少读 3 遍,吴恩达建议这样读论文
- 论文得分低、濒临被拒不要慌,18 条 rebuttal 小贴士助你说服评审和 AC
- 论文不公开代码,应该被直接拒稿?
- 研究生学位论文如何选题?清华大学刘洋教授的线上课程火了
- 机器学习研究者的养成指南,吴恩达建议这么读论文
如果你决定投身业界,那就需要参考一些前辈经验了,会有事半功倍的效果
- 毕业陷入迷茫?吴恩达教你如何成为 AI 业界大佬
- 会写代码不如会演讲?白板面试是否筛掉了真正优秀的求职者
- 我从高级开发者身上学到的 19 条编码原则
- 毕业一年多被裁,没有计算机文凭,我在两个月内搞定 4 份 Offer,且收入翻倍
- 我,一个靠 GitHub 打赏谋生的码农,年入十万美元
- 30 天完成 60 多场技术面试,我学到了什么?
- 17 条避坑指南,获赞 5K+,这是一份来自谷歌工程师的数据库经验贴
- 我今年 24 岁,即将失明,还能继续写代码吗?
- 你的 GitHub 爆款项目,面试官可能问都不问
- 艰难就业季,如何在谷歌拥有一张办公桌?谷歌八年高级工程师亲授面试经验
- 人在家中坐,Offer 天上来?不可能的,这篇文章告诉你如何从零开始找到好工作
这里有一些大佬的人生经验:
- 沈向洋博士:三十年科研路,我踩过的那些坑
- 18 岁辍学,22 岁进谷歌和 Jeff Dean 谈笑风生,这样的我究竟需不需要本科文凭?
- 陶哲轩自述考砸经历:智商高达 230 的数学天才,却因没复习险些挂科
- 第一篇学术演讲准备两个月,去了谷歌却做不了深度学习,听 Facebook 田渊栋谈人生挑战与选择
- 周博磊自述 5 年研究经历:一个神经元的价值和一个神经病的坚持
- 从转行领先业内,到创业入选万人计划:上海交大博士的开挂科研路
原文:https://mp.weixin.qq.com/s/lyDIQXAkTiPHFDu16m6pLw



0 条评论,4,629 次阅读