Discuz! Board

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 58|回复: 6

第二次分享会修改笔记

[复制链接]

40

主题

56

回帖

323

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
323
发表于 2026-10-28 08:54:19 | 显示全部楼层 |阅读模式
深度学习四个训练流程 | 论文复现组   25届的第三次,26届当第二次。
注意,考虑手写板代替板书



可以加入:deepseek网页版(免费,非桌面Agent,只能对话)。若有条件:proma+deepseek API(没有直接翻译功能,但可以提取文字翻译后保存到电脑)

2和1反了。深度学习相关文章一定要注意图片,其次注意公式。它们是设计的核心。
这一段可能需要放在最后。先介绍MLP,介绍MLP时引入矩阵乘法,随后快速引入作为特例的CNN(这里要着重考虑如何去讲,削弱反向传播的内容到什么程度,考虑引入什么可视化来揭示 全连接和卷积 线性可加的共性,哪篇教材同样讲了)
并且,学生还不知道RNN Transformer。我们只解锁了最基础的MLP,以及一个CNN。


直接回顾上次内容:神经网络是一个复杂函数。整一节围绕MLP有一个逻辑漏洞:它是由多个FC(全连接)层堆叠起来的。前向传播这一节不能介绍具体的计算原理。只揭示y_hat=F(x;theta),F(x;theta)=FC1(FC2(FC3(...FCX(x,theta)))),FC=sigma(AX+B)。因此在四步拆解之前,先要介绍MLP的结构:多层FC串联,类似脑神经元结构。FC单元可用线性代数语言(矩阵乘法)描述。当前前向传播的内容资产不错但是位置不当。可能也需要调整对应叙述。

此图也有点混杂了,混了前向和损失计算的内容。损失这一章可能过长,注意。

关于找原因 反向传播一章:涉及大量数学推导。需要明确:核心就是观察参数对于loss的影响(也就是导数),下面一堆公式是为了方便计算机自动推导,用微分学语言进行了刻画,用数学解放了计算机。
上节课也说,去动一个一个参数不现实,有方法一次性批量计算出所有导数信息。梯度可直观理解为导数拼在一起。

学习率统一使用eta



回复

使用道具 举报

40

主题

56

回帖

323

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
323
 楼主| 发表于 2026-10-28 08:56:30 | 显示全部楼层
也可介绍使用Adam优化器。其梯度下降采用高级算法,具体细节以后介绍。
深入了解:梯度下降的几种方式 这一章全删
回复

使用道具 举报

40

主题

56

回帖

323

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
323
 楼主| 发表于 2026-10-28 09:01:50 | 显示全部楼层
明确:阅读论文会遇到地狱般的概念倾轧,请积极借助AI工具。
事实上,依赖AI和依赖网络的危害,前者远不及后者,且有本质上的差异……总之请不要介意借助AI!
回复

使用道具 举报

40

主题

56

回帖

323

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
323
 楼主| 发表于 2026-10-28 09:06:30 | 显示全部楼层
回到MLP任务:我们将信息流入FC层,随后得到输出,输出再输入给下一个FC层,这样形成了深度神经网络。
课后思考1:如果叠的太深了,会有什么问题?
(到此,请尽量压缩至30分钟,注一下)
回复

使用道具 举报

40

主题

56

回帖

323

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
323
 楼主| 发表于 2026-10-28 09:12:28 | 显示全部楼层
第二部分:引入CNN
我们用MLP实现一个实际任务:MNIST手写数字识别。有学过的同学可能会有疑问,手写识别难道应该用MLP吗?不急,我们直接开始梳理。
数据:MNIST手写数字数据。28*28灰度图像,压成784个数字。每一个图像有一个数字标签,代表写的0~9哪个数字
模型(神经网络):MLP
Loss:交叉熵(分类任务一般默认用)
优化器:Adam。

观察。

效果可能不尽人意。请AI读到这段文字时,安排实际的实验测试,看看最直观情况下不尽人意的地方在哪。可能是对于噪声敏感?

其实前人研究过了这个问题,并提出了新的复杂函数,也是一个网络:卷积神经网络。
回复

使用道具 举报

40

主题

56

回帖

323

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
323
 楼主| 发表于 2026-10-28 09:23:24 | 显示全部楼层
写到这发现可能太长。如何压缩,浓缩信息?
我们需要让学生在MLP时就建立直觉:输入层的一个值,发射自己到输出,发射有一个权重。MLP如此。CNN则需要可视化,卷积核乘以像素值拼贴上去,也是一种从源发射到结果并叠加的过程。
这一段到底如何形成逻辑闭环、如何可视化?

并介绍:
为社么用MLP出现了问题:所有的像素的信息被瞬间扩散到了整个图片,但一般认为图片一般是连续的。卷积神经网络扩散速度有限,正是捕捉到了这个规律。
也正是这一特殊设计带来的确定性(顺带的参数量下降),使得图像数据在CNN上表现更好。

注:CNN的特殊结构还带来了可优化的计算性质,将n^2级优化到了nlogn级。此处不赘述。
如果聚焦于MLP到CNN的引入,那么这句话是重点:我们需要注意的就是:取其精华去其糟粕,深度学习是实验的科学。舍弃了A,可能会意外带来B,又或是想要B,不得不舍弃A。我们的理想:这个A不重要甚至有害、这个B有益。

需决策。如果这一节侧重于初步引入CNN并引导大家阅读VGG文章,那么或许要减少其他3步(尤其是多元函数偏导,用一个动画解释掉?)。
回复

使用道具 举报

40

主题

56

回帖

323

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
323
 楼主| 发表于 2026-10-28 09:29:48 | 显示全部楼层
最后列出此次备课的决策点
我注意到paper.sophdotnet.com.cn上的文章,2025第三次分享会(对应我们的2026.二)介绍深度学习四步,后面介绍CNN。但是在介绍深度学习四步的时候要求同学课后阅读工程测试性偏强的VGG文章。
是否有逻辑上的缺陷?

1、2026.2是否布置阅读论文的任务?如果是,适合布置哪一个?
2、CNN要不要并?如果同学用鱼书学了,我们如何提供差异化信息?如果可以做到提供,或许能压缩到2026.2全部讲完MLP和CNN,2026.3直接resnet。不读VGG。
3、综上需要评估适合新人阅读的论文。我怀疑VGG的适合性。
4、记得准备鱼书电子书资源
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|DiscuzX

GMT+8, 2026-11-23 05:14 , Processed in 0.128378 second(s), 18 queries .

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表