设置

关灯

第636章 AlexNet登场(第3节)

辛顿听完亚历克斯的长篇大论,陷入了深深的思考。

他站起身,走到白板前,看着亚历克斯写下的对比数据。

“2006年的时候,我一直在研究深层网络训练难的问题。”辛顿缓缓开口。

亚历克斯和伊利亚都安静地听着导师的复盘。

“由于信号在传播过程中会逐层衰减,也就是梯度消失,导致网络根本无法有效训练。”辛顿指出当年的痛点。

“后来我提出了逐层预训练的方法。先逐层训练好每一层的参数,再堆叠起来整体训练。”辛顿回顾着自己的理论成果。

“这个理论证明了深度的价值,奠定了基础,但实际操作中,算力一直是我们跨不过去的天堑。”辛顿叹了口气。

他转过身,看着亚历克斯,脸上露出了赞赏的笑容。

“亚历克斯,你今天提出来的这个思路非常合理。如果GPU的并行计算真的能解决算力问题,我们就能探索更深层的网络。”辛顿给出了肯定的答复。

亚历克斯兴奋地搓了搓手。

“既然英伟达想借这个比赛推广技术,那我们就顺水推舟,用他们的硬件拿个冠军。这绝对是一次双赢。”亚历克斯分析着局面。

这一切的提前发生,自然是源于夏冬重生产生的蝴蝶效应。

原本的时空里,亚历克斯要再过两年才会用GPU在ImageNet上一战封神。

但现在,因为夏冬在太平洋彼岸搅动的风云,促使老黄感受到了危机,提前加大了对CUDA的宣传。

这股算力的东风,恰好吹到了正为进度发愁的亚历克斯面前。

辛顿看着这两个干劲十足的学生,做出了决定。

“伊利亚,亚历克斯,你们两个马上去比赛官网注册报名。我们用实际行动测试这个设想。”辛顿下达指令。

“记得报名的时候把我也加上,这种见证技术突破的时刻,我不想错过。”辛顿笑着宣布加入

本章未完,请点击"下一页"继续阅读! 第3页 / 共4页