米兰-清华交叉团队突破智能光计算训练难题—新闻—科学网

清华年夜学电子系为论文第一单元,方璐传授、戴琼海传授为论文的通信作者,清华年夜学电子系博士生薛智威、博士后周天贶为配合一作,电子系博士生徐智昊、之江尝试室虞绍良博士介入了本项工作。本课题遭到国度科技部、国度天然科学基金委、北京信息科学与手艺国度研究中间、清华年夜学-之江尝试室结合研究中间的撑持。

Nature审稿人在审稿评述中指出“本文中提出的设法很是新奇,此类光学神经收集(ONN)的练习进程是史无前例的。所提出的方式不但有用,并且轻易实现。是以,它有望成为练习光学神经收集和其他光学计较系统的普遍采取的东西。”

巧用对称,助力光计较解脱GPU依靠

最近几年间,具有高算力低功耗特征的智能光计较慢慢登上了算力成长的舞台。通用智能光计较芯片“太极”的问世即是此中的一个缩影,它初次将光计较从道理验证推向了年夜范围尝试利用,以160TOPS/W的系统级能效为年夜范围复杂使命的“推理”带来了曙光,但未可以或许释放智能光计较的“练习之能”。

相较在模子推理而言,模子练习更需要年夜范围算力。但是,现有的光神经收集练习严重依靠GPU进行离线建模而且要求物理系统精准对齐。正因如斯,光学练习的范围遭到了极年夜的限制,光高机能计较的优势恍如被禁锢在无形的桎梏当中。

在这个时辰,方璐、戴琼海课题组找到了“光子传布对称性”这把钥匙,将神经收集练习中的前向与反向传布都等效为光的前向传布。

据论文第一作者、电子系博士生薛智威介绍,在太极-II架构下,梯度降落中的反向传布化为了光学系统的前向传布,光学神经收集的练习操纵数据-误差两次前向传布便可实现。两次前向传布具有自然的对齐特征,保障了物理梯度的切确计较。如斯实现的练习精度高,便可以或许支持年夜范围的收集练习。

因为不需要进行反向传布,太极-II架构不再依靠电计较进行离线的建模与练习,年夜范围神经收集的精准高效光练习终究得以实现。

全前向智能光计较练习架构

高效精准,智能光练习事事可为

以光为计较前言,以光的可控传布构建计较模子,光计较自然具有高速和低功耗的特征,操纵光的全前向传布实现练习可以或许极年夜的晋升光收集练习的速度与能效。

论文研究注解,太极-II可以或许对多种分歧光学系统进行练习,并在各类使命下均表示出了出色的机能。

年夜范围进修范畴:冲破了计较精度与效力的矛盾,将数百万参数的光收集练习速度晋升了1个数目级,代表性智能分类使命的正确率晋升40%。

复杂场景智能成像:弱光情况下(每像素光强度仅为亚光子)实现了能量效力为5.40×10^6 TOPS/W的全光处置,系统级能效晋升6个数目级。在非视阈场景下实现了千赫兹帧率的智能成像,效力晋升2个数目级。

拓扑光子学范畴:在不依靠任何模子先验下可主动搜刮非厄米奇特点,为高效精准解析复杂拓扑系统供给了新思绪。

通用智能光练习赋能复杂系统

联袂太极,鞭策AI光算力扬帆远航

太极-II的面世,继太极I芯片以后进一步揭露了智能光计较的庞大潜力。

如两仪分立,太极I和II别离实现了高能效AI推理与练习;

又如两仪和谐,太极I和II配合组成了年夜范围智能计较的完全生命周期。

方璐暗示:“‘定两仪太极之道,合正反乾坤之法’,我们如许形容太极系列这一组辩证协作架构,我们相信,它们将协力为将来AI年夜模子注入算力成长的新动力,构建光算力的新基座”。

在道理样片的根本上,研究团队正积极地向智能光芯片财产化迈进,在多种端侧智能系统长进行了利用摆设。

可以预感,颠末太极系列在内的光计较范畴的不懈尽力,智能光计较平台将有望以更低的资本耗损和更小的边际本钱,为人工智能年夜模子、通用人工智能、复杂智能系统的高速高能效计较斥地新路径。

特殊声明:本文转载仅仅是出在传布信息的需要,其实不意味着代表本网站不雅点或证实其内容的真实性;如其他媒体、网站或小我从本网站转载利用,须保存本网站注明的“来历”,并自大版权等法令责任;作者假如不但愿被转载或联系转载稿费等事宜,请与我们联系。

上一篇:米兰-“帮手”还是“帮凶”?生成式AI学术使用须关注—新闻—科学网 下一篇:米兰-浙江省有望再添两所大学—新闻—科学网