米兰-英特尔高管：AI模型将逐步从云端向边缘端转移—新闻—科学网

云端处置时耽误、数据传输本钱高，存在数据平安耽忧。英特尔高级副总裁Sachin Katti暗示，AI向边沿端渗入，年夜模子或慢慢从云端向边沿端转移。

英特尔高级副总裁兼收集与边沿事业部总司理Sachin Katti

“我们估计AI将更多地在边沿端摆设和利用，以处置当地数据。跟着时候的推移，AI模子可能会慢慢从云端向边沿端转移。”7月24日，在2024英特尔收集与边沿计较行业年夜会上，英特尔高级副总裁兼收集与边沿事业部总司理Sachin Katti暗示，当前的AI首要在云端运行，跟着边沿装备在当地发生年夜量数据，将所稀有据传输至云真个本钱相当昂扬，向边沿计较演进是年夜势所趋。

数据平安、及时性鞭策AI从云端走向边沿端

Sachin Katti暗示，人类正处在AI辅助时期，AI帮忙人类更高效地工作，在AI辅助时期以后，人类将迈入AI助手时期，“开车颠末快餐店，AI智能体可以供给点餐办事，企业的工作流也能够用AI完成。在遥远的将来，我们可能会发现，智能体之间可以或许交互，就像人类一路合作一样，供给部分级的解决方案。”

Sachin Katti暗示，今天的AI增加首要集中在云上，但向边沿计较演进是年夜势所趋，“曩昔，我们讲到的AI根基上关在机械视觉或以时候序列为根本的主动化手艺。但此刻的边沿AI已从边沿的机械视觉慢慢进展到年夜说话模子、生成式AI等的边沿利用。英特尔就要不竭地供给相干能力，加快在边沿端摆设生成式AI和年夜说话模子。”

除边沿数据的传输需求，数据平安、及时性是鞭策AI从云端走向边沿真个主要斟酌。英特尔市场营销团体副总裁、英特尔中国收集与边沿和渠道数据中间事业部总司理郭威暗示，一方面，企业存在将数据放在云真个耽忧，另外一方面，边沿计较有助在解决及时性要求。

“本年根基上我们一半以上的客户都在摸索基在边沿年夜模子的落地解决方案。”英特尔副总裁兼收集与边沿事业部中国区总司理陈伟暗示，从边沿计较的落地来看，模子范围并不是越年夜越好，而是应当合适市场利用场景的现实需求，“边沿计较的摆设需要斟酌良多身分，好比时延、可适用性、微不雅数据的可调优化和信息平安等。”

边沿调优受限在数据量

“边沿的特点就是碎片化。”英特尔中国区收集与边沿事业部首席手艺官、英特尔高级首席AI工程师张宇说，分歧用户对算力、机能有分歧要求。边沿调优的常见挑战是数据量限制，一个黉舍或一个工场真正能用来做练习的数据量很小。分歧企业、分歧黉舍的数据也分歧，汽车零部件出产工场和机加工工场碰到的问题分歧，不克不及用同一模子检测产物缺点，必需用企业特定命据来练习模子。

与此同时，张宇暗示，“做练习需要做标注，让机械知道你到底在存眷甚么。一个工场里真正操作AI功能装备的常常是出产线上的工人，他们在出产进程中哪有精神做标注？”是以在边沿调优时需要用主动化的标注手段，在数据量较少的环境下完成标注。“在边沿端，终究用户寻求的是营业摆设，而不是手艺方案。用户对营业的要求是便利、易在摆设，摆设后易在治理，这常常是客户的痛点。”

郭威暗示，解决现实的行业问题仅仅依托模子练习依然不敷，推理能力的晋升诉求在本年尤其较着。年夜模子落地必定触及从端到边沿、再到云真个算力均衡散布，“假如只是垂直年夜模子的尺度利用，年夜模子首要摆设在云端。但因为行业落地的需要，必定会促使AI算力向边沿和端侧散布。”

Sachin Katti暗示，边沿真个首要工作负载是推理和延续进修。有时在边沿端摆设后发现结果不和预期，或跟着一段时候的运行，就需要对原本的模式进行微调。

边沿端事实需要几多算力？Sachin Katti暗示，算力与能耗存在正相干性。在边沿端摆设装备，能耗年夜约200瓦，云端摆设的能耗在1-2千瓦，而数据中间的单层机架能耗或高达100千瓦。假如将全部数据中间的能耗累加起来，可能会到达50-100吉瓦。在算力或能耗较高的环境下，冷却效力和冷却能力是必需斟酌的要害变量。因为年夜范围数据和算力会发生年夜量热量，“我们今朝采取液冷手艺对机群有用降温。现有的液冷手艺已可以或许成功为100千瓦的机群降温，将来有望扩大到300千瓦。是以，限制算力还一个很是主要的身分，就是你是不是有足够的能力有用进行整体情况的降温。”

特殊声明：本文转载仅仅是出在传布信息的需要，其实不意味着代表本网站不雅点或证实其内容的真实性；如其他媒体、网站或小我从本网站转载利用，须保存本网站注明的“来历”，并自大版权等法令责任；作者假如不但愿被转载或联系转载稿费等事宜，请与我们联系。