米兰-科学家在大模型少样本域适应方面取得进展—新闻—科学网

近日，中国科学院软件研究所天基综合信息系统全国重点尝试室研究团队提出了一种新奇的提醒进修方式BayesPrompt，该方式经由过程摸索以去偏体例近似下流使命的完全练习域，为预练习说话模子供给去歧义指点。相干论文被机械进修范畴顶级学术会议ICLR 2024领受。

研究人员认为，进修范式持久存在的问题之一是下流域的练习样本中仅包括有限且离散的语义信息，没法较好地撑持传统可练习提醒取得足够监视，使得生成的提醒对预练习说话模子的指点变得微不足道。这个问题致使了预练习说话模子鄙人游域，特别在少样本场景下机能的降落。

为此，研究团队从散布视角从头审阅了预练习说话模子下流推理的道理，认为练习样本的有限会使得可练习提醒只进修到方针域的有偏散布，而有偏散布仅包括部门信息且与方针域的现实散布纷歧致，这会引发协变量偏移问题，从而致使预练习说话模子发生常识歧义。

此次新提出的BayesPrompt旨在进行去偏域抽象，操纵已知散布来近似下流域的去偏真实散布，再从近似散布中平均采样代表性特点以生成对预练习说话模子（PLMs）的提醒。研究团队经由过程进一步的理论验证，证实了与基准方式比拟，BayesPrompt在预练习说话模子的下流推理上取得了更紧致的分类误差上界。另外，在少样本数据集设置下的尝试成果进一步证实了BayesPrompt的有用性。

相干论文信息：https://arxiv.org/abs/2401.14166

代码地址：https://github.com/FF2127/bayesprompt

版权声明：凡本网注明“来历：中国科学报、科学网、科学新闻杂志”的所有作品，网站转载，请在正文上方注明来历和作者，且不得对内容作本色性改动；微信公家号、头条号等新媒体平台，转载请联系授权。邮箱：shouquan@stimes.cn。