金融界2024年3月29日消息，据国家知识产权局公告，中信建投证券股份有限公司申请一项名为“一种模型训练方法、装置、电子设备以及存储介质“，公开号CN117786104A，申请日期为2023年11月。
专利摘要显示，本发明实施例提供了一种模型训练方法、装置、电子设备以及存储介质，涉及大模型技术领域。具体实现方案为：获取训练数据集；利用待训练的大语言模型中的词嵌入层，对各条训练语料进行编码得到每一训练语料对应的编码矩阵；针对每一训练语料的编码矩阵，利用预测网络按照预设时间步预测该训练语料的对应的训练样本的、关于各个预定类别的初始概率分布，基于初始概率分布中概率最大的类别，执行第一处理方式或第二处理方式，得到预测结果；基于每一训练样本对应的预测结果以及所具有的指定标签，计算模型损失值；基于模型损失值调整大语言模型的参数。可见，通过本方案，可以在满足大语言模型的词向量表达需求的基础上，兼顾模型的训练效率。