金融界2024年3月28日消息，据国家知识产权局公告，华为技术有限公司取得一项名为“一种自然语言处理方法以及装置“，授权公告号CN112883149B，申请日期为2021年1月。
专利摘要显示，本申请公开了人工智能领域的一种自然语言处理方法以及装置，用于在自然语言处理过程中，更高效地解读出各个词在其语料中更优的语义信息。该方法包括：获取输入序列，该输入序列中包括第一语料中的至少一个词对应的初始向量表示；将输入序列作为自注意力模型的输入得到输出序列，输出序列表示第一语料中的各个词的语义信息；其中，自注意力模型包括多层网络，每层网络包括多个自注意力模块，用于基于输入的向量计算关联度，即第一语料中每个词和相邻的词之间的关联程度，并融合关联度和输入的向量，得到第一序列，融合多个自注意力模块输出的第一序列和上一层网络中的多个自注意力模块输出即可得到的当前网络层的输出。