华为公布AI模型运行新专利: 优化数据预取 降低延时

[CNMO科技消息]9月5日，天眼查App信息显示，华为技术有限公司申请的“AI模型的运行方法、装置、程序产品和存储介质”专利已正式公布。该专利于当日公开，旨在优化人工智能模型在异构计算环境下的运行效率，减少因数据搬运导致的处理延迟。

根据专利摘要，该技术属于机器学习领域，主要应用于包含处理器与计算卡协同工作的主机系统。在AI模型训练或推理过程中，输入数据通常分批处理。当系统处理第二组数据时，若其包含前一批数据中未出现的新数据，传统架构需临时从主机内存调取相关嵌入向量（EmbeddingVector），易造成计算卡等待，影响整体效率。

华为此次公布的方案提出了一种前瞻性的数据预取机制。具体而言，主机的处理器会先分析相邻两组输入数据的差异，识别出在第二数据组中出现但未存在于第一数据组中的“第一数据”。随后，系统提前将这部分新增数据对应的嵌入向量预取至处理器本地的第一内存，并生成相应的向量信息。

关键在于，在计算卡处理第二组数据的同时，系统可根据预生成的向量信息，将所需嵌入向量从主机端的第一内存快速预取至计算卡自带的第二内存中。这一操作实现了数据搬运与计算过程的并行化，有效避免了计算资源的空闲等待，从而显著降低整体处理延时。