基于练习和推理场景下的MindStudio高精度对比

本文分享自华为云社区《【MindStudio练习营第一季】MindStudio 高精度对比随笔》，作者：Tianyi_Li。

练习场景下，迁移原始网络 (如TensorFlow、PyTorch) ，用于NPU上执行练习，网络迁移可能会造成自有实现的算子运算结果与用原生准则算子运算结果存在偏差。推理场景下， ATC模型转换过程对模型进行优化，包括算子消除、算子合成算子拆分，这些优化也可能会造成自有实现的算子运算结果与原生准则算子(如TensorFlow、ONNX、 Caffe ) 运算结果存在偏差。

为了扶助开发人员快速解决算子精度问题，需要提供自有实现的算子运算结果与业界准则算子运算结果之间进行精度差异对比的工具。

计策:

精度比对工具能够扶助开发人员定位本次任务两个网络间的精度差异。预备好昇腾腾AI处理器运行生成的dump教据与Ground Truth数据 (基于GPU/CPU运行生成的数据)后，即可进行不同算法评判指标的数据比对。

MindStudio提供精度比对功能，支持Vector比对能力，支持下列算法：

余弦相似度

最大绝对误差

累积相对误差

欧氏相对距离

KL散度…

精度比对依据推理/练习和不同的框架分为多个比对场景。

原始模型数据即为原始网络在GPU/CPU侧生成的数据，主要依靠原始框架中的源生能力，将模型中每一个算子节点的输进输出数据进行保存。

NPU模型数据即为通过对原始模型的迁移或练习在县腾A处理器上得到的数据，主要依靠华为侧提供对使用推理及练习提供的Dump能力，将模型中每一个算子节点的输进输出数据进行保存。

由于MindStudio精度比对工具的使用约束，数据需要称心以下格式:

原始模型数据预备

以TensorFlow为例

在进行TensorFlow模型生成npy数据前，您需要已经有一套完全的、可执行的、准则的TensorFlow模型使用工程。然后利用TensorFlow官方提供的debug工具tfdbg调试程序，从而生成npy文件。通常情状下，TensorFlow的网络实现方式主要分为Estimator模式和session.run模式，具体操作如下:

展开全文

1.修改tf练习脚本，添加debug选项设置

2.执行推理或练习脚本，任务运行到前面debug配置后暂停

3.进进调试命令行交互模式后,

3.1 输进run命令，练习会往下执行一个step

3.2 执行lt tensor name将所有tensor的名称暂存到文件里，在另一个窗口，在Linux命令下执行下述命令，用以生成在tfdbg命令行执行的命令:

timestamp=$[S(date +%s%N)/1000] ; cat tensor name | awk 'print "pt",$4,$4)' | awk '[gsub("/", ""$3);gsub("""" $3);print($1,$2,"-n 0 -w "$3"stimestamp"""npy")y' tensor name cmd.txt

3.3 将上一步生成的tensor name cmd.txt文件内容粘贴执行，即可存储所有npy文件，实现练习数据的Dump。

注: 更加详尽操作见《CANN开发辅助工具指南》中“精度比对工具使用指南”章节。

NPU模型数据预备

以推理场景为例

推理场景数据预备一NPU的合成后推理数据NPU摘用AscendCL完成离线推理:

1.在代码中调用acllnit(“./acl.json”)

acl.json的文件内容如下:

2.运行推理使用，生成dump数据

以练习场景为例

练习场景数据预备-NPU的迁移后网络练习数据

以TensorFlow为例，步骤如下：

1.设置“DUMP GE GRAPH=2”生成计算图文件，同时修改练习脚本，开启dump功能

2.执行练习脚本，生成dump数据和计算图文件

计算图文件:“ge”开头的文件，存储在练习脚本所在目录

dump数据文件: 生成在dump path指定的目录下，即(dump path)/time)/(deviceid)/(model name)/(model id)/(data index) 。

3.选取计算图文件

可使用grep lterator* Build.txt命令快速查找出的计算图文件名称，如ge proto 00005 Build.txt.

4.选取dump数据文件

打开上述计算图文件，找出第一个graph中的name字段，即为dump文件存放目录名称。

精度对比工具使用方法

创建对比任务

将预备好的准则数据文件与待比对数据文性作为输进文件，并配置对应的离线模型文件，通过对文件内所有参与计算的算子输进与输出进行精度比对。

整网比对在MindStudio界面菜单栏洗择“Ascend Model Accuracy Analvzer New Task菜单，进进比对界面。

整网对比结果

整网比对结果主要分为四大展示模块:

整网对比结果表；

精度散点图;

模型可视化:

精度专家意见

精度比对工具本身只提供自有实现算子在昇腾AI处理器上的运算结果与业界准则算子的运算结果的差异比对功能，而输出的比对结果需要用户自行分析并找出问题。而对结果的分析工作对于用户来说也是一大难点，而专家系统工具为用户提供精度比对结果的结果分析功能，有效减少用户排查问题的时间。只需在比对操作配置任务时勾选“Advisor”选项，系统则会在比对完成后自动进行结果文件的分析，并输出优化意见。

当前支持的分析检测类型有：FP16溢出检测、输进不一致检测、整网一致性检测（整网一致性检测包括：问题节点检测、单点误差检测和一致性检测三个小点）

这里特殊阐明下FP16溢出检测，针对比对数据中数据类型为FP16的数据，进行溢出检测。假如存在溢出数据，输出专家意见，示例图如下所示。

专家系统分析结果：

Detection Type: FP16 overflow

Operator Index: 228

Expert Advice: Float16 data overflow occurs. Rectify the fault and perform comparison again.

检测类型：FP16溢出检测

Operator Index：228

专家意见：存在Float16数据溢出，请修正溢出问题，再进行比对。

单算子对比

可针对整网任务中的某个算子进行单算子比对，分析某个算子的具体精度差异。

使用约束

精度比对功能不支持打开多个工程同时进行比对，可以先完成一个比对程序后再进行下一个。

精度比对支持的dump数据的类型：

FLOAT

FLOAT16

DT_INT8

DT_UINT8

DT_INT16

DT_UINT16

DT_INT32

DT_INT64

DT_UINT32

DT_UINT64

DT_BOOL

DT_DOUBLE

特殊阐明

dump文件无法通过文本工具直接查看其内容，为了查看dump文件内容，需要用脚本将dump文件转换为numpy格式文件后，再通过numpy官方提供的能力转为txt文档进行查看。脚本在/home/HwHiAiUser/Ascend/ascend-toolkit/latest/tools/operator_cmp/compare目录，名为msaccucmp.py。举例用法如下：

python3 msaccucmp.py convert -d dump_file [-out output] [-f format -s shape] [-o output_tensor] [-i input_tensor] [-v version] [-t type]

调用Python，转换numpy文件为txt文件的完全示例如下：

$ python3

import numpy as np

a = np.load("/home/HwHiAiUser/dumptonumpy/Pooling.pool1.1147.1589195081588018.output.0.npy")

b = a.flatten()

np.savetxt("/home/HwHiAiUser/dumptonumpy/Pooling.pool1.1147.1589195081588018.output.0.txt", b)

但转换为.txt格式文件后，维度信息、Dtype均不存在。详尽的使用方法请参考numpy官网介绍。

总结

精度对比总计分为环境预备、数据预备和对比三步。

数据预备要依据推理场景和练习场景分别分析：

推理场景：预备第三方框架原始模型的npy数据文件与离线模型的dump数据文件。

练习场景：预备基于GPU运行生成的第三方框架原始练习网络npy数据文件与基于昇腾AI处理器运行生成的练习网络dump数据和计算图文件。

预备后上述步骤，可进行对比：

执行整网比对操作。

开启MindStudio的“Ascend Model Accuracy Analyzer”功能，将预备好的比对数据文件配置到对应参数下并配置具体比对参数。

MindStudio执行比对操作并输出比对结果。

比对结果专家意见（可选）。请参见比对结果专家意见。

依据分析结果定位具体问题算子。

执行单算子比对操作。

分析单算子具体问题。

最后说下Tensor比对，Tensor对比提供整网比对和单算子比对两种精度比对方式，需要依据比对场景抉择比对方式。其中，整网比对：将预备好的准则数据文件与待比对数据文件作为输进文件，通过对文件内所有参与计算的算子进行精度比对。而单算子比对：在整网比对的基础上指定具体算子名，对单个算子进行详尽数据的比对。

个人认为，精度对比这是一个需要时间、精力和体会的操作，要足够利用好MindStudio工具，或查文档，或提问，可大大降低我们的工作量，提高效率。但是不得不说，这是需要一定体会的，还是要多看多学习，多试多问啊。

版权声明：本文为CSDN博主「华为云开发者联盟」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

原文链接：