如何在c++侧编译运行一个aclnn（AOL）算子？

1 AOL算子库

CANN（Compute Architecture for Neural Networks）提供了算子加速库（Ascend Operator Library，简称AOL）。该库提供了一系列丰富且深度优化过的高性能算子API，更亲和昇腾AI处理器，调用流程如图1所示。开发者可直接调用算子库API使能模型创新与应用，以进一步提升开发效率和获取极致模型性能。
在这里插入图片描述

单算子API执行的算子接口一般定义为“两段式接口”，以NN算子接口定义为例：

aclnnStatus aclnnXxxGetWorkspaceSize(const aclTensor *src, ..., aclTensor *out, ..., uint64_t *workspaceSize, aclOpExecutor **executor);
aclnnStatus aclnnXxx(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream);

其中aclnnXxxGetWorkspaceSize为第一段接口，主要用于计算本次API调用计算过程中需要多少的workspace内存。获取到本次API计算需要的workspace大小后，按照workspaceSize大小申请AI处理器内存，然后调用第二段接口aclnnXxx。
说明：

  • workspace是指除输入/输出外，API在AI处理器上完成计算所需要的临时内存。
  • 第二段接口aclnnXxx(…)不能重复调用，如下调用方式会出现异常：
    aclnnXxxGetWorkspaceSize(…)
    aclnnXxx(…)
    aclnnXxx(…)

2 具体示例

2.1 文件准备

可以从官网获得一个算子的使用示例，如下算子是aclnnAdd：

aclnnAdd&aclnnInplaceAdd-单算子接口-NN类算子接口-单算子API执行-单算子执行-AscendCL API（C&C++）-应用开发接口-CANN商用版8.0.RC2.2开发文档-昇腾社区
​

#include <iostream>
#include <vector>
#include "acl/acl.h"
#include "aclnnop/aclnn_add.h"#define CHECK_RET(cond, return_expr) \do {                               \if (!(cond)) {                   \return_expr;                   \}                                \} while (0)#define LOG_PRINT(message, ...)     \do {                              \printf(message, ##__VA_ARGS__); \} while (0)int64_t GetShapeSize(const std::vector<int64_t>& shape) {int64_t shapeSize = 1;for (auto i : shape) {shapeSize *= i;}return shapeSize;
}int Init(int32_t deviceId, aclrtStream* stream) {// 固定写法，AscendCL初始化auto ret = aclInit(nullptr);CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret);ret = aclrtSetDevice(deviceId);CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret);ret = aclrtCreateStream(stream);CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret);return 0;
}template <typename T>
int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr,aclDataType dataType, aclTensor** tensor) {auto size = GetShapeSize(shape) * sizeof(T);// 调用aclrtMalloc申请device侧内存auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST);CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret);// 调用aclrtMemcpy将host侧数据拷贝到device侧内存上ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE);CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret);// 计算连续tensor的stridesstd::vector<int64_t> strides(shape.size(), 1);for (int64_t i = shape.size() - 2; i >= 0; i--) {strides[i] = shape[i + 1] * strides[i + 1];}// 调用aclCreateTensor接口创建aclTensor*tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND,shape.data(), shape.size(), *deviceAddr);return 0;
}int main() {// 1. （固定写法）device/stream初始化，参考AscendCL对外接口列表// 根据自己的实际device填写deviceIdint32_t deviceId = 0;aclrtStream stream;auto ret = Init(deviceId, &stream);CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret);// 2. 构造输入与输出，需要根据API的接口自定义构造std::vector<int64_t> selfShape = {4, 2};std::vector<int64_t> otherShape = {4, 2};std::vector<int64_t> outShape = {4, 2};void* selfDeviceAddr = nullptr;void* otherDeviceAddr = nullptr;void* outDeviceAddr = nullptr;aclTensor* self = nullptr;aclTensor* other = nullptr;aclScalar* alpha = nullptr;aclTensor* out = nullptr;std::vector<float> selfHostData = {0, 1, 2, 3, 4, 5, 6, 7};std::vector<float> otherHostData = {1, 1, 1, 2, 2, 2, 3, 3};std::vector<float> outHostData(8, 0);float alphaValue = 1.2f;// 创建self aclTensorret = CreateAclTensor(selfHostData, selfShape, &selfDeviceAddr, aclDataType::ACL_FLOAT, &self);CHECK_RET(ret == ACL_SUCCESS, return ret);// 创建other aclTensorret = CreateAclTensor(otherHostData, otherShape, &otherDeviceAddr, aclDataType::ACL_FLOAT, &other);CHECK_RET(ret == ACL_SUCCESS, return ret);// 创建alpha aclScalaralpha = aclCreateScalar(&alphaValue, aclDataType::ACL_FLOAT);CHECK_RET(alpha != nullptr, return ret);// 创建out aclTensorret = CreateAclTensor(outHostData, outShape, &outDeviceAddr, aclDataType::ACL_FLOAT, &out);CHECK_RET(ret == ACL_SUCCESS, return ret);uint64_t workspaceSize = 0;aclOpExecutor* executor;// aclnnAdd接口调用示例  // 3. 调用CANN算子库API// 调用aclnnAdd第一段接口ret = aclnnAddGetWorkspaceSize(self, other, alpha, out, &workspaceSize, &executor);CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAddGetWorkspaceSize failed. ERROR: %d\n", ret); return ret);// 根据第一段接口计算出的workspaceSize申请device内存void* workspaceAddr = nullptr;if (workspaceSize > 0) {ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST);CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret);}// 调用aclnnAdd第二段接口ret = aclnnAdd(workspaceAddr, workspaceSize, executor, stream);CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnAdd failed. ERROR: %d\n", ret); return ret);// 4. （固定写法）同步等待任务执行结束ret = aclrtSynchronizeStream(stream);CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret);// 5. 获取输出的值，将device侧内存上的结果拷贝至host侧，需要根据具体API的接口定义修改auto size = GetShapeSize(outShape);std::vector<float> resultData(size, 0);ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr,size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST);CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret);for (int64_t i = 0; i < size; i++) {LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]);}// aclnnInplaceAdd接口调用示例  // 3. 调用CANN算子库APILOG_PRINT("\ntest aclnnInplaceAdd\n");// 调用aclnnInplaceAdd第一段接口ret = aclnnInplaceAddGetWorkspaceSize(self, other, alpha, &workspaceSize, &executor);CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnInplaceAddGetWorkspaceSize failed. ERROR: %d\n", ret); return ret);// 根据第一段接口计算出的workspaceSize申请device内存if (workspaceSize > 0) {ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST);CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret);}// 调用aclnnInplaceAdd第二段接口ret = aclnnInplaceAdd(workspaceAddr, workspaceSize, executor, stream);CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnInplaceAdd failed. ERROR: %d\n", ret); return ret);// 4. （固定写法）同步等待任务执行结束ret = aclrtSynchronizeStream(stream);CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret);// 5. 获取输出的值，将device侧内存上的结果拷贝至host侧，需要根据具体API的接口定义修改ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), selfDeviceAddr,size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST);CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret);for (int64_t i = 0; i < size; i++) {LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]);}  // 6. 释放aclTensor和aclScalar，需要根据具体API的接口定义修改aclDestroyTensor(self);aclDestroyTensor(other);aclDestroyScalar(alpha);aclDestroyTensor(out);// 7. 释放Device资源，需要根据具体API的接口定义修改aclrtFree(selfDeviceAddr);aclrtFree(otherDeviceAddr);aclrtFree(outDeviceAddr);if (workspaceSize > 0) {aclrtFree(workspaceAddr);}aclrtDestroyStream(stream);aclrtResetDevice(deviceId);aclFinalize();return 0;
}

如果将该文件命名为test_add.cpp，那么接下来写它的CMakeLists文件，可从如下模板中修改。

重要内容修改：

  • add_executable中的文件名称，比如当前要改成test_add.cpp
# Copyright (c) Huawei Technologies Co., Ltd. 2019. All rights reserved.# CMake lowest version requirement
cmake_minimum_required(VERSION 3.14)# 设置工程名
project(ACLNN_EXAMPLE)# Compile options
add_compile_options(-std=c++11)# 设置编译选项
set(CMAKE_RUNTIME_OUTPUT_DIRECTORY  "./bin")    
set(CMAKE_CXX_FLAGS_DEBUG "-fPIC -O0 -g -Wall")
set(CMAKE_CXX_FLAGS_RELEASE "-fPIC -O2 -Wall")# 设置可执行文件名（如opapi_test），并指定待运行算子文件*.cpp所在目录
add_executable(opapi_testtest_add.cpp) # 设置ASCEND_PATH（CANN软件包目录，请根据实际路径修改）和INCLUDE_BASE_DIR（头文件目录）
if(NOT "$ENV{ASCEND_CUSTOM_PATH}" STREQUAL "")      set(ASCEND_PATH $ENV{ASCEND_CUSTOM_PATH})
else()set(ASCEND_PATH "/usr/local/Ascend/ascend-toolkit/latest")
endif()
set(INCLUDE_BASE_DIR "${ASCEND_PATH}/include")
include_directories(${INCLUDE_BASE_DIR}${INCLUDE_BASE_DIR}/aclnn
)# 设置链接的库文件路径
target_link_libraries(opapi_test PRIVATE${ASCEND_PATH}/lib64/libascendcl.so${ASCEND_PATH}/lib64/libnnopbase.so${ASCEND_PATH}/lib64/libopapi.so)# 可执行文件在CMakeLists文件所在目录的bin目录下
install(TARGETS opapi_test DESTINATION ${CMAKE_RUNTIME_OUTPUT_DIRECTORY})

2.2 编译运行

1、进入CMakeLists.txt所在目录，执行如下命令，新建build目录存放生成的编译文件。执行：

source ${install_path}/set_env.sh。#install_path为CANN的安装目录，一般为/usr/local/Ascend/ascend-toolkit/latest

2、进入build目录，执行cmake命令编译，再执行make命令生成可执行文件。

cd build
cmake ../ -DCMAKE_CXX_COMPILER=g++ -DCMAKE_SKIP_RPATH=TRUE
make

编译成功后，会在build目录的bin文件夹下生成opapi_test可执行文件。

3、进入bin目录，运行可执行文件opapi_test。

cd bin
./opapi_test

以Add算子的运行结果为例，运行后的结果示例如下：

result[0] is: 1.200000
result[1] is: 2.200000
result[2] is: 3.200000
result[3] is: 5.400000
result[4] is: 6.400000
result[5] is: 7.400000
result[6] is: 9.600000
result[7] is: 10.600000

可参考官网：

编译与运行样例-NN类算子接口-单算子API执行-单算子执行-AscendCL API（C&C++）-应用开发接口-API参考-CANN商用版8.0.RC2.2开发文档-昇腾社区 (hiascend.com)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/9128.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

三分钟学会Docker基本操作，快速入门容器技术！

三分钟学会Docker基本操作，快速入门容器技术！

如果您时常遭遇以下困境&#xff1a; 被繁琐的应用安装依赖与环境配置耗尽了宝贵时间与精力&#xff1f; 即便严格遵循安装指南&#xff0c;仍频遇障碍&#xff0c;导致应用无法启动&#xff0c;让您倍感挫败与焦虑&#xff1f; 向研发团队反馈安装难题&#xff0c;却只换来“…
阅读更多...
快速入门Zookeeper

快速入门Zookeeper

Zookeeper ZooKeeper作为一个强大的开源分布式协调服务&#xff0c;扮演着分布式系统中至关重要的角色。它提供了一个中心化的服务&#xff0c;用于维护配置信息、命名、提供分布式同步以及提供组服务等。通过其高性能和可靠的特性&#xff0c;ZooKeeper能够确保在复杂的分布式…
阅读更多...
uniapp—android原生插件开发（3Android真机调试）

uniapp—android原生插件开发（3Android真机调试）

本篇文章从实战角度出发&#xff0c;将UniApp集成新大陆PDA设备RFID的全过程分为四部曲&#xff0c;涵盖环境搭建、插件开发、AAR打包、项目引入和功能调试。通过这份教程&#xff0c;轻松应对安卓原生插件开发与打包需求&#xff01; 一、打包uniapp资源包&#xff1a; 打包…
阅读更多...
Windows 11开发环境配置与应用开发

Windows 11开发环境配置与应用开发

&#x1f4dd;个人主页&#x1f339;&#xff1a;一ge科研小菜鸡-CSDN博客 &#x1f339;&#x1f339;期待您的关注 &#x1f339;&#x1f339; 1. 引言 Windows 11是微软发布的新一代操作系统&#xff0c;它不仅在视觉和用户体验上进行了革新&#xff0c;还为开发者提供了更…
阅读更多...
停车共享小程序ssm+论文源码调试讲解

停车共享小程序ssm+论文源码调试讲解

2 系统关键技术 2.1 微信小程序 微信小程序&#xff0c;简称小程序&#xff0c;英文名Mini Program&#xff0c;是一种全新的连接用户与服务的方式&#xff0c;可以快速访问、快速传播&#xff0c;并具有良好的使用体验。 小程序的主要开发语言是JavaScript&#xff0c;它与普…
阅读更多...
【MRAN】情感分析中情态缺失问题的多模态重构和对齐网络

【MRAN】情感分析中情态缺失问题的多模态重构和对齐网络

abstract 多模态情感分析&#xff08;MSA&#xff09;旨在通过文本、视觉和声音线索识别情感类别。然而&#xff0c;在现实生活中&#xff0c;由于各种原因&#xff0c;可能会缺少一到两种模式。当文本情态缺失时&#xff0c;由于文本情态比视觉和听觉情态包含更多的语义信息&…
阅读更多...
通过 Windows IIS 服务访问腾讯云 CFS 文件系统

通过 Windows IIS 服务访问腾讯云 CFS 文件系统

互联网信息服务&#xff08;IIS&#xff09;可以像访问本地数据一样访问文件存储&#xff08;Cloud File Storage&#xff0c;CFS&#xff09;系统上的数据&#xff0c;并提供 Web 服务&#xff0c;实现网站存储与计算分离。本文介绍如何配置 IIS 访问 CFS 文件系统。 背景信息…
阅读更多...
L7.【LeetCode笔记】相交链表

L7.【LeetCode笔记】相交链表

1.题目 . - 力扣&#xff08;LeetCode&#xff09; 给你两个单链表的头节点 headA 和 headB &#xff0c;请你找出并返回两个单链表相交的起始节点。如果两个链表不存在相交节点&#xff0c;返回 null 。 图示两个链表在节点 c1 开始相交&#xff1a; 题目数据 保证 整个链式结…
阅读更多...
Java开发插件：JRebel热部署（最佳实践+激活方式）

Java开发插件：JRebel热部署（最佳实践+激活方式）

使用场景&#xff1a; 在庞大的项目&#xff0c;我们启动项目的时间较长&#xff0c;尤其每次修改完代码要进行测试&#xff0c;就要重新编译启动项目&#xff0c;耗时且繁琐&#xff0c;热部署插件通过设置更新操作&#xff0c;就可以实现快速启动项目&#xff0c;开发效率显…
阅读更多...
2024Python安装与配置IDE汉化集活的全套教程

2024Python安装与配置IDE汉化集活的全套教程

【一】Python解释器下载【运行环境】 【1】Python官网 包含编程资料、学习路线图、源代码、软件安装包等&#xff01;【[点击这里]】&#xff01; [https://www.python.org]&#xff08;官网进不去的可以点击点击领取&#xff0c;100%免费&#xff01;安装包&#xff09; 【2…
阅读更多...
【OD-支持在线评测】数字涂色(100分)

【OD-支持在线评测】数字涂色(100分)

📎 在线评测链接 https://app5938.acapp.acwing.com.cn/contest/11/problem/OD1081 🍓 OJ题目截图 🍿 最新机试E卷，全、新、准，题目覆盖率达 95% 以上，支持题目在线评测，专栏文章质量平均 94 分 🌍 评测功能需要 ⇒ 订阅专栏 ⇐ 后私信联系解锁～ 文章目录 📎…
阅读更多...
JAVA学习接口案例实例

JAVA学习接口案例实例

要求&#xff1a; 结果&#xff1a; 测试类&#xff1a; package Z; public class Test {public static void main(String[] args) {ClassMnger p new ClassMnger();p.Students();p.Studentall();p.studentavg();} } 实体数据类 public class ClassAll {//存入班级全部学…
阅读更多...
远程连接服务器

远程连接服务器

1、远程连接服务器 1.1 远程连接服务器------通过文字或图形接口方式来远程登录系统&#xff0c;让你在远程终端前登录linux主机以取得可操 作主机接口&#xff08;shell&#xff09;&#xff0c;而登录后的操作感觉就像是坐在系统前面一样。 1.2 功能------分享主机的运算能…
阅读更多...
1分钟教你利用ai工具免费制作10W+情感视频,自动化批量操作,效率提升10倍！

1分钟教你利用ai工具免费制作10W+情感视频,自动化批量操作,效率提升10倍！

觉得风之馨的文章对你有用的话&#xff0c;记得点赞、关注加星标哦&#xff01; 今天刷到这种人生感悟号,很容易唤起大家的共鸣。转眼间一年即将过去,摸摸口袋没剩下几个钱。内心突然间就伤感起来了&#xff0c;生活不易&#xff0c;且行且珍惜。 评论出大神,有出来拉仇恨的&a…
阅读更多...
CISCO产品介绍

CISCO产品介绍

思科防火墙是由全球领先的网络解决方案提供商思科&#xff08;Cisco&#xff09;公司研发和生产的一系列网络安全设备。 思科的产品和服务涵盖了多个领域&#xff0c;包括但不限于&#xff1a; 网络硬件&#xff1a;思科的路由器和交换机是其核心产品&#xff0c;广泛应用于企…
阅读更多...
Python | Leetcode Python题解之第547题省份数量

Python | Leetcode Python题解之第547题省份数量

题目&#xff1a; 题解&#xff1a; class Solution:def findCircleNum(self, isConnected: List[List[int]]) -> int:def find(index: int) -> int:if parent[index] ! index:parent[index] find(parent[index])return parent[index]def union(index1: int, index2: i…
阅读更多...
如何优化Elasticsearch查询以提高性能？

如何优化Elasticsearch查询以提高性能？

为了优化Elasticsearch查询以提高性能&#xff0c;以下是一些实用的策略和技巧&#xff1a; 节点负载均衡&#xff1a; 通过调整副本数来实现负载均衡。确保分片和副本的总数与节点数量相匹配&#xff0c;以均匀分配查询请求。 慢查询处理&#xff1a; 开启慢查询日志&#xf…
阅读更多...
使用SigXplorer进行串扰的仿真

使用SigXplorer进行串扰的仿真

串扰&#xff08;Crosstalk&#xff09;是信号完整性&#xff08;Signal Integrity&#xff09;中的核心问题之一&#xff0c;尤其在当今的高密度电路板设计中&#xff0c;其影响愈发显著。当电路板上的走线密度增大时&#xff0c;各线路间的电磁耦合增强&#xff0c;串扰问题愈…
阅读更多...
【报错记录】Steam迁移(移动)游戏报：移动以下应用的内容失败：XXX: 磁盘写入错误

【报错记录】Steam迁移(移动)游戏报：移动以下应用的内容失败：XXX: 磁盘写入错误

前言 由于黑神话悟空&#xff0c;导致我的2TB的SSD系统盘快满了&#xff0c;我又买了一块4TB的SSD用来存放游戏&#xff0c;我就打算把之前C盘里的游戏移动到D盘&#xff0c;结果Steam移动游戏居然报错了&#xff0c;报的还是“磁盘写入错误”&#xff0c;如下图所示&#xff…
阅读更多...
迁移学习相关基础

迁移学习相关基础

迁移学习 目标 将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中。 主要思想 从相关领域中迁移标注数据或者知识结构、完成或改进目标领域或任务的学习效果。 概述 Target data&#xff1a;和你的任务有直接关系的数据&#xff0c;但数据量少&#xff…
阅读更多...
最新文章

Copyright @ 2022~2023