CANN/asc-devkit SetBias矩阵偏置接口

SetBias【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 训练系列产品/Atlas A2 推理系列产品支持Atlas 200I/500 A2 推理产品支持Atlas 推理系列产品AI Core支持Atlas 推理系列产品Vector Core不支持Atlas 训练系列产品不支持Kirin X90支持功能说明设置矩阵乘的Bias。函数原型__aicore__ inline void SetBias(const GlobalTensorBiasT biasGlobal)__aicore__ inline void SetBias(const LocalTensorBiasT inputBias)参数说明表1参数说明参数名输入/输出描述biasGlobal输入Bias矩阵。类型为GlobalTensor。不同型号支持的数据类型请参考支持的数据类型。A矩阵、B矩阵、Bias支持的数据类型组合可参考Matmul输入输出数据类型的组合说明在MxMatmul场景A矩阵、B矩阵、Bias支持的数据类型组合可参考MatmulTypeWithScale参数说明。inputBias输入Bias矩阵。类型为LocalTensor支持的TPosition为TSCM/VECOUT。不同型号支持的数据类型请参考支持的数据类型。A矩阵、B矩阵、Bias支持的数据类型组合可参考Matmul输入输出数据类型的组合说明在MxMatmul场景A矩阵、B矩阵、Bias支持的数据类型组合可参考MatmulTypeWithScale参数说明。返回值说明无约束说明在Matmul Tiling计算中必须配置TCubeTiling结构中的isBias参数为1即启用Bias后才能调用本接口设置Bias矩阵。传入的Bias地址空间大小需要保证不小于singleN。对于Ascend 950PR/Ascend 950DTBias矩阵的内存逻辑位置为TSCM且数据类型为float或int32_t时Bias矩阵的LocalTensor空间必须64字节对齐。支持的数据类型Ascend 950PR/Ascend 950DT支持的数据类型为half、bfloat16_t、float、int32_t其中仅在A、B的数据类型为int8_t时Bias的数据类型可以设置为int32_t。Atlas A3 训练系列产品/Atlas A3 推理系列产品支持的数据类型为half、float、int32_t其中仅在A、B的数据类型为int8_t时Bias的数据类型可以设置为int32_t。Atlas A2 训练系列产品/Atlas A2 推理系列产品支持的数据类型为half、float、int32_t其中仅在A、B的数据类型为int8_t时Bias的数据类型可以设置为int32_t。Atlas 推理系列产品AI Core支持的数据类型为half、float、int32_t对于包含biasGlobal参数的原型仅在A、B的数据类型为int8_t时Bias的数据类型可以设置为int32_t。Atlas 200I/500 A2 推理产品支持的数据类型为half、float、int32_t其中仅在A、B的数据类型为int8_t时Bias的数据类型可以设置为int32_t。Kirin X90支持的数据类型为half、int32_t其中仅在A、B的数据类型为int8_t时Bias的数据类型可以设置为int32_t。调用示例REGIST_MATMUL_OBJ(pipe, GetSysWorkSpacePtr(), mm, tiling); mm.SetTensorA(gm_a); mm.SetTensorB(gm_b); if (tiling.isBias) { mm.SetBias(gmBias); // 设置Bias } mm.IterateAll(gm_c); mm.End();【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考