CANN/atvc ReduceSum算子示例

张

张建站

2026/5/9 20:19:45

10分钟阅读

ReduceSum算子样例【免费下载链接】atvcATVCAscend C Templates for Vector Compute是为基于Ascend C开发的典型Vector算子封装的一系列模板头文件的集合可帮助用户快速开发典型Vector算子。项目地址: https://gitcode.com/cann/atvc概述本样例基于ReduceSum算子介绍了基于ATVC的PyTorch工程及调用。目录结构介绍├── reduce_sum │ ├── reduce_sum_impl.h // 通过PyTorch调用的方式调用ReduceSum算子 │ ├── pytorch_ascendc_extension.cpp // PyTorch调用入口 │ ├── run_op.py // PyTorch的测试用例 │ └── run.sh // 脚本编译需要的二进制文件并测试算子描述ReduceSum是对输入tensor的指定轴进行规约累加的计算并输出结果的Reduce类算子。算子规格描述算子类型(OpType)ReduceSum算子输入nameshapedata typeformatx8 * 2048int32_t、floatND算子输出y8 * 2048int32_t、floatND核函数名ReduceSumCustom编译运行样例算子针对PyTorch算子编译运行包含如下步骤完成算子PyTorch入口和impl文件的实现编译PyTorch算子的二进制文件调用执行PyTorch算子。详细操作如下所示。1. 获取源码包及环境配置编译运行此样例前请参考准备获取样例代码获取源码包及环境变量的准备。2. 安装PyTorch环境参考torch的安装进行安装torch、torch_npu环境torch、torch_npu版本支持2.7.1及以上。下载对应cann-hccl_${cann_version}_linux-${arch}.run包下载链接为hccl x86_64包、hccl aarch64包。下载对应Ascend-cann-A3-ops_${cann_version}_linux-${arch}.run包下载链接为ops x86_64包、ops aarch64包。3. 基于ATVC编写PyTorch算子的实现算子kernel侧实现编写kernel侧函数完成指定的运算。参考reduce_sum_impl.h和开发指南完成核函数的实现。编写PyTorch入口函数并通过调用核函数参考pytorch_ascendc_extension.cppat::Tensor op_reduce_sum(const at::Tensor x, const std::vectorint64_t dim) { std::vectorint64_t shapeIn; std::vectorint64_t shapeOut; // Reduce运行态参数包含TilingData以及临时空间的相关信息 ATVC::ReduceParam param; // Reduce运行态参数负责映射最适合的Reduce模板实现 ATVC::ReducePolicy policy {-1, -1, -1}; for (int32_t size : x.sizes()) { shapeIn.push_back(size); shapeOut.push_back(size); } for (const auto i : dim) { shapeOut[i] 1; } auto options torch::TensorOptions().dtype(x.scalar_type()).device(x.device()); // 分配Device侧输出内存 at::Tensor y at::empty(shapeOut, options); if (x.scalar_type() at::kFloat) { // Host侧调用Tiling API完成相关运行态参数的运算 (void)ATVC::Host::CalcReduceTilingReduceOpTraitsFloat(shapeIn, dim, policy, param); // 调用Adapter调度接口完成核函数的模板调用 AscendC::ReduceOpAdapterReduceOpTraitsFloat( (uint8_t *)(x.storage().data()), (uint8_t *)(y.storage().data()), param, policy); } else if (x.scalar_type() at::kInt) { // int 类型调用 ... } return y; } // 调用 namespace AscendC { inline namespace reduce { template class OpTraits // 负责Reduce类算子的调度选择对应的Policy最佳策略并执行Kernel函数 void ReduceOpAdapter(uint8_t *x, uint8_t *y, ATVC::ReduceParam param, ATVC::ReducePolicy policy) { // 运行资源申请通过c10_npu::getCurrentNPUStream()的函数获取当前NPU上的流 auto stream c10_npu::getCurrentNPUStream().stream(false); // 将tiling api计算出的ReducePolicy转化为编译态参数并实例化相应的核函数 if (policy ATVC::REDUCE_POLICY0) { ReduceSumCustomOpTraits, ATVC::REDUCE_POLICY0param.tilingData.coreNum, nullptr, stream(x, y, param); }else if { //其他policy逻辑 ... } } } // namespace reduce } // namespace AscendC编写python调用函数,并调用PyTorch入口函数,参考run_op.py# 引入头文件 import torch import torch_npu import numpy as np from torch_npu.testing.testcase import TestCase, run_tests # 加载二进制 torch.npu.config.allow_internal_format False torch.ops.load_library(./libascendc_pytorch.so) class TestAscendCOps(TestCase): # 测试用例 def test_reduce_sum_ops_float(self): # 分配Host侧输入内存并进行数据的初始化 length [8, 2048] x torch.rand(length, devicecpu, dtypetorch.float32) # 分配Device侧内存并将数据从Host上拷贝到Device上 npuout torch.ops.ascendc_ops.sum(x.npu(), (0,)) cpuout torch.sum(x, (0,)) self.assertRtolEqual(npuout.reshape(cpuout.shape), cpuout) # 测试用例调用 if __name__ __main__: run_tests()编译和测试脚本参考run.sh# 获取torch、torch_npu、python的lib和include路径和atvc的路径 torch_location... torch_npu_location... python_include... python_lib... if [ -z $ATVC_PATH ]; then atvc_path$(realpath ../../../include) else atvc_path$ATVC_PATH fi # 使用bisheng进行编译PyTorch算子 bisheng -x cce pytorch_ascendc_extension.cpp \ -D_GLIBCXX_USE_CXX11_ABI1 \ -I${torch_location}/include \ -I${torch_location}/include/torch/csrc/api/include \ -I${python_include} \ -I${atvc_path} \ -I${torch_npu_location}/include \ -L${torch_location}/lib \ -L${torch_npu_location}/lib \ -L${python_lib} \ -L${lib_path} \ -L${_ASCEND_INSTALL_PATH}/lib64 \ -ltorch -ltorch_cpu -lc10 -ltorch_npu -lpython3 -ltorch_python \ -shared -cce-enable-plugin --cce-aicore-archdav-c220 -fPIC -ltiling_api -lplatform -lm -ldl \ -o libascendc_pytorch.so # 执行测试用例 python3 run_op.py4. 基于ATVC编写PyTorch算子的调用验证导入ATVC环境变量# 如果不导入默认使用./atvc/include路径 export ATVC_PATH${atvc}/include调用脚本生成PyTorch算子并运行测试用例cd ./ops_templates/atvc/examples/ops_pytorch/reduce_sum bash run.sh ... OK【免费下载链接】atvcATVCAscend C Templates for Vector Compute是为基于Ascend C开发的典型Vector算子封装的一系列模板头文件的集合可帮助用户快速开发典型Vector算子。项目地址: https://gitcode.com/cann/atvc创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

如何利用Declarative Shadow DOM实现Web组件声明式编程：SEO优化终极指南

如何利用Declarative Shadow DOM实现Web组件声明式编程：SEO优化终极指南【免费下载链接】webcomponents Web Components specifications 项目地址: https://gitcode.com/gh_mirrors/we/webcomponents Declarative Shadow DOM是Web Components规范中的一项革…...

2026/5/9 20:19:15 阅读更多 →

ComfyUI节点冲突实战指南：5种方法彻底解决自定义节点类型重复问题

ComfyUI节点冲突实战指南：5种方法彻底解决自定义节点类型重复问题【免费下载链接】ComfyUI-Manager ComfyUI-Manager is an extension designed to enhance the usability of ComfyUI. It offers management functions to install, remove, disable, and enable va…...

2026/5/9 20:12:33 阅读更多 →

3PEAK思瑞浦 TPA3531-SO1R SOP8 运算放大器

特性超低输入偏置电流: -士1pA(最大值)在TA25C(实验室测试限值) 限制) -30pA(最大值)在-40C<TA<125C(实验室测试低输入失调电压:250V(最大值) 集成保护缓冲器，最大偏移量为200-V低电压噪声密度:18nV/√Hz(在1kHz时) 宽带宽:2.1MHz 供电电压:4.5V至16V(2.25V…...

2026/5/9 20:08:49 阅读更多 →

UVa 173 Network Wars

题目分析本题设定在 212621262126 年，彗星 Swift‑Tuttle\texttt{Swift‑Tuttle}Swift‑Tuttle 撞击地球后，网络中的部分链接被切断，同时一些 AI\texttt{AI}AI 程序发生了变异。两个程序 Paskill\texttt{Paskill}Paskill 和 Lisper\texttt{…...

2026/5/8 22:27:53 阅读更多 →

MA-EgoQA：多智能体第一视角视频问答基准解析

1. 项目背景与核心价值在计算机视觉与自然语言处理的交叉领域，视频问答（VideoQA）一直是极具挑战性的研究方向。而当我们把视角聚焦在第一人称视频（Egocentric Video）时，问题会变得更加复杂——这类视频通常…...

2026/5/8 22:27:54 阅读更多 →

别再死记硬背DDR4时序参数了！用Python脚本自动解析JESD79-4标准文档，生成你的专属配置表

用Python解放DDR4开发：从JESD79-4标准文档自动生成配置工具当第一次打开JESD79-4标准文档时，大多数硬件工程师都会感到一阵眩晕——数百页的技术规范、错综复杂的时序参数、晦涩难懂的寄存器配置，这些内容不仅难以记忆，更在具体项…...

2026/5/8 22:27:56 阅读更多 →

Adobe扩展安装难题如何解决？ZXPInstaller让.zxp文件安装变得智能高效

Adobe扩展安装难题如何解决？ZXPInstaller让.zxp文件安装变得智能高效【免费下载链接】ZXPInstaller Open Source ZXP Installer for Adobe Extensions 项目地址: https://gitcode.com/gh_mirrors/zx/ZXPInstaller 还在为Adobe扩展安装而头疼吗？A…...

2026/5/8 22:27:58 阅读更多 →