PyPTO Tensor.sigmoid 逐元素 Sigmoid 激活函数使用指南API 语义、底层实现与 Ascend NPU 实战【免费下载链接】pyptoPyPTO发音: pai p-t-oParallel Tensor/Tile Operation编程范式。项目地址: https://gitcode.com/cann/pyptoSigmoid 是深度学习中最经典的激活函数之一其输出被平滑映射到 (0, 1) 区间广泛用于二分类输出层、门控单元如 LSTM 的门控以及 Swish/SiLU、SwiGLU 等复合激活函数的构造。本文以 CANN PyPTO 的 Tensor.sigmoid 文档为核心系统讲解其在 PyPTO 编程范式下的 API 语义、函数原型、底层由exp/add/div组合推导的实现原理、不同 Ascend 产品线的支持情况并结合仓库中的 ST/UT 测试用例给出可直接运行的实战示例。读完本文你将掌握如何在 PyPTO 中通过成员方法tensor.sigmoid()与函数式pypto.sigmoid()两种方式完成逐元素 Sigmoid 计算了解其精度策略FP32 统一计算、按需回退数据类型与适用范围仅 FP32、Shape 上限约束并能参照测试与示例代码将 Sigmoid 组合到 SiLU、Swish、SwiGLU、GELU 近似等真实算子中。一、API 概述与函数原型pypto.Tensor.sigmoid是 PyPTO Tensor 类的成员方法功能等价于全局函数 pypto.sigmoid作用是对输入 Tensor 的每个元素独立应用 Sigmoid 激活函数数学定义如下$$ sigmoid(input) \frac{1}{1 e^{-input}} $$该函数在 python/pypto/tensor.py#L797-L799 中定义source_location def sigmoid(self) - Tensor: return pypto.sigmoid(self)其函数原型为sigmoid(self) - Tensor可见成员方法与函数式 API 是完全等价的两条调用路径成员方法内部直接委托给pypto.sigmoid(self)。因此下文讨论的函数语义、参数约束、底层实现与返回值行为对两种调用方式同样适用。1.1 函数式等价形式与成员方法对应的函数式原型见 docs/zh/api/tensor_api/operation/pypto-sigmoid.md为sigmoid(input: Tensor) - Tensor两者唯一的区别是参数的书写位置成员方法将self作为被作用的对象函数式 API 将输入显式传入。实际使用中可根据代码风格任选其一。二、参数与返回值约束2.1 参数说明参数名输入/输出说明input输入源操作数。支持的数据类型为DT_FP32。不支持空 TensorShape Size 不大于 2147483647即 INT32_MAX。2.2 返回值说明返回 Tensor 类型。其 Shape、数据类型与输入 Tensor 一致元素为输入元素经 Sigmoid 函数映射到 (0, 1) 区间的结果。值得注意的是虽然参数约束仅声明DT_FP32但从底层实现见下文第三节看该算子对非 FP32 输入具有“FP32 中间计算 结果回退”的宽容策略当输入为 FP16 等类型时会先将输入提升到 FP32 完成exp/add/div计算最后再转换回输入的数据类型返回从而在保持输出 Shape 与 dtype 一致的前提下提升中间计算精度。ST 测试 python/tests/st/test_sigmoid.py#L66-L91 中的test_sigmoid_fp16用例正是对这一行为的验证。2.3 约束的工程含义不支持空 Tensor输入必须至少包含一个元素空 Tensor 无法参与逐元素运算Shape Size 上限为 INT32_MAX2147483647这对应底层索引与循环计数使用 32 位有符号整数表示的元素总数上限是设备端向量运算的通用约束并非 Sigmoid 特有。三、底层实现原理由基础算子组合推导pypto.sigmoid的完整实现在 python/pypto/operator.py#L25-L53。它并非芯片上的单一硬件指令而是由exp、mul、add、full、div等基础算子组合而成这体现了 PyPTO “Parallel Tensor/Tile Operation 编程范式” 下算子即程序片段kernel 内联计算的设计理念。3.1 主入口按 NPU 类型分流def sigmoid(input: Tensor) - Tensor: ... if is_lite_npu(): return sigmoid_no_cast(input) return sigmoid_fp32_cast(input)主入口根据当前运行 NPU 的 SoC 版本分流python/pypto/operator.py#L17-L22 的is_lite_npu()判断soc_version是否属于Kirin9030、KirinX90这类 lite NPU普通 NPUAscend 数据中心/训练推理系列走sigmoid_fp32_cast先统一 cast 到 FP32 计算再按需回退Lite NPUKirin 系列走sigmoid_no_cast直接以输入数据类型完成计算不做提升与回退。3.2 普通 NPU 路径sigmoid_fp32_castdef sigmoid_fp32_cast(input: Tensor) - Tensor: dtype input.dtype f_1 1.0 f_nega_1 -1.0 input pypto.cast(input, pypto.DT_FP32) # 1. 统一提升到 FP32 exp_res pypto.exp(pypto.mul(input, f_nega_1)) # 2. e^(-x) res pypto.add(exp_res, f_1) # 3. e^(-x) 1 ones pypto.full(res.shape, 1.0, pypto.DT_FP32, valid_shaperes.valid_shape) # 4. 全 1 张量 res pypto.div(ones, res, pypto.PrecisionType.INTRINSIC) # 5. 1 / (e^(-x) 1) if dtype ! pypto.DT_FP32: res pypto.cast(res, dtype) # 6. 结果回退到输入 dtype return res计算流水线的数学等价推导类型提升pypto.cast(input, pypto.DT_FP32)将输入统一提升为 FP32。Sigmoid 的分子分母都涉及exp指数运算在低精度如 FP16下直接计算会放大舍入误差FP32 中间计算是精度保证的关键对应 python/pypto/op/mutating.py#L152 的cast实现取负与指数pypto.exp(pypto.mul(input, f_nega_1))计算e^(-x)其中mul实现见 python/pypto/op/math.py#L240-L253exp实现见 python/pypto/op/math.py#L744-L779默认使用PrecisionType.INTRINSIC直接使用芯片指令速度优先加 1pypto.add(exp_res, f_1)计算分母e^(-x) 1构造全 1 张量pypto.full(res.shape, 1.0, pypto.DT_FP32, valid_shaperes.valid_shape)按结果 Shape 与 valid_shape 构造元素全为 1.0 的张量作为分子保证与分母逐元素对齐full实现见 python/pypto/op/creation.py#L224逐元素除法pypto.div(ones, res, pypto.PrecisionType.INTRINSIC)完成1 / (e^(-x) 1)。这里显式指定PrecisionType.INTRINSIC默认是HIGH_PRECISION即直接使用芯片除法指令以换取更高吞吐div的实现见 python/pypto/op/math.py#L256-L309其文档说明INTRINSIC直接使用芯片指令、HIGH_PRECISION使用更高精度计算以减少精度损失结果回退若输入并非 FP32将结果 cast 回原 dtype从而保证“返回值数据类型与输入一致”的契约。3.3 Lite NPU 路径sigmoid_no_castdef sigmoid_no_cast(input: Tensor) - Tensor: dtype input.dtype f_1 1.0 f_nega_1 -1.0 exp_res pypto.exp(pypto.mul(input, f_nega_1)) res pypto.add(exp_res, f_1) ones pypto.full(res.shape, 1.0, dtype, valid_shaperes.valid_shape) res pypto.div(ones, res, pypto.PrecisionType.INTRINSIC) return res与 FP32 cast 路径唯一的差别是不做输入提升与结果回退full构造的分子张量直接使用输入 dtype。这是因为 Kirin 系列 lite NPU 上计算路径更短、FP32 提升反而引入额外开销因此在保证正确性的前提下省略 cast 以获得更优性能。3.4 两种路径的精度对比路径适用 NPU输入提升结果回退精度与性能取舍sigmoid_fp32_cast普通 Ascend NPU是cast 到 FP32是中间计算精度高非 FP32 输入多一次 cast 开销sigmoid_no_castLite NPUKirin9030/KirinX90否否无 cast 开销直接以输入 dtype 计算四、产品支持情况PyPTOTensor.sigmoid在以下 Ascend 产品线上受支持信息来自 pypto-Tensor-sigmoid.md 与 pypto-sigmoid.md 的“产品支持情况”小节两者保持一致Ascend 950PR / Ascend 950DT支持Atlas A3 训练系列产品 / Atlas A3 推理系列产品支持Atlas A2 训练系列产品 / Atlas A2 推理系列产品支持。需要说明的是文档标注的“支持”指该算子可在对应产品上完成正确的功能计算而底层实现路径会根据soc_version自动选择普通 Ascend 走 FP32 cast 路径Kirin 系 lite NPU 走 no_cast 路径用户无需手动区分。此外仓库 UT 中还存在针对Kirin9030、KirinX90的独立代码生成测试见下文第六节进一步印证了按 SoC 分流的实现设计。五、调用示例与数值验证5.1 基础调用示例文档给出的最小调用示例函数式形式x pypto.tensor([4], pypto.DT_FP32) y pypto.sigmoid(x)等价地使用成员方法形式x pypto.tensor([4], pypto.DT_FP32) y x.sigmoid()结果示例如下输入数据x: [-3.0, 0.0, 2.0, 5.0] 输出数据y: [0.0474, 0.5000, 0.8808, 0.9933]可以自行验证sigmoid(0) 0.5sigmoid(-3) ≈ 0.0474sigmoid(5) ≈ 0.9933数值严格落入 (0, 1) 区间且随输入增大单调趋近 1随输入减小单调趋近 0。5.2 在 kernel 中与res.move()结合ST 测试 python/tests/st/test_sigmoid.py#L94-L120 展示了在pypto.function内核中使用成员方法的完整姿势包括set_vec_tile_shapes切片与res.move(...)结果搬移pypto.options(pass_options{enable_slice: True}) def test_tensor_sigmoid_fp32(): device_id int(os.environ.get(TILE_FWK_DEVICE_ID, 0)) torch.npu.set_device(device_id) x_shape [4, 4] dtype pypto.DT_FP32 pypto.runtime._device_init() x pypto.tensor(x_shape, dtype) res pypto.tensor(x_shape, dtype) with pypto.function(TENSOR_SIGMOID_CONTENT_FP32, x, res): for _ in pypto.loop(1, nameLOOP_L0, idx_namea_idx): pypto.set_vec_tile_shapes(4, 4) res.move(x.sigmoid()) x_tensor torch.rand(4, 4, dtypetorch.float32) * 200 - 100 res_tensor torch.zeros(4, 4, dtypetorch.float32) pto_x_tensor pypto.from_torch(x_tensor, x_tensor) pto_res_tensor pypto.from_torch(res_tensor, res_tensor) pypto.runtime._device_run_once_data_from_host(pto_x_tensor, pto_res_tensor) expected torch.sigmoid(x_tensor) assert_allclose(res_tensor.flatten(), expected.flatten(), atol1e-3, verboseTrue) pypto.runtime._device_fini()该用例的验证要点输入数据取torch.rand(4, 4) * 200 - 100覆盖了从 -100 到 100 的宽幅数值区间包括 Sigmoid 的饱和区与饱和过渡区以 PyTorchtorch.sigmoid为 golden 参照assert_allclose(atol1e-3)允许 1e-3 的绝对误差对应PrecisionType.INTRINSIC芯片指令的精度表现。同文件的test_sigmoid_shape_dim则验证输出 Shape 与输入一致。六、测试体系ST 与 UT 双重验证仓库为 Sigmoid 提供了完整的 ST系统测试与 UT单元测试覆盖可作为功能与实现正确性的证据链6.1 系统测试STpython/tests/st/test_sigmoid.py 包含用例验证内容test_sigmoid_shape_dim输出 Shape 与 PyTorch 参照结果一致test_sigmoid_fp32FP32 数值正确性宽幅 [-100, 100] 输入atol1e-3test_sigmoid_fp16FP16 输入仍可正确计算验证 FP32 中间计算 结果回退路径test_tensor_sigmoid_fp32成员方法x.sigmoid()的数值正确性6.2 单元测试UT与代码生成验证python/tests/ut/kirin/common_sigmoid.py 定义了共享的测试用例集TEST_CASES参数化 kernel 名、torch dtype、pypto dtype、tile shape、shapepython/tests/ut/kirin/kirin9030/single_operation/test_kirin9030_sigmoid.py 与 python/tests/ut/kirin/kirinx90/single_operation/test_kirinx90_sigmoid.py 分别对 Kirin9030、KirinX90 两种 lite NPU 的 Sigmoid 代码生成结果做端到端验证印证了第三节中is_lite_npu()分流的实现。七、组合实战用 Sigmoid 构造 SiLU / Swish 与 GELU 近似Sigmoid 在 PyPTO 中更多时候作为“积木”参与复合激活函数。仓库示例给出了两个真实场景7.1 SiLUSwishx · sigmoid(x)examples/02_intermediate/operators/activation/activation.py#L107-L119 中SiLU 被直接定义为out[:] x * pypto.sigmoid(x)pypto.frontend.jit(runtime_options{run_mode: global_run_mode}) def silu_activation_kernel(x: pypto.Tensor(), out: pypto.Tensor()): SiLU (Swish) activation function: x * sigmoid(x) Formula: SiLU(x) x * sigmoid(x) x / (1 exp(-x)) configure_tiling(x) out[:] x * pypto.sigmoid(x)对应的 PyTorch golden 为x * torch.sigmoid(x)见该文件第 89 行附近并在 NPU 上以 bfloat16 输入验证max_diff 1e-1。7.2 GELU 的 Sigmoid 近似x · sigmoid(1.702 · x)examples/03_advanced/patterns/function/function.py#L147-L151 展示了用 Sigmoid 近似 GELU 的经典做法# GELU approximation: x * sigmoid(1.702 * x) x_scaled x * 1.702 out[:] x * pypto.sigmoid(x_scaled)7.3 FFN 模块中的 Swish 门控examples/02_intermediate/basic_nn/ffn/ffn_module.py#L152-L182 在一个 FFN 实现中手工展开 Sigmoid 与 Swish先通过pypto.div(ones, pypto.add(exp_neg, F_1))计算sigmoid再做pypto.mul(x_fp32, sigmoid)得到 Swish最后 cast 回 BF16。这与第三节中sigmoid_fp32_cast的中间精度策略完全同构可作为“理解实现即掌握用法”的旁证。八、常见问题与使用要点函数式与成员方法如何选择两者完全等价成员方法内部即调用pypto.sigmoid(self)。在链式表达式中成员方法更简洁在将算子作为参数传递时函数式更自然。为什么文档只声明 FP32声明的是“保证支持”的数据类型实际上非 FP32 输入会走 FP32 中间计算 结果回退路径FP16 已在 ST 中验证但为了契约清晰文档以 FP32 为基准描述。精度如何控制分母除法固定使用PrecisionType.INTRINSIC芯片指令、速度快若需更高精度可参照 pypto.div对应 python/pypto/op/math.py#L256-L309自行改用PrecisionType.HIGH_PRECISION重组计算但会牺牲吞吐。Shape 约束输入不可为空元素总数不超过 INT32_MAX2147483647。饱和区间行为Sigmoid 在 |x| 较大时输出趋于 0/1饱和区梯度趋近 0。测试用例特意使用宽幅输入如torch.rand * 200 - 100验证饱和区的数值正确性实际网络设计中建议结合 BatchNorm 等手段避免输入长期落入饱和区。相关文档pypto.Tensor.sigmoid本文主体文档pypto.sigmoid 函数式 API 详细说明PyPTO 激活函数示例SiLU/GeGLU/GELUPyPTO FFN 模块Swish 门控Sigmoid 系统测试Kirin9030 Sigmoid 代码生成测试【免费下载链接】pyptoPyPTO发音: pai p-t-oParallel Tensor/Tile Operation编程范式。项目地址: https://gitcode.com/cann/pypto创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/9/19 20:09:02 · 阅读 1.2k PyPTO Tensor.sigmoid 逐元素 Sigmoid 激活函数使用指南：API 语义、底层实现与 Ascend NPU 实战
PyPTO Tensor.sigmoid 逐元素 Sigmoid 激活函数使用指南API 语义、底层实现与 Ascend NPU 实战【免费下载链接】pyptoPyPTO发音: pai p-t-oParallel Tensor/Tile Operation编程范式。项目地址: https://gitcode.com/cann/pyptoSigmoid 是深度学习中最经典的激活函数之一其输出被平滑映射到 (0, 1) 区间广泛用于二分类输出层、门控单元如 LSTM 的门控以及 Swish/SiLU、SwiGLU 等复合激活函数的构造。本文以 CANN PyPTO 的 Tensor.sigmoid 文档为核心系统讲解其在 PyPTO 编程范式下的 API 语义、函数原型、底层由exp/add/div组合推导的实现原理、不同 Ascend 产品线的支持情况并结合仓库中的 ST/UT 测试用例给出可直接运行的实战示例。读完本文你将掌握如何在 PyPTO 中通过成员方法tensor.sigmoid()与函数式pypto.sigmoid()两种方式完成逐元素 Sigmoid 计算了解其精度策略FP32 统一计算、按需回退数据类型与适用范围仅 FP32、Shape 上限约束并能参照测试与示例代码将 Sigmoid 组合到 SiLU、Swish、SwiGLU、GELU 近似等真实算子中。一、API 概述与函数原型pypto.Tensor.sigmoid是 PyPTO Tensor 类的成员方法功能等价于全局函数 pypto.sigmoid作用是对输入 Tensor 的每个元素独立应用 Sigmoid 激活函数数学定义如下$$ sigmoid(input) \frac{1}{1 e^{-input}} $$该函数在 python/pypto/tensor.py#L797-L799 中定义source_location def sigmoid(self) - Tensor: return pypto.sigmoid(self)其函数原型为sigmoid(self) - Tensor可见成员方法与函数式 API 是完全等价的两条调用路径成员方法内部直接委托给pypto.sigmoid(self)。因此下文讨论的函数语义、参数约束、底层实现与返回值行为对两种调用方式同样适用。1.1 函数式等价形式与成员方法对应的函数式原型见 docs/zh/api/tensor_api/operation/pypto-sigmoid.md为sigmoid(input: Tensor) - Tensor两者唯一的区别是参数的书写位置成员方法将self作为被作用的对象函数式 API 将输入显式传入。实际使用中可根据代码风格任选其一。二、参数与返回值约束2.1 参数说明参数名输入/输出说明input输入源操作数。支持的数据类型为DT_FP32。不支持空 TensorShape Size 不大于 2147483647即 INT32_MAX。2.2 返回值说明返回 Tensor 类型。其 Shape、数据类型与输入 Tensor 一致元素为输入元素经 Sigmoid 函数映射到 (0, 1) 区间的结果。值得注意的是虽然参数约束仅声明DT_FP32但从底层实现见下文第三节看该算子对非 FP32 输入具有“FP32 中间计算 结果回退”的宽容策略当输入为 FP16 等类型时会先将输入提升到 FP32 完成exp/add/div计算最后再转换回输入的数据类型返回从而在保持输出 Shape 与 dtype 一致的前提下提升中间计算精度。ST 测试 python/tests/st/test_sigmoid.py#L66-L91 中的test_sigmoid_fp16用例正是对这一行为的验证。2.3 约束的工程含义不支持空 Tensor输入必须至少包含一个元素空 Tensor 无法参与逐元素运算Shape Size 上限为 INT32_MAX2147483647这对应底层索引与循环计数使用 32 位有符号整数表示的元素总数上限是设备端向量运算的通用约束并非 Sigmoid 特有。三、底层实现原理由基础算子组合推导pypto.sigmoid的完整实现在 python/pypto/operator.py#L25-L53。它并非芯片上的单一硬件指令而是由exp、mul、add、full、div等基础算子组合而成这体现了 PyPTO “Parallel Tensor/Tile Operation 编程范式” 下算子即程序片段kernel 内联计算的设计理念。3.1 主入口按 NPU 类型分流def sigmoid(input: Tensor) - Tensor: ... if is_lite_npu(): return sigmoid_no_cast(input) return sigmoid_fp32_cast(input)主入口根据当前运行 NPU 的 SoC 版本分流python/pypto/operator.py#L17-L22 的is_lite_npu()判断soc_version是否属于Kirin9030、KirinX90这类 lite NPU普通 NPUAscend 数据中心/训练推理系列走sigmoid_fp32_cast先统一 cast 到 FP32 计算再按需回退Lite NPUKirin 系列走sigmoid_no_cast直接以输入数据类型完成计算不做提升与回退。3.2 普通 NPU 路径sigmoid_fp32_castdef sigmoid_fp32_cast(input: Tensor) - Tensor: dtype input.dtype f_1 1.0 f_nega_1 -1.0 input pypto.cast(input, pypto.DT_FP32) # 1. 统一提升到 FP32 exp_res pypto.exp(pypto.mul(input, f_nega_1)) # 2. e^(-x) res pypto.add(exp_res, f_1) # 3. e^(-x) 1 ones pypto.full(res.shape, 1.0, pypto.DT_FP32, valid_shaperes.valid_shape) # 4. 全 1 张量 res pypto.div(ones, res, pypto.PrecisionType.INTRINSIC) # 5. 1 / (e^(-x) 1) if dtype ! pypto.DT_FP32: res pypto.cast(res, dtype) # 6. 结果回退到输入 dtype return res计算流水线的数学等价推导类型提升pypto.cast(input, pypto.DT_FP32)将输入统一提升为 FP32。Sigmoid 的分子分母都涉及exp指数运算在低精度如 FP16下直接计算会放大舍入误差FP32 中间计算是精度保证的关键对应 python/pypto/op/mutating.py#L152 的cast实现取负与指数pypto.exp(pypto.mul(input, f_nega_1))计算e^(-x)其中mul实现见 python/pypto/op/math.py#L240-L253exp实现见 python/pypto/op/math.py#L744-L779默认使用PrecisionType.INTRINSIC直接使用芯片指令速度优先加 1pypto.add(exp_res, f_1)计算分母e^(-x) 1构造全 1 张量pypto.full(res.shape, 1.0, pypto.DT_FP32, valid_shaperes.valid_shape)按结果 Shape 与 valid_shape 构造元素全为 1.0 的张量作为分子保证与分母逐元素对齐full实现见 python/pypto/op/creation.py#L224逐元素除法pypto.div(ones, res, pypto.PrecisionType.INTRINSIC)完成1 / (e^(-x) 1)。这里显式指定PrecisionType.INTRINSIC默认是HIGH_PRECISION即直接使用芯片除法指令以换取更高吞吐div的实现见 python/pypto/op/math.py#L256-L309其文档说明INTRINSIC直接使用芯片指令、HIGH_PRECISION使用更高精度计算以减少精度损失结果回退若输入并非 FP32将结果 cast 回原 dtype从而保证“返回值数据类型与输入一致”的契约。3.3 Lite NPU 路径sigmoid_no_castdef sigmoid_no_cast(input: Tensor) - Tensor: dtype input.dtype f_1 1.0 f_nega_1 -1.0 exp_res pypto.exp(pypto.mul(input, f_nega_1)) res pypto.add(exp_res, f_1) ones pypto.full(res.shape, 1.0, dtype, valid_shaperes.valid_shape) res pypto.div(ones, res, pypto.PrecisionType.INTRINSIC) return res与 FP32 cast 路径唯一的差别是不做输入提升与结果回退full构造的分子张量直接使用输入 dtype。这是因为 Kirin 系列 lite NPU 上计算路径更短、FP32 提升反而引入额外开销因此在保证正确性的前提下省略 cast 以获得更优性能。3.4 两种路径的精度对比路径适用 NPU输入提升结果回退精度与性能取舍sigmoid_fp32_cast普通 Ascend NPU是cast 到 FP32是中间计算精度高非 FP32 输入多一次 cast 开销sigmoid_no_castLite NPUKirin9030/KirinX90否否无 cast 开销直接以输入 dtype 计算四、产品支持情况PyPTOTensor.sigmoid在以下 Ascend 产品线上受支持信息来自 pypto-Tensor-sigmoid.md 与 pypto-sigmoid.md 的“产品支持情况”小节两者保持一致Ascend 950PR / Ascend 950DT支持Atlas A3 训练系列产品 / Atlas A3 推理系列产品支持Atlas A2 训练系列产品 / Atlas A2 推理系列产品支持。需要说明的是文档标注的“支持”指该算子可在对应产品上完成正确的功能计算而底层实现路径会根据soc_version自动选择普通 Ascend 走 FP32 cast 路径Kirin 系 lite NPU 走 no_cast 路径用户无需手动区分。此外仓库 UT 中还存在针对Kirin9030、KirinX90的独立代码生成测试见下文第六节进一步印证了按 SoC 分流的实现设计。五、调用示例与数值验证5.1 基础调用示例文档给出的最小调用示例函数式形式x pypto.tensor([4], pypto.DT_FP32) y pypto.sigmoid(x)等价地使用成员方法形式x pypto.tensor([4], pypto.DT_FP32) y x.sigmoid()结果示例如下输入数据x: [-3.0, 0.0, 2.0, 5.0] 输出数据y: [0.0474, 0.5000, 0.8808, 0.9933]可以自行验证sigmoid(0) 0.5sigmoid(-3) ≈ 0.0474sigmoid(5) ≈ 0.9933数值严格落入 (0, 1) 区间且随输入增大单调趋近 1随输入减小单调趋近 0。5.2 在 kernel 中与res.move()结合ST 测试 python/tests/st/test_sigmoid.py#L94-L120 展示了在pypto.function内核中使用成员方法的完整姿势包括set_vec_tile_shapes切片与res.move(...)结果搬移pypto.options(pass_options{enable_slice: True}) def test_tensor_sigmoid_fp32(): device_id int(os.environ.get(TILE_FWK_DEVICE_ID, 0)) torch.npu.set_device(device_id) x_shape [4, 4] dtype pypto.DT_FP32 pypto.runtime._device_init() x pypto.tensor(x_shape, dtype) res pypto.tensor(x_shape, dtype) with pypto.function(TENSOR_SIGMOID_CONTENT_FP32, x, res): for _ in pypto.loop(1, nameLOOP_L0, idx_namea_idx): pypto.set_vec_tile_shapes(4, 4) res.move(x.sigmoid()) x_tensor torch.rand(4, 4, dtypetorch.float32) * 200 - 100 res_tensor torch.zeros(4, 4, dtypetorch.float32) pto_x_tensor pypto.from_torch(x_tensor, x_tensor) pto_res_tensor pypto.from_torch(res_tensor, res_tensor) pypto.runtime._device_run_once_data_from_host(pto_x_tensor, pto_res_tensor) expected torch.sigmoid(x_tensor) assert_allclose(res_tensor.flatten(), expected.flatten(), atol1e-3, verboseTrue) pypto.runtime._device_fini()该用例的验证要点输入数据取torch.rand(4, 4) * 200 - 100覆盖了从 -100 到 100 的宽幅数值区间包括 Sigmoid 的饱和区与饱和过渡区以 PyTorchtorch.sigmoid为 golden 参照assert_allclose(atol1e-3)允许 1e-3 的绝对误差对应PrecisionType.INTRINSIC芯片指令的精度表现。同文件的test_sigmoid_shape_dim则验证输出 Shape 与输入一致。六、测试体系ST 与 UT 双重验证仓库为 Sigmoid 提供了完整的 ST系统测试与 UT单元测试覆盖可作为功能与实现正确性的证据链6.1 系统测试STpython/tests/st/test_sigmoid.py 包含用例验证内容test_sigmoid_shape_dim输出 Shape 与 PyTorch 参照结果一致test_sigmoid_fp32FP32 数值正确性宽幅 [-100, 100] 输入atol1e-3test_sigmoid_fp16FP16 输入仍可正确计算验证 FP32 中间计算 结果回退路径test_tensor_sigmoid_fp32成员方法x.sigmoid()的数值正确性6.2 单元测试UT与代码生成验证python/tests/ut/kirin/common_sigmoid.py 定义了共享的测试用例集TEST_CASES参数化 kernel 名、torch dtype、pypto dtype、tile shape、shapepython/tests/ut/kirin/kirin9030/single_operation/test_kirin9030_sigmoid.py 与 python/tests/ut/kirin/kirinx90/single_operation/test_kirinx90_sigmoid.py 分别对 Kirin9030、KirinX90 两种 lite NPU 的 Sigmoid 代码生成结果做端到端验证印证了第三节中is_lite_npu()分流的实现。七、组合实战用 Sigmoid 构造 SiLU / Swish 与 GELU 近似Sigmoid 在 PyPTO 中更多时候作为“积木”参与复合激活函数。仓库示例给出了两个真实场景7.1 SiLUSwishx · sigmoid(x)examples/02_intermediate/operators/activation/activation.py#L107-L119 中SiLU 被直接定义为out[:] x * pypto.sigmoid(x)pypto.frontend.jit(runtime_options{run_mode: global_run_mode}) def silu_activation_kernel(x: pypto.Tensor(), out: pypto.Tensor()): SiLU (Swish) activation function: x * sigmoid(x) Formula: SiLU(x) x * sigmoid(x) x / (1 exp(-x)) configure_tiling(x) out[:] x * pypto.sigmoid(x)对应的 PyTorch golden 为x * torch.sigmoid(x)见该文件第 89 行附近并在 NPU 上以 bfloat16 输入验证max_diff 1e-1。7.2 GELU 的 Sigmoid 近似x · sigmoid(1.702 · x)examples/03_advanced/patterns/function/function.py#L147-L151 展示了用 Sigmoid 近似 GELU 的经典做法# GELU approximation: x * sigmoid(1.702 * x) x_scaled x * 1.702 out[:] x * pypto.sigmoid(x_scaled)7.3 FFN 模块中的 Swish 门控examples/02_intermediate/basic_nn/ffn/ffn_module.py#L152-L182 在一个 FFN 实现中手工展开 Sigmoid 与 Swish先通过pypto.div(ones, pypto.add(exp_neg, F_1))计算sigmoid再做pypto.mul(x_fp32, sigmoid)得到 Swish最后 cast 回 BF16。这与第三节中sigmoid_fp32_cast的中间精度策略完全同构可作为“理解实现即掌握用法”的旁证。八、常见问题与使用要点函数式与成员方法如何选择两者完全等价成员方法内部即调用pypto.sigmoid(self)。在链式表达式中成员方法更简洁在将算子作为参数传递时函数式更自然。为什么文档只声明 FP32声明的是“保证支持”的数据类型实际上非 FP32 输入会走 FP32 中间计算 结果回退路径FP16 已在 ST 中验证但为了契约清晰文档以 FP32 为基准描述。精度如何控制分母除法固定使用PrecisionType.INTRINSIC芯片指令、速度快若需更高精度可参照 pypto.div对应 python/pypto/op/math.py#L256-L309自行改用PrecisionType.HIGH_PRECISION重组计算但会牺牲吞吐。Shape 约束输入不可为空元素总数不超过 INT32_MAX2147483647。饱和区间行为Sigmoid 在 |x| 较大时输出趋于 0/1饱和区梯度趋近 0。测试用例特意使用宽幅输入如torch.rand * 200 - 100验证饱和区的数值正确性实际网络设计中建议结合 BatchNorm 等手段避免输入长期落入饱和区。相关文档pypto.Tensor.sigmoid本文主体文档pypto.sigmoid 函数式 API 详细说明PyPTO 激活函数示例SiLU/GeGLU/GELUPyPTO FFN 模块Swish 门控Sigmoid 系统测试Kirin9030 Sigmoid 代码生成测试【免费下载链接】pyptoPyPTO发音: pai p-t-oParallel Tensor/Tile Operation编程范式。项目地址: https://gitcode.com/cann/pypto创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考