TorchArrow架构深度解析Python分发器、Arrow列式存储与Velox引擎融合的完整指南【免费下载链接】torcharrowHigh performance model preprocessing library on PyTorch项目地址: https://gitcode.com/gh_mirrors/to/torcharrowTorchArrow是一个构建在 PyTorch 生态之上的高性能数据预处理库核心由三部分组成Python 层的智能分发器Dispatcher、基于 Apache Arrow 的列式内存存储以及 Meta 开源的Velox C 执行引擎。它提供类似 Pandas 的 DataFrame API让你能以接近零拷贝的方式在 CPU/GPU 上完成过滤、映射、聚合等表数据处理并与 NumPy、PyArrow、CuDF 无缝互通。一、TorchArrow 是什么三大核心能力一览在深入架构之前先理解 TorchArrow 解决什么问题 DataFrame API像 Pandas 一样操作表格数据如df[a] df[b]原生支持 PyTorch TensorArrow 列式布局数据按列存储而非按行天然擅长批量计算并对变长字符串、List、Map 等嵌套类型有强力支持Velox 引擎加速底层计算全部交给 Velox 这个向量化执行引擎避免 Python 解释循环的性能瓶颈。一句话概括你在 Python 里写 Pandas 风格的代码数据在 Arrow 列式格式里流动计算在 Velox 引擎中执行。二、整体架构三层设计各司其职TorchArrow 的架构可以清晰地拆成三层每层职责独立、可替换 第 1 层公开 API 层你直接使用的界面入口在 torcharrow/init.py它对外暴露API说明ta.dataframe()/ta.column()创建 DataFrame / Columnta.from_arrow()/ta.from_pysequence()从 Arrow 或 Python 序列构建数据NumericalColumn/StringColumn/ListColumn/MapColumn按列类型组织的操作接口这一层不关心数据存在哪、跑在什么硬件上只负责接住用户请求。第 2 层Python 分发层架构的调度中枢这是 TorchArrow 最精妙的设计。核心是 torcharrow/dispatcher.py 中的Dispatcher类(类型码, 设备) ──注册── 具体实现函数 └── 查表分发如 (float64, cpu) → Velox 实现注册每个后端目前是 Velox启动时把自己的列构造函数注册进来键是(typecode, device)二元组如float64_fullcpu查表分发当你调用ta.column([1.0, 2.0])时torcharrow/scope.py 中的Scope工厂类会根据数据类型 目标设备从_calls字典中查出对应实现并执行幂等且只读一次同一键注册两次会报错保证路由不会冲突。这种设计的最大好处用户代码完全与硬件解耦。今天是 CPU 上的 Velox明天注册一个(float64_full, gpu)的 CuDF 实现上层 API 一行都不用改。 类型系统独立于后端定义在 torcharrow/dtypes.py 与 torcharrow/dtypes_core.py每种DType都带typecode和nullable属性这正是分发的键来源。第 3 层Velox 执行引擎C 加速底座C 侧代码位于 csrc/ 目录通过 pybind11 绑定为 Python 模块torcharrow._torcharrow见 csrc/register_bindings.cpp。它包含列与张量互转csrc/tensor_conversion.cpp、csrc/column.cppUDF 注册表csrc/velox/register_udf.cpp 把所有可执行的向量化函数数值、字符串、文本、REC 推荐算法函数等登记到 Velox 的函数库中自研 UDF如 BPE 分词csrc/velox/functions/text/bpe_tokenize.h、SigridHash、Bucketize、ComputeScore 等专为推荐/搜索场景的数据清洗与特征加工设计。Python 侧的 Velox 运行时实现在 torcharrow/velox_rt/ 包内例如 torcharrow/velox_rt/column.py 的ColumnCpuMixin直接持有 Velox 列对象的引用——这就是零拷贝的体现Python 对象只是 C 数据的视图不产生额外内存复制。三、两条分发通道工厂分发 vs 函数分发TorchArrow 内部其实有两套互补的分发机制这也是理解其架构的关键 通道 1列构造函数分发Dispatcherta.column()、ta.from_arrow()这类造数据的操作走 Dispatcher按(类型码操作, 设备)查表。例如 Arrow 数组转 TorchArrow 列时torcharrow/interop_arrow.py 会查找typecode _from_arrow对应的后端函数。通道 2算子分发functional 模块col 1、col.str.lower()这类用数据的算子走 torcharrow/functional.py_dispatch()从参数中找到第一个 Column读出它的device通过_device_to_dispatch_key {cpu: velox}映射到后端键未来会加入gpu等新键取到后端 functional 模块——目前是 torcharrow/velox_rt/functional.py 中的VeloxFunctional对象VeloxFunctional.__getattr__用动态代理把任意算子名如add、lower包装成ta.generic_udf_dispatch(op_name, ...)调用直接把底层 Velox 列传给 C 执行。设计哲学一目了然Python 层只做路由 参数整形重活全部交给 Velox 向量化引擎。常数标量参数甚至会被包装成ConstantColumn与列做向量化运算避免任何 Python 层循环。四、Arrow 生态融合零拷贝互通怎么做到的TorchArrow 与 PyArrow 的互通逻辑在 torcharrow/interop.py 和 torcharrow/interop_arrow.pyArrow → TorchArrow把pa.Table拆成各列pa.Array逐列调用后端注册的_from_arrow函数。由于 Arrow 与 Velox 共享同一套列式内存布局这一步基本是零拷贝的指针传递而不是数据搬运TorchArrow → Arrow / PyTorch列对象可随时转回 Arrow 或 PyTorch Tensor方便与 CuDF、Spark 等下游工具对接。这意味着如果你已经有一套基于 PyArrow 的 ETL 管道接入 TorchArrow 几乎不需要额外的数据序列化开销——这正是列式存储融合之道的核心收益 五、快速上手安装与最小示例克隆仓库源码构建git clone --recursive https://gitcode.com/gh_mirrors/to/torcharrow cd torcharrow依赖要求 Python ≥ 3.7 与 C17 编译器Linux/macOS 依赖安装脚本分别位于 scripts/setup-ubuntu.sh 和 scripts/_setup-macos.sh。本地开发可用调试模式构建DEBUG1 python setup.py develop最小示例官方文档 torcharrow/init.py 中的演示import torcharrow as ta df ta.dataframe({a: [1, 2, 3], b: [4, None, 6]}) print(df[a] df[b]) # 0 5 # 1 None - null 自动传播 # 2 9 # dtype: Int64(nullableTrue)想深入了解行为细节可运行单元测试python -m unittest -v核心测试集中在 torcharrow/test/ 与 C 侧 csrc/velox/functions/tests/。六、架构总结为什么这套融合设计值得学习关注点TorchArrow 的答案性能Arrow 列式布局 Velox 向量化执行Python 只做路由扩展性(typecode, device)分发表新硬件后端即插即用生态兼容与 PyArrow/NumPy/CuDF/PyTorch 零拷贝互通易用性Pandas 风格 API 自动类型推断核心启示当你要构建Python 易用性 C 性能的数据库时TorchArrow 给出的范式是——把类型与设备做成分发的键把 Python 层压到最薄把内存格式统一到 Arrow把计算统一委托给可替换的执行引擎。三层解耦 双通道分发正是它能同时兼顾性能、扩展与生态融合的原因。 延伸阅读构建与打包流程见 packaging/文档源码在 docs/source/API 桩文件 csrc/_torcharrow.pyi 则完整列出了 C 侧暴露的所有绑定接口。【免费下载链接】torcharrowHigh performance model preprocessing library on PyTorch项目地址: https://gitcode.com/gh_mirrors/to/torcharrow创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/8/23 11:35:17 · 阅读 1.2k TorchArrow架构深度解析：Python分发器、Arrow列式存储与Velox引擎融合的完整指南
TorchArrow架构深度解析Python分发器、Arrow列式存储与Velox引擎融合的完整指南【免费下载链接】torcharrowHigh performance model preprocessing library on PyTorch项目地址: https://gitcode.com/gh_mirrors/to/torcharrowTorchArrow是一个构建在 PyTorch 生态之上的高性能数据预处理库核心由三部分组成Python 层的智能分发器Dispatcher、基于 Apache Arrow 的列式内存存储以及 Meta 开源的Velox C 执行引擎。它提供类似 Pandas 的 DataFrame API让你能以接近零拷贝的方式在 CPU/GPU 上完成过滤、映射、聚合等表数据处理并与 NumPy、PyArrow、CuDF 无缝互通。一、TorchArrow 是什么三大核心能力一览在深入架构之前先理解 TorchArrow 解决什么问题 DataFrame API像 Pandas 一样操作表格数据如df[a] df[b]原生支持 PyTorch TensorArrow 列式布局数据按列存储而非按行天然擅长批量计算并对变长字符串、List、Map 等嵌套类型有强力支持Velox 引擎加速底层计算全部交给 Velox 这个向量化执行引擎避免 Python 解释循环的性能瓶颈。一句话概括你在 Python 里写 Pandas 风格的代码数据在 Arrow 列式格式里流动计算在 Velox 引擎中执行。二、整体架构三层设计各司其职TorchArrow 的架构可以清晰地拆成三层每层职责独立、可替换 第 1 层公开 API 层你直接使用的界面入口在 torcharrow/init.py它对外暴露API说明ta.dataframe()/ta.column()创建 DataFrame / Columnta.from_arrow()/ta.from_pysequence()从 Arrow 或 Python 序列构建数据NumericalColumn/StringColumn/ListColumn/MapColumn按列类型组织的操作接口这一层不关心数据存在哪、跑在什么硬件上只负责接住用户请求。第 2 层Python 分发层架构的调度中枢这是 TorchArrow 最精妙的设计。核心是 torcharrow/dispatcher.py 中的Dispatcher类(类型码, 设备) ──注册── 具体实现函数 └── 查表分发如 (float64, cpu) → Velox 实现注册每个后端目前是 Velox启动时把自己的列构造函数注册进来键是(typecode, device)二元组如float64_fullcpu查表分发当你调用ta.column([1.0, 2.0])时torcharrow/scope.py 中的Scope工厂类会根据数据类型 目标设备从_calls字典中查出对应实现并执行幂等且只读一次同一键注册两次会报错保证路由不会冲突。这种设计的最大好处用户代码完全与硬件解耦。今天是 CPU 上的 Velox明天注册一个(float64_full, gpu)的 CuDF 实现上层 API 一行都不用改。 类型系统独立于后端定义在 torcharrow/dtypes.py 与 torcharrow/dtypes_core.py每种DType都带typecode和nullable属性这正是分发的键来源。第 3 层Velox 执行引擎C 加速底座C 侧代码位于 csrc/ 目录通过 pybind11 绑定为 Python 模块torcharrow._torcharrow见 csrc/register_bindings.cpp。它包含列与张量互转csrc/tensor_conversion.cpp、csrc/column.cppUDF 注册表csrc/velox/register_udf.cpp 把所有可执行的向量化函数数值、字符串、文本、REC 推荐算法函数等登记到 Velox 的函数库中自研 UDF如 BPE 分词csrc/velox/functions/text/bpe_tokenize.h、SigridHash、Bucketize、ComputeScore 等专为推荐/搜索场景的数据清洗与特征加工设计。Python 侧的 Velox 运行时实现在 torcharrow/velox_rt/ 包内例如 torcharrow/velox_rt/column.py 的ColumnCpuMixin直接持有 Velox 列对象的引用——这就是零拷贝的体现Python 对象只是 C 数据的视图不产生额外内存复制。三、两条分发通道工厂分发 vs 函数分发TorchArrow 内部其实有两套互补的分发机制这也是理解其架构的关键 通道 1列构造函数分发Dispatcherta.column()、ta.from_arrow()这类造数据的操作走 Dispatcher按(类型码操作, 设备)查表。例如 Arrow 数组转 TorchArrow 列时torcharrow/interop_arrow.py 会查找typecode _from_arrow对应的后端函数。通道 2算子分发functional 模块col 1、col.str.lower()这类用数据的算子走 torcharrow/functional.py_dispatch()从参数中找到第一个 Column读出它的device通过_device_to_dispatch_key {cpu: velox}映射到后端键未来会加入gpu等新键取到后端 functional 模块——目前是 torcharrow/velox_rt/functional.py 中的VeloxFunctional对象VeloxFunctional.__getattr__用动态代理把任意算子名如add、lower包装成ta.generic_udf_dispatch(op_name, ...)调用直接把底层 Velox 列传给 C 执行。设计哲学一目了然Python 层只做路由 参数整形重活全部交给 Velox 向量化引擎。常数标量参数甚至会被包装成ConstantColumn与列做向量化运算避免任何 Python 层循环。四、Arrow 生态融合零拷贝互通怎么做到的TorchArrow 与 PyArrow 的互通逻辑在 torcharrow/interop.py 和 torcharrow/interop_arrow.pyArrow → TorchArrow把pa.Table拆成各列pa.Array逐列调用后端注册的_from_arrow函数。由于 Arrow 与 Velox 共享同一套列式内存布局这一步基本是零拷贝的指针传递而不是数据搬运TorchArrow → Arrow / PyTorch列对象可随时转回 Arrow 或 PyTorch Tensor方便与 CuDF、Spark 等下游工具对接。这意味着如果你已经有一套基于 PyArrow 的 ETL 管道接入 TorchArrow 几乎不需要额外的数据序列化开销——这正是列式存储融合之道的核心收益 五、快速上手安装与最小示例克隆仓库源码构建git clone --recursive https://gitcode.com/gh_mirrors/to/torcharrow cd torcharrow依赖要求 Python ≥ 3.7 与 C17 编译器Linux/macOS 依赖安装脚本分别位于 scripts/setup-ubuntu.sh 和 scripts/_setup-macos.sh。本地开发可用调试模式构建DEBUG1 python setup.py develop最小示例官方文档 torcharrow/init.py 中的演示import torcharrow as ta df ta.dataframe({a: [1, 2, 3], b: [4, None, 6]}) print(df[a] df[b]) # 0 5 # 1 None - null 自动传播 # 2 9 # dtype: Int64(nullableTrue)想深入了解行为细节可运行单元测试python -m unittest -v核心测试集中在 torcharrow/test/ 与 C 侧 csrc/velox/functions/tests/。六、架构总结为什么这套融合设计值得学习关注点TorchArrow 的答案性能Arrow 列式布局 Velox 向量化执行Python 只做路由扩展性(typecode, device)分发表新硬件后端即插即用生态兼容与 PyArrow/NumPy/CuDF/PyTorch 零拷贝互通易用性Pandas 风格 API 自动类型推断核心启示当你要构建Python 易用性 C 性能的数据库时TorchArrow 给出的范式是——把类型与设备做成分发的键把 Python 层压到最薄把内存格式统一到 Arrow把计算统一委托给可替换的执行引擎。三层解耦 双通道分发正是它能同时兼顾性能、扩展与生态融合的原因。 延伸阅读构建与打包流程见 packaging/文档源码在 docs/source/API 桩文件 csrc/_torcharrow.pyi 则完整列出了 C 侧暴露的所有绑定接口。【免费下载链接】torcharrowHigh performance model preprocessing library on PyTorch项目地址: https://gitcode.com/gh_mirrors/to/torcharrow创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考