数据集大数据社交【免费下载链接】tiktok-5.6B-videos项目地址https://ai.gitcode.com/hf_mirrors/datasocial/tiktok-5.6B-videos点击查看免费下载tiktok-5.6B-videos 是一个包含56 亿条 TikTok 视频记录的开源数据集以 148 个月度 Parquet 文件存储2014-07 至 2026-10数据量 400GB 以上单月文件最大约 20GB。本文带你用 Pandas、Polars、DuckDB 三个工具掌握 10 个在个人电脑上高效加载、过滤与聚合这份 Parquet 大规模数据集的实用技巧——无需集群按部就班即可跑通。 数据集概览先看懂你要分析什么每条视频一行元数据视频 ID、发布时间、国家、语言、时长、封面尺寸、views/likes/comments/shares/saves等统计、hashtags、engagement_rate互动率、is_ai_generatedAI 生成标记等 26 个字段。数据组织非常简洁全部数据位于 data/ 目录一个月一个文件命名YYYY-MM.parquet共 148 个文件例如最新的 data/2026-10.parquet完整字段定义、类型与含义见 README.md 中的 Columns 说明表许可证为 CC BY-NC 4.0免费用于研究与个人用途。按月份切分正是这份数据的最大分析优势它相当于天然的时间分区大部分问题你根本不需要触碰全部数据。 获取数据两步命令完整上手数据集通过 Git LFS 存储大文件。clone 后data/目录里的文件只是几百字节的指针文件必须手动拉取真实内容git clone https://gitcode.com/hf_mirrors/datasocial/tiktok-5.6B-videos cd tiktok-5.6B-videos git lfs pull 磁盘紧张时只拉需要的月份git lfs pull data/2024-01.parquet下面是核心 10 招。10 招高效分析 Parquet 大规模数据招式 1过滤列再加载 —— Pandas 的columns参数大多数分析只用几个字段。read_parquet的columns参数让 Pandas 只读取指定列import pandas as pd df pd.read_parquet(data/2024-01.parquet, columns[video_id, views, likes])原理Parquet 是列式存储只读指定列时磁盘上也只读对应列的数据速度和内存通常能省九成。招式 2先按时间筛文件 —— 月度文件就是分区最重要的一招先挑文件再读数据。分析 2024 年上半年只需 6 个文件而不是 148 个files [fdata/2024-{m:02d}.parquet for m in range(1, 7)] df pd.concat([pd.read_parquet(f, columns[video_id, views]) for f in files])一句话心法能在加载前缩小范围就不要加载后再过滤。招式 3Polars 惰性引擎 —— 先搭计划最后才算scan_parquet不读任何数据只构建计算计划真正执行发生在最后的collect()过滤与选列会自动下推到文件层import polars as pl top (pl.scan_parquet(data/2024-01.parquet) .filter(pl.col(views) 1_000_000) .select([video_id, views, likes]) .sort(views, descendingTrue) .head(20) .collect())这是处理单个十几 GB 大文件时最顺手的过滤 排序 取前 N工具。招式 4DuckDB —— 用 SQL 直查 ParquetDuckDB 可以不导入、直接查询Parquet 文件就像查普通数据库表SELECT country, COUNT(*) AS videos, AVG(views) AS avg_views FROM data/2024-01.parquet GROUP BY country ORDER BY videos DESC LIMIT 10;配合 glob 还能一次查满一整年SELECT strftime(posted_at, %Y-%m) AS month, COUNT(*) AS n FROM read_parquet(data/2024-*.parquet) GROUP BY month;有 SQL 基础的人这是上手最快的姿势。招式 5谓词下推 —— 把过滤条件放进加载环节Polars 的filter参数让条件在读文件时就生效不匹配的行根本不进内存import polars as pl df pl.read_parquet(data/2024-01.parquet, filter(pl.col(type) video))DuckDB 则在 SQL 里写WHERE时自动完成下推零配置。招式 6分批读取防 OOM —— 流式处理大文件内存装不下一整月数据时按批处理。Polars 的batched让 20GB 文件可以一块一块消费import polars as pl for batch in pl.scan_parquet(data/2024-01.parquet).batched(1_000_000): process(batch) # 每次处理 100 万行DuckDB 对大文件默认也是流式读取LIMIT类查询通常不会把全部数据读进内存。招式 7聚合优先 —— 先缩成每组合一行再看明细回答哪个国家视频最多这类问题时千万不要先拉全部明细再分组直接让引擎聚合SELECT country, COUNT(*) AS n FROM read_parquet(data/2025-*.parquet) GROUP BY country ORDER BY n DESC;聚合结果通常只有几十行内存压力从 GB 级直接降到 KB 级。招式 8抽样验证 —— 复杂逻辑先在小样本上跑通正式分析前抽 1% 数据验证逻辑把 20GB 文件的试错成本从几十分钟降到秒级import polars as pl sample (pl.scan_parquet(data/2024-01.parquet) .filter(pl.random(42) 0.01) .collect())逻辑在样本上稳定了再放心跑全量。招式 9工具组合拳 —— 三件套各司其职10 招不是三选一而是常用组合拳工具最适合的场景DuckDBSQL 聚合、快速探索式查询Polars大表过滤、变换、复杂 Python 逻辑Pandas聚合后的小结果、可视化绘图中间结果用pl.write_parquet(...)存成 Parquet 即可在工具之间自由传递。招式 10缓存中间结果 —— Parquet 也是输出格式多步分析会反复用到同一张干净的中间表时用小sink_parquet把它落盘import polars as pl (pl.scan_parquet(data/2024-01.parquet) .select([video_id, views, likes, shares]) .filter(pl.col(views) 0) .sink_parquet(videos_2024_01.parquet))下次分析直接读它不用再扫原始 20GB 文件。⚠️ 新手避坑速查clone 后忘了git lfs pull文件只是几百字节的指针直接读取会报Parquet magic bytes not found之类的错误老数据部分字段为 0 或 null2016 年前的记录来自存档downloads、is_ai_generated等字段可能是 0 或 nullduration_ms只精确到秒详见 README.md 的说明一次性read_parquet整个目录148 个文件合计数百 GB务必先用时间、列、条件缩小范围再加载。写在最后tiktok-5.6B-videos 用 148 个月度 Parquet 文件承载 56 亿行视频数据月度切分让它天然可分区、可裁剪。记住核心思路先筛选再加载先聚合后展开。Pandas、Polars、DuckDB 三件套各有所长、互补组合TB 级分析在个人电脑上完全可以跑起来。想深入了解字段细节随时回看 README.md 的字段说明表。赞分享数据集大数据社交【免费下载链接】tiktok-5.6B-videos项目地址https://ai.gitcode.com/hf_mirrors/datasocial/tiktok-5.6B-videos点击查看免费下载相关推荐146个文件与56亿行数据tiktok-5.6B-videos背后的Parquet分区与大规模数据存储原理146个文件与56亿行数据tiktok 5.6B videos背后的Parquet分区与大规模数据存储原理 tiktok 5.6B videosTikTok数据集大数据社交tiktok-5.6B-videos数据字典30个字段逐条详解从hashtags到互动率再到TikTok Shoptiktok 5.6B videos数据字典30个字段逐条详解从hashtags到互动率再到TikTok Shop tiktok 5.6B videos 是数据集大数据社交从TikTok Shop到AI生成视频tiktok-5.6B-videos的5个数据挖掘方向广告、电商、FYP从TikTok Shop到AI生成视频tiktok 5.6B videos的5个数据挖掘方向广告、电商、FYP tiktok 5.6B videos数据集大数据社交创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/16 1:11:13 · 阅读 1.2k tiktok-5.6B-videos × Pandas/Polars/DuckDB：10招高效分析1TB+ Parquet大规模数据
数据集大数据社交【免费下载链接】tiktok-5.6B-videos项目地址https://ai.gitcode.com/hf_mirrors/datasocial/tiktok-5.6B-videos点击查看免费下载tiktok-5.6B-videos 是一个包含56 亿条 TikTok 视频记录的开源数据集以 148 个月度 Parquet 文件存储2014-07 至 2026-10数据量 400GB 以上单月文件最大约 20GB。本文带你用 Pandas、Polars、DuckDB 三个工具掌握 10 个在个人电脑上高效加载、过滤与聚合这份 Parquet 大规模数据集的实用技巧——无需集群按部就班即可跑通。 数据集概览先看懂你要分析什么每条视频一行元数据视频 ID、发布时间、国家、语言、时长、封面尺寸、views/likes/comments/shares/saves等统计、hashtags、engagement_rate互动率、is_ai_generatedAI 生成标记等 26 个字段。数据组织非常简洁全部数据位于 data/ 目录一个月一个文件命名YYYY-MM.parquet共 148 个文件例如最新的 data/2026-10.parquet完整字段定义、类型与含义见 README.md 中的 Columns 说明表许可证为 CC BY-NC 4.0免费用于研究与个人用途。按月份切分正是这份数据的最大分析优势它相当于天然的时间分区大部分问题你根本不需要触碰全部数据。 获取数据两步命令完整上手数据集通过 Git LFS 存储大文件。clone 后data/目录里的文件只是几百字节的指针文件必须手动拉取真实内容git clone https://gitcode.com/hf_mirrors/datasocial/tiktok-5.6B-videos cd tiktok-5.6B-videos git lfs pull 磁盘紧张时只拉需要的月份git lfs pull data/2024-01.parquet下面是核心 10 招。10 招高效分析 Parquet 大规模数据招式 1过滤列再加载 —— Pandas 的columns参数大多数分析只用几个字段。read_parquet的columns参数让 Pandas 只读取指定列import pandas as pd df pd.read_parquet(data/2024-01.parquet, columns[video_id, views, likes])原理Parquet 是列式存储只读指定列时磁盘上也只读对应列的数据速度和内存通常能省九成。招式 2先按时间筛文件 —— 月度文件就是分区最重要的一招先挑文件再读数据。分析 2024 年上半年只需 6 个文件而不是 148 个files [fdata/2024-{m:02d}.parquet for m in range(1, 7)] df pd.concat([pd.read_parquet(f, columns[video_id, views]) for f in files])一句话心法能在加载前缩小范围就不要加载后再过滤。招式 3Polars 惰性引擎 —— 先搭计划最后才算scan_parquet不读任何数据只构建计算计划真正执行发生在最后的collect()过滤与选列会自动下推到文件层import polars as pl top (pl.scan_parquet(data/2024-01.parquet) .filter(pl.col(views) 1_000_000) .select([video_id, views, likes]) .sort(views, descendingTrue) .head(20) .collect())这是处理单个十几 GB 大文件时最顺手的过滤 排序 取前 N工具。招式 4DuckDB —— 用 SQL 直查 ParquetDuckDB 可以不导入、直接查询Parquet 文件就像查普通数据库表SELECT country, COUNT(*) AS videos, AVG(views) AS avg_views FROM data/2024-01.parquet GROUP BY country ORDER BY videos DESC LIMIT 10;配合 glob 还能一次查满一整年SELECT strftime(posted_at, %Y-%m) AS month, COUNT(*) AS n FROM read_parquet(data/2024-*.parquet) GROUP BY month;有 SQL 基础的人这是上手最快的姿势。招式 5谓词下推 —— 把过滤条件放进加载环节Polars 的filter参数让条件在读文件时就生效不匹配的行根本不进内存import polars as pl df pl.read_parquet(data/2024-01.parquet, filter(pl.col(type) video))DuckDB 则在 SQL 里写WHERE时自动完成下推零配置。招式 6分批读取防 OOM —— 流式处理大文件内存装不下一整月数据时按批处理。Polars 的batched让 20GB 文件可以一块一块消费import polars as pl for batch in pl.scan_parquet(data/2024-01.parquet).batched(1_000_000): process(batch) # 每次处理 100 万行DuckDB 对大文件默认也是流式读取LIMIT类查询通常不会把全部数据读进内存。招式 7聚合优先 —— 先缩成每组合一行再看明细回答哪个国家视频最多这类问题时千万不要先拉全部明细再分组直接让引擎聚合SELECT country, COUNT(*) AS n FROM read_parquet(data/2025-*.parquet) GROUP BY country ORDER BY n DESC;聚合结果通常只有几十行内存压力从 GB 级直接降到 KB 级。招式 8抽样验证 —— 复杂逻辑先在小样本上跑通正式分析前抽 1% 数据验证逻辑把 20GB 文件的试错成本从几十分钟降到秒级import polars as pl sample (pl.scan_parquet(data/2024-01.parquet) .filter(pl.random(42) 0.01) .collect())逻辑在样本上稳定了再放心跑全量。招式 9工具组合拳 —— 三件套各司其职10 招不是三选一而是常用组合拳工具最适合的场景DuckDBSQL 聚合、快速探索式查询Polars大表过滤、变换、复杂 Python 逻辑Pandas聚合后的小结果、可视化绘图中间结果用pl.write_parquet(...)存成 Parquet 即可在工具之间自由传递。招式 10缓存中间结果 —— Parquet 也是输出格式多步分析会反复用到同一张干净的中间表时用小sink_parquet把它落盘import polars as pl (pl.scan_parquet(data/2024-01.parquet) .select([video_id, views, likes, shares]) .filter(pl.col(views) 0) .sink_parquet(videos_2024_01.parquet))下次分析直接读它不用再扫原始 20GB 文件。⚠️ 新手避坑速查clone 后忘了git lfs pull文件只是几百字节的指针直接读取会报Parquet magic bytes not found之类的错误老数据部分字段为 0 或 null2016 年前的记录来自存档downloads、is_ai_generated等字段可能是 0 或 nullduration_ms只精确到秒详见 README.md 的说明一次性read_parquet整个目录148 个文件合计数百 GB务必先用时间、列、条件缩小范围再加载。写在最后tiktok-5.6B-videos 用 148 个月度 Parquet 文件承载 56 亿行视频数据月度切分让它天然可分区、可裁剪。记住核心思路先筛选再加载先聚合后展开。Pandas、Polars、DuckDB 三件套各有所长、互补组合TB 级分析在个人电脑上完全可以跑起来。想深入了解字段细节随时回看 README.md 的字段说明表。赞分享数据集大数据社交【免费下载链接】tiktok-5.6B-videos项目地址https://ai.gitcode.com/hf_mirrors/datasocial/tiktok-5.6B-videos点击查看免费下载相关推荐146个文件与56亿行数据tiktok-5.6B-videos背后的Parquet分区与大规模数据存储原理146个文件与56亿行数据tiktok 5.6B videos背后的Parquet分区与大规模数据存储原理 tiktok 5.6B videosTikTok数据集大数据社交tiktok-5.6B-videos数据字典30个字段逐条详解从hashtags到互动率再到TikTok Shoptiktok 5.6B videos数据字典30个字段逐条详解从hashtags到互动率再到TikTok Shop tiktok 5.6B videos 是数据集大数据社交从TikTok Shop到AI生成视频tiktok-5.6B-videos的5个数据挖掘方向广告、电商、FYP从TikTok Shop到AI生成视频tiktok 5.6B videos的5个数据挖掘方向广告、电商、FYP tiktok 5.6B videos数据集大数据社交创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考