DataHub Docker 快速部署教程:一条命令启动,启动失败排查与运维命令 DataHub Docker 快速部署教程一条命令启动启动失败排查与运维命令【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub用 Docker 部署 DataHub多数人卡在三处第一次datahub docker quickstart跑完却登录报错或前端打不开启动后不知道 7 个容器各管什么、数据存在哪拆除时清理不干净、留下孤儿卷。本文面向第一次用 Docker Compose 部署 DataHub 的读者按自检、启动、看懂容器、自定义、排错、拆除六件事推进每步都配可执行命令与可查证的落点。整套部署基于一组 Docker Compose 配置文件全部集中在仓库 docker/ 目录。CLI 跑起来后你基本不需要手写 compose。部署前 30 秒自检三个版本、一条硬件底线先确认版本。三条命令各占一行缺哪项补哪项docker --version # 建议 Docker Engine 20.10 以上 docker compose version # 需要 Compose v2 python3 --version # CLI 要求 Python 3.10硬件底线按官方验证过的配置来2 核 CPU、8GB 内存、2GB 交换空间、13GB 以上磁盘。Docker 引擎分到的内存低于这条线opensearch 会在启动阶段反复退出后面就得回排错章重来。Windows 和 Mac 的 Docker Desktop 自带 ComposeLinux 需要单独装 Compose v2。然后装 CLIpython3 -m pip install --upgrade acryl-datahub datahub version # 确认安装成功如果提示command not found用python3 -m datahub前缀执行即可通常是 PATH 没包含 pip 的安装目录。一键启动datahub docker quickstart datahub docker quickstartCLI 会拉取仓库里的默认 compose 文件对应 docker/quickstart/docker-compose.quickstart-profile.yml放到~/.datahub/quickstart/目录拉镜像、起服务。看到DataHub is now running就算成了打开http://localhost:9002用datahub/datahub的用户名密码登录想立刻有内容看加载演示数据包datahub init --username datahub --password datahub # 把 CLI 指向本地实例 datahub datapack load showcase-ecommerce # 加载约 1000 个实体的演示包数据包覆盖 Snowflake、Looker、PowerBI、Tableau 的实体带血缘、术语表和数据产品。想接自己的库直接在 UI 的 Ingestion 页建 source别看容器列表quickstart 的 7 个容器各管什么为什么启动日志里有个“跑完就退出”的容器这是正常的。quickstart profile 一共 7 个容器分工如下mysqlmysql:8.2主数据库所有元数据落在这里数据在datahub_mysqldata卷opensearchopensearchproject/opensearch:2.19.3搜索索引同时充当图存储后端数据在datahub_osdata卷kafka-brokerconfluentinc/cp-kafka:8.2.2事件总线KRaft 模式不再需要 Zookeeper数据在datahub_broker卷system-update-quickstartacryldata/datahub-upgrade一次性任务执行数据库建表和索引初始化完成后退出datahub-gms-quickstartacryldata/datahub-gms元数据服务对外提供 REST/GraphQL 和 schema-registry默认 JVM-Xms1g -Xmx1gfrontend-quickstartacryldata/datahub-frontend-reactWeb 界面监听 9002datahub-actions-quickstartacryldata/datahub-actionsslim 镜像执行元数据 action 规则。启动顺序靠健康检查强制mysql、opensearch、kafka-broker 三者健康后system-update 才执行GMS 和前端都等 system-update 退出actions 再等 GMS 健康。如果你按老博客还起了 zookeeper 或 neo4j那是旧版本的编排现在的默认 quickstart 里没有它们。常用自定义改端口、锁版本、换 compose 文件端口冲突是第一步就要碰的自定义。quickstart 默认占用的宿主机端口和改法默认端口归属覆盖方式9002frontendWeb 界面DATAHUB_MAPPED_FRONTEND_PORT环境变量8080datahub-gmsDATAHUB_MAPPED_GMS_PORT环境变量3306mysqldatahub docker quickstart --mysql-port 533069200opensearchDATAHUB_MAPPED_ELASTIC_PORT环境变量9092kafka-brokerDATAHUB_MAPPED_KAFKA_BROKER_PORT环境变量环境变量在命令前设置即可DATAHUB_MAPPED_GMS_PORT58080 datahub docker quickstart # 把 GMS 挪到 58080锁版本不带参数时 quickstart 用最新的稳定 release 标签版本映射表见docker/quickstart/quickstart_version_mapping.yaml。要复现某个具体版本datahub docker quickstart --version v1.6.0完全接管直接改 CLI 放在~/.datahub/quickstart/下的那份 compose再用--quickstart-compose-file 路径指回你的副本。从 CLI 生成的文件改起比手写一份新 compose 省时。启动失败排查先跑这三条命令 起不来时先做定位别急着删容器datahub docker check # CLI 内置的容器健康检查 docker ps --filter namedatahub # 找出没在 Running 状态的容器对可疑容器用docker logs 容器名看日志。高频症状对应的第一处置动作症状最可能原因第一处置bind: address already in use宿主机端口被占按上一章的端口表改端口opensearch 连接被拒、容器反复退出Docker 引擎内存不足给 Docker 分到 ≥8GB 内存加 2GB 交换no matching manifest for linux/arm64/v8Apple Silicon 架构没识别对datahub docker quickstart --arch m1登录报metadata_aspect表不存在数据库没完成初始化datahub docker nuke后全新拉起更多案例在 docs/troubleshooting/quickstart.md。日常运维三动作停、备、拆场景命令说明与注意点临时停datahub docker quickstart --stop只停容器数据保留备份datahub docker quickstart --backupMySQL 导出到~/.datahub/quickstart/backup.sql使用统计等时序数据不在其中恢复datahub docker quickstart --restore从backup.sql恢复库和索引加--restore-indices只重建索引彻底重置datahub docker nuke删掉全部容器和卷数据不可恢复执行前确认数据不需要升级不用额外步骤重跑一次datahub docker quickstart拉新镜像重启数据不丢。最后提醒一句quickstart 端口对外全开、凭据是默认值只适合开发和测试生产请改用官方 Kubernetes 部署方式。下一步建议先养成datahub docker quickstart --backup的习惯再接入自己的数据源遇到本文没覆盖的问题可以到 DataHub 社区 Slack 里求助。【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考