724-Office边缘部署指南:2GB内存预算内让AI Agent跑在Jetson Orin Nano上 【免费下载链接】724-office7/24 Office — Self-evolving AI Agent system. 36 tools, 10,000 lines pure Python, modular architecture, MCP plugins, three-layer memory, nudge system, AI mirror, 24/7 production.项目地址https://gitcode.com/gh_mirrors/72/724-office点击查看免费下载724-Office 是一个约 1,000 行级纯 Python、零框架依赖的自进化 AI Agent 系统内置 36 个工具、MCP 插件机制与三层记忆24/7 常驻生产环境。它的设计原则中明确写着一条——Edge-deployable为 Jetson Orin NanoARM64设计内存预算控制在 2GB 以内。这篇文章带你走完 724-Office 边缘部署的完整流程环境准备、两种部署方式、内存瘦身关键步骤以及让 Agent 无人值守跑起来的自愈配置。为什么 2GB 内存能跑 AI Agent很多新手的第一反应是AI 服务不是都要几 GB 显存吗这里的关键在于架构分工724-Office 本地只负责编排不跑大模型。运行位置负责的事内存占用云端 LLM API模型推理任何 OpenAI 兼容接口0本地边缘设备工具循环、调度、记忆检索、消息收发 2GB它没有 LangChain、LlamaIndex 这类重型框架整个系统约 1 万行 Python 20 个模块全部源码可见。官方文档见 README.md。 换句话说你的 Jetson 只承担Agent 躯体大脑在云端。这正是 2GB 预算可行的原因。部署前准备环境检查清单在 Jetson Orin Nano8GB RAM、ARM64上先确认以下几项硬件与系统JetPack / Ubuntu 22.04已安装 Docker推荐或 Python 3.10网络可访问云端 LLM API 与 Embedding API依赖清单来自 Dockerfile.example系统包ffmpeg、curl、gcc、python3-dev、filePython 包websocket-client、pilk、croniter、lancedb、numpy、httpx、beautifulsoup4、pydub、jieba、fpdf2、openpyxl、python-pptxNode.js 22仅当你要启用 MCP 插件时才需要⚠️边缘设备注意lancedb和numpy都有 aarch64 预编译 wheel正常pip install即可如果没有 wheel 需要现场编译Jetson 上要预留 10 分钟以上。一键安装步骤两种部署方式方式一Docker 部署官方推荐# 1. 获取代码 git clone https://gitcode.com/gh_mirrors/72/724-office cd 724-office # 2. 准备部署文件 cp Dockerfile.example Dockerfile cp docker-compose.example.yml docker-compose.yml # 3. 配置密钥LLM API Key、消息平台凭证等 cp config.example.json .env vim .env # 4. 构建并启动 docker compose build docker compose up -d启动后 Agent 会监听8080 端口把消息平台 webhook 指向http://你的Jetson地址:8080/即可。Compose 模板见 docker-compose.example.yml它内置了三个服务router多租户路由、agent-default默认助理容器、agent-group群聊容器并自带内存上限——这正是边缘部署的默认安全网。方式二直接运行资源最省pip install croniter lancedb websocket-client pilk numpy httpx beautifulsoup4 pydub jieba fpdf2 mkdir -p workspace/memory workspace/files python3 xiaowang.py入口逻辑在 xiaowang.pyHTTP 服务、回调处理、消息防抖全部由标准库完成单进程即可运行。内存瘦身4 个关键步骤这是全文最核心的部分。2GB 预算下按下面四步裁剪步骤 1给每个容器设内存上限docker-compose.example.yml 已经给出参考值默认助理容器mem_limit: 512m群聊容器mem_limit: 384m路由器为用户容器分配的上限CONTAINER_MEMORY: 256m如果你只想跑单用户最常见的边缘场景把 router 和 agent-group 都删掉只留一个 512m 的 agent 容器总占用就能压进 1GB 以内。步骤 2裁剪 Docker 镜像官方镜像为了通用性装了 Node.js MCP 支持。边缘场景如果不用 MCP 插件直接从 Dockerfile.example 中删掉 Node 安装段镜像小 300MB运行时也更干净。步骤 3按需关闭向量记忆三层记忆memory.py的第二层会把长期记忆写入 LanceDB 向量库。向量检索在低内存设备上会有额外开销两种做法保留个人助理的记忆检索体验更好默认retrieve_top_k: 5关闭在 config.example.json 的memory段设置enabled: false只保留会话级短期记忆完整配置结构可参考 config.example.json。步骤 4给进程加护栏参考仓库中 v2 版本的 systemd 配置 xiaowang-v2/deploy/xiaowang-v2.service 的做法MemoryMax1G NoNewPrivilegestrueMemoryMax是关键护栏——OOM 时 Agent 杀掉自己由 systemd 拉起而不是拖垮 Jetson 上同机的其他服务比如视觉推理进程。v2 版本实测在 2 核 2GB 的机器上常驻约 1.6GB 内存可见这条红线定得并不保守。24/7 无人值守自愈与监控边缘设备最大的痛点是半夜挂了没人知道。724-Office 内置了三道防线Docker 健康检查镜像内置HEALTHCHECK每 30 秒探测http://localhost:8080/配合restart: unless-stopped自动拉起Agent 自检工具self_check工具会收集当日对话统计、系统健康、错误日志和任务状态生成自检报告源码见 tools_admin.pydaily_digest每天汇总生成日记素材失败告警内置 Self-Repair 机制任务失败自动通知 ownerJetson 专属玩法router.py 中专门实现了/api/chat语音代理接口把 Jetson 上语音模块的同步请求转发给 Agent 后端——也就是说官方设计里Jetson 本身就是这套系统的语音入口而不仅是服务器。部署验证与常见问题启动后 3 分钟验证清单docker ps中容器为 Uphealthycurl http://127.0.0.1:8080/返回ok发送一条测试消息Agent 有回复free -m观察常驻内存确认稳定在预算内常见问题问题解决pip 安装 lancedb 编译失败确认 Python 版本 ≤3.12 以命中 aarch64 wheel或升级 pipAgent 启动后不回复检查.env/config 中 LLM API Key 与消息平台 token看容器日志内存缓慢上涨确认已设置mem_limit关闭不需要的 MCP 服务器见 config.example.json 的mcp_servers段需要 MCP 插件但内存不够优先用 HTTP transport 的外部 MCP避免容器内 npx 拉起本地 MCP 进程写在最后724-Office 证明了一件事AI Agent 的边缘部署瓶颈从来不是算力而是内存纪律。零框架依赖让它每一行都可审计容器内存上限、进程护栏和内置自检让它能在 Jetson Orin Nano 这样的嵌入式设备上 7×24 稳定运行。如果你想进一步理解它如何做到收敛式设计——单个 Node 进程 单个 SQLite 库在 2 核 2GB 机器上常驻——可以继续读 v2 的架构文档 xiaowang-v2/ARCHITECTURE.md以及部署前的能力探针脚本 xiaowang-v2/deploy/probe.sh30 秒探测目标机能力避免部署后炸在生产环境。赞分享【免费下载链接】724-office7/24 Office — Self-evolving AI Agent system. 36 tools, 10,000 lines pure Python, modular architecture, MCP plugins, three-layer memory, nudge system, AI mirror, 24/7 production.项目地址https://gitcode.com/gh_mirrors/72/724-office点击查看免费下载相关推荐Ultralytics YOLO在Jetson Orin Nano Super上的兼容性问题分析Ultralytics YOLO在Jetson Orin Nano Super上的兼容性问题分析 在嵌入式AI开发领域NVIDIA Jetson系列开发板因其人工智能深度学习计算机视觉预训练MediaPipe在Jetson Orin Nano边缘计算平台的实战部署指南MediaPipe在Jetson Orin Nano边缘计算平台的实战部署指南 核心关键词 MediaPipe安装、Jetson Orin Nano、边人工智能机器学习计算机视觉多模态语音本地部署MediaPipe在Jetson Orin Nano上的终极安装指南突破边缘AI部署瓶颈MediaPipe在Jetson Orin Nano上的终极安装指南突破边缘AI部署瓶颈 想要在强大的NVIDIA Jetson Orin Nano上部署Go人工智能机器学习计算机视觉多模态语音本地部署创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考