上周在客户那边验收一套展厅改造项目我绕着那台“聚辉触控全息仓数字人”转了好几圈。它立在大厅入口右侧一米多高的深色柜体正面像一块微微倾斜的玻璃里面站着一个半身数字人。人还没走近数字人就微笑着侧过身来说了句“欢迎来到科技馆”伸手往左一引旁边的沙盘同步亮起蓝色光带。我伸手在玻璃前方的空域点了一下某个菜单数字人立刻转向那个方向开始讲解。旁边一个上了年纪的参观者说了一句“这屏幕挺有意思”实际上那不是屏幕——真正让这个展项“活”起来的是五套技术在同一套柜体里协同工作。这个项目吸引我的原因很简单大多数展厅的互动屏已经让观众麻木了触控一体机和拼接屏做得再好本质上还是“一块屏幕”。而全息仓数字人把信息载体从“二维平面”变成了“空间中的一个形象”数字人悬浮在柜内能说话、能转身、能配合灯光和中控一起引导整个参观动线。这就是标题里说的“展厅交互新入口”——它既是信息入口、导览入口也是整个展厅智能中控的人形化入口。这篇内容我就按这五大技术一条一条拆开讲数字人怎么“活”起来、悬浮影像怎么实现、触摸交互怎么选型、语音链路怎么扛住现场噪音、最后怎么把全息仓和整个展厅联动成一套系统。中间会穿插我实际调试时踩过的坑以及我后来验证过的处理办法。如果你正在做展厅设计、展项集成或者准备上数字人设备这篇应该可以让你少走不少弯路。1. 全息仓数字人不是“投影加皮套”而是一套五层联动的系统工程很多甲方第一次见到全息仓数字人第一反应是“不就是把视频投到一块特殊玻璃上嘛”。这种理解不能算错但会把项目带偏。我在现场见过太多“看起来很炫但没人用”的展项根本原因就是只做了显示层没做交互层和联动层。聚辉触控这套方案之所以能成为展厅入口级的展项是因为它把五个技术模块完整地叠在了一个柜体里。1.1 从观众视角看一次完整的交互闭环是什么样先不讲技术参数我们把一次真实的观展过程从头到尾过一遍。观众从一个展区走向另一个展区经过全息仓大约三米位置柜体顶部的红外传感器检测到人体接近屏幕下方的状态灯条从待机蓝变成呼吸白数字人从站立姿态转过头来目光跟随观众移动。等观众走到柜体前方一到两米范围数字人主动抬手打招呼发出第一句问候语——这一句不是循环播放的录音而是根据时间、参观动线、甚至天气动态生成的。观众注意到玻璃上有一排半透明的悬浮按钮点击其中“智慧园区”的图标数字人立刻转身面向左侧的园区沙盘开始讲解核心功能区域。讲解过程中观众如果想要追问按下实体副屏上的语音键说一句“光伏装机容量是多少”数字人会在半秒内接过话头直接回答回答时还会配合指向沙盘上的相应区域。讲解结束观众离开感应区数字人欠身致意柜体恢复待机同时把这一次互动的时长、点击项、高频问题写进日志同步给展厅运营后台。这个闭环里已经包含了显示、渲染、触控、语音、感知、中控六项能力整理成系统模块就是下面这张表技术模块承担的角色观众可感知的效果数字人资产与实时渲染内容主体形象真实、动作流畅、口型对得上全息光学成像组件显示载体影像悬浮于柜体空间中没有屏幕边框感触控交互层操作入口点击菜单、滑动页面、选择展项语音交互与AI对话自然语言入口能听懂提问能开口回答多模态感知与中控联动系统协同自动唤醒、跟随目光、联动灯光与沙盘这五个模块单拎出来市场上都能找到成品供应商真正的技术门槛在集成——五层系统要在同一个柜体里互不干扰地工作。1.2 “入口”到底是什么意思和传统触控一体机差在哪传统展厅触控一体机的模型是“人找信息”观众走到屏幕前通过菜单点击寻找内容交互结束。全息仓数字人的模型是“信息找人”人还没到设备先感知到数字人先开口观众被声音和动态吸引过来再通过触控和语音进行深层次互动。这两种模型对应着完全不同的技术优先级。传统一体机只要保证屏幕亮、触摸灵敏就够了全息仓则必须保证感知的触发距离、数字人的响应延迟、光学成像的观看角度、语音拾音的指向性还有中控联动的同步时延。任何一个环节掉链子观众体验到的就不再是“科技感”而是“迟钝”或“失灵”。我在验收时特别注意了一个细节数字人在观众走近两米范围内时视线会跟着观众的水平移动偏移。这个功能看着不起眼但对“鲜活感”的提升非常明显。它来自感知层的毫米波雷达结合渲染层的视线追踪逻辑不是靠摄像头做视觉跟踪而是靠空间坐标换算。这也是这套方案在隐私方面处理得比较干净的地方展厅不需要录观众的脸。2. 让数字人“活”起来建模、绑定到实时渲染的取舍数字人是整个全息仓的视觉中心。观众可以接受屏幕上的平面内容不够精致但很难接受一个悬浮在空中的数字人是僵硬的。这一节讲核心技术里的第一块数字人的制作与实时渲染。2.1 形象风格怎么定写实、半写实还是偏设计感数字人形象直接决定展项的调性也决定制作成本。我经手过的展厅项目里超写实数字人只适合高端政企接待场景而且对渲染硬件要求极高一旦灯光和材质没调好很容易掉进恐怖谷。普通科技馆、产业园展厅、企业品牌馆我更推荐半写实或者带有设计感的数字人形象比如偏“虚拟主持人”风格。聚辉触控这套默认形象走的是半写实路线面部细节接近真人但皮肤质感和发型做了轻度风格化不会因为现场环境光变化而显得诡异。这个定位很聪明因为全息仓内的光学成像会损失一部分对比度和清晰度过分追求皮肤毛孔级细节观众实际看到的反而可能是一张泛白的脸。如果项目需要定制形象制作流程大致是角色概念设计——三维建模Maya/Blender/3ds Max——PBR贴图——骨骼绑定——表情绑定Blendshape——动作资源制作——导入实时引擎Unreal Engine或Unity。2.2 口型驱动和动作衔接是“活”的关键数字人开口说话时口型对不对得上是所有观众都会下意识注意到的点。静态建模再好口型延迟100毫秒观众立刻觉得“假”。目前行业主流做法有两类一类是语音驱动口型也就是在TTS返回音频的同时拿到每个音素的时长信息把音素映射到口型Blendshape权重上。Unreal引擎里的MetaHuman Audio2Face、NVIDIA的Audio2Face SDK都能做实时的音频驱动口型。另一类是预渲染动画配录音适合固定时长的欢迎语但对动态对话几乎不可用因为你不知道观众下一句会问什么。我在实际项目里综合两种方式固定欢迎语和开场白用预渲染高精度动画保证品质自由问答环节切到实时推理模式用TTS的木栓音素直接驱动口型再叠加一套待机动作层让数字人在说话间隙有轻微的呼吸起伏和视线偏移避免“打字机式”的僵硬输出。2.3 渲染硬件怎么配才不会现场翻车全息仓内部空间紧凑不可能装一台塔式服务器。我们调试时用的方案是柜体底部集成一台小型化工作站CPU用Intel i7或i9级别显卡至少要到RTX 4060以上内存32G起步。实时渲染分辨率通常在2K到4K之间输出经过光学成像之后清晰度会有一定折损所以渲染分辨率不能省。这里有个容易忽略的点柜体是半封闭的显卡满载时散热是大问题。我见过一台设备因为风道设计不合理运行二十分钟后显卡降频数字人帧率从60掉到30观众看到的就是“卡顿的虚拟人”。如果厂家没有做过满载热测试建议验收时连续跑一小时高负载对话场景看帧率是否稳定。3. 真正的难点在于让人看见“悬浮”全息光学方案怎么选全息仓和普通触摸一体机最大的视觉差异就是影像“悬浮”在空间里。这里面没有任何魔法本质上是光学成像方案的选择和调试。想做这个项目的朋友这一节建议重点看。3.1 佩珀尔幻象原理一块斜玻璃解决的事大部分全息仓采用的是经典佩珀尔幻象结构柜体内部放置一块与水平面呈45度角的高透光学镀膜玻璃显示源通常是高亮度屏或投影把数字人画面投射到玻璃上玻璃再把画面反射到观众视线方向。因为玻璃是透明的观众透过它看到的是柜体后壁的深色背景而反射的画面叠加在背景上就形成了“立体悬浮在柜内”的错觉。结构上通常有两个变体。一种是“正放式”显示屏朝上画面被45度玻璃反射向斜前方成像适合需要数字人站在柜体后部的场景。另一种是“倒置式”显示源放在上方向下投射到45度玻璃再反射出来适合把数字人布置在柜体前部视觉上更靠近观众互动感更强。聚辉触控用的是后一种数字人看起来离观众更近伸手去点触控按钮时影像和手指之间的空间关系更自然。3.2 不同光学方案的优缺点对比方案悬浮感亮度表现环境光抗性成本运维难度45度光学镀膜玻璃高亮屏强较好中中低全息膜贴在钢化玻璃上背投中较弱低低中透明OLED屏幕中有屏体强强高低雾面投影膜投影机中弱弱低高需遮光从用户长期运营角度看45度镀膜玻璃加高亮屏是性价比最稳的选择也是聚辉触控默认方案。它不需要像投影膜那样维护灯泡也不像透明OLED那样有屏幕边框穿帮的问题。缺点是对安装角度要求高玻璃一旦装歪画面重影和梯形畸变就会冒出来。3.3 环境光一强“悬浮”就变“鬼影”这是全息类展项最常见的死法。光学成像本质是反射环境光越强反射画面的对比度越低观众看到的就是一层淡淡的半透明人影也就是俗称的“鬼影”。现场如果正对落地窗或者展厅顶灯直射效果会非常惨。处理办法有几个层面首先是结构上把柜体放在展厅动线中较暗的区域或者在柜体前方加一圈微遮光沿其次是显示源亮度实测下来屏幕峰值亮度在800尼特以上才能勉强压住常规展厅400勒克斯左右的照度最后是光学玻璃本身采用带抗环境光镀膜的版本并配合柜内表面的吸光植绒处理。聚辉触控在现场调试时专门让灯光团队把柜体正上方的一组射灯调暗了两个档位整个悬浮感立刻提升一个档次。这个细节如果没有人提醒等设备到场才发现往往已经晚了。所以我在做展厅平面方案时会提前把全息仓的位置和灯光设计绑在一起出图而不是让展项去迁就灯位。4. 触控不止是“摸屏幕”红外、电容与浮空触控的展厅实测这块容易产生误区。全息仓里的数字人是悬浮影像不可能像普通触摸屏一样在画面上直接点击所以触控交互层是独立于光学成像之外的一套系统。选择哪种触控方案直接决定观众愿不愿意上手操作。4.1 三种常见的触控形态第一种是全息玻璃前面贴合电容触摸膜。就是在柜体正面那块玻璃上贴一层透明电容膜观众手指碰到玻璃时触发点击。这是最稳妥的方案灵敏度高和传统手机触控体验接近缺点是观众需要实打实地“摸”玻璃玻璃上容易留下指纹。第二种是红外触摸框。玻璃外围装一圈红外发射管和接收管手指靠近玻璃表面时遮挡红外线触发。优点是不用贴膜、戴手套也能操作缺点是边框会有一圈物理突起在全息仓这种讲求科技感的设计里会显得突兀。第三种是浮空触控也叫隔空触控。在柜体前方空间里构建一层红外光栅手指进入光栅区域不接触任何物理表面就能触发点击。这是视觉上最科幻的方案也是现场最容易翻车的方案。我在一个科技展厅里测试过浮空按钮的确认反馈很弱观众手指悬停时容易晃动误触率明显高于实体触控点按精准度也很难保证。4.2 我的选型结论把操作留给实体把沉浸留给全息聚辉触控这套全息仓采用了组合式交互观众和数字人对话、浏览菜单时用下方的实体触控副屏完成操作全息玻璃前方则保留了一个浮空确认按钮用于触发“开始讲解”这类高光动作。这样设计的好处是高频的菜单浏览用可靠触控低频的启动动作用浮空交互制造仪式感两者各取所长。如果你正在设计类似设备我的建议是不要为了“炫酷”把所有操作都做成隔空点击。观众在一个展品前停留的时间平均只有几十秒如果连点击一个按钮都要反复瞄准他很可能直接放弃操作展项就成了“只可远观”的摆设。实体触控屏加上合理的UI尺寸按钮不小于40×40像素才是保证实际使用率的底线。4.3 触控灵敏度调参的几个实测经验触控层的调试不是装上就能用有几个参数必须现场压测点击响应延迟控制在80毫秒以内超过这个值观众会感觉“迟钝”。长按抖动抑制阈值要调到合适区间尤其在玻璃表面手指按下时轻微滑动会造成误触需要加入按住确认逻辑。高温环境下的触控漂移要提前测。红外触摸框在强光照射下偶发误触发需要配合环境光传感器动态调整红外阈值。这些参数在出厂时通常给的是通用值到了现场必须根据柜体摆放位置、光线条件和观众人群儿童还是成人为主重新调一遍。我在验收时专门带了一组不同年龄的体验者做盲测让人分别点击最小按钮十次统计误触率低于百分之五才算过关。5. 数字人的“脑子”和“嘴”语音交互链路如何扛住展厅噪音观众对着一个悬浮数字人说话这本身就是交互设计里最有情感张力的一环。但语音交互模块往往也是全息仓里集成难度最高的一环。因为展厅不是安静的办公室这里有背景音乐、其他展项的声音、观众的嘈杂人声还有全息仓自己的散热风扇声。5.1 完整语音链路从拾音到数字人开口的三秒规则一套实用的语音链路包括麦克风阵列拾音——回声消除与降噪——语音识别ASR——语义理解NLU/大模型——业务知识库检索——语音合成TTS——口型驱动——数字人动作反馈。其中任何一个环节掉链子观众能直接感知到的就是“数字人反应慢”或者“答非所问”。我在现场定了一个目标从观众说完一句话到数字人开始开口回答间隔不超过1.5秒完整内容输出不超过3秒内开始。要做到这个水平ASR必须用流式识别TTS必须用首包低延迟方案数字人端还要预置过渡动作——比如点头、眼神回应让等待时间看起来是“思考”而不是“卡住”。5.2 展厅环境下的拾音方案别指望远场麦克风解决一切全息仓的交互距离通常是一到两米观众是站着说话的不能用近讲耳麦。设备内一般集成四麦或六麦环形阵列带波束成形能力。波束成形听起来很高级实际作用就是让麦克风“偏向”观众站立的方向同时抑制侧后方和顶部的环境噪声。但波束成型救不了所有问题尤其是数字人自己开口说话时声音会被麦克风再次拾进去形成回声和自激。所以语音链路里必须有高规格的AEC回声消除模块。我遇到过一台设备数字人说到一半突然自己重复了一遍刚才的话就是因为AEC参数在特定音量下失效。后来把TTS输出通道和麦克风输入通道做了硬件级隔离才算彻底解决。5.3 知识库与大模型的取舍数字人不是每个问题都能回答的它的知识边界必须可控。稳妥的做法是把展厅相关的讲解内容预先结构化成FAQ和结构化知识库观众提问先走检索式问答RAG把检索结果交给大模型组织语言再让TTS播报。这样设计的好处是数字人不会在公开场合说出不受控的内容。知识库的更新也要做成运营后台可配置而不是每次找开发改代码。我见过很多项目讲解词想改一句都得发需求单等技术排期运营体验非常差。好的做法是运营后台支持在线编辑问答对、批量导入Excel、一键发布数字人十分钟内同步使用新内容。6. 五感之外的联动多模态感知与中控系统如何串起整个展厅一个只会在柜体里说话的数字人还称不上“展厅交互入口”。真正让它变成入口的是和灯光、沙盘、屏幕、音响甚至闸机联动起来。这意味着全息仓不只是一台展项它还兼任展厅中控的一个终端节点。6.1 多模态感知谁来唤醒数字人谁来判断观众情绪全息仓的唤醒逻辑不能只靠一个传感器组合起来更可靠。我在项目里见到的主流配置是柜体顶部毫米波雷达做人员存在检测覆盖三到五米范围正面玻璃下方的红外对射做近场触发一到两米内再加上前端的触控副屏按钮做主动唤醒。这三层构成了一个状态机无人状态-接近状态-接待状态-讲解状态-休眠状态。状态机的好处是能避免多人同时在场景中的混乱。比如一个观众正在问问题旁边一个人走到感应区数字人不会被强行打断切换到另一套欢迎语而是要等当前交互逻辑运行完。联动方面还可以做人流分析。毫米波雷达的数据积累一段时间后可以给运营方提供参观热点时段、平均停留时长的统计这些数据对展项内容迭代很有用。6.2 中控联动灯光、沙盘、投影一起“听”数字人的话全息仓和中控系统的对接最常见的是HTTP/TCP/Modbus三种方式。全息仓内部跑一块边缘网关负责把数字人的讲解状态转换成中控指令。比如数字人讲到“智慧园区”时网关向中控系统发送一条指令中控系统再驱动沙盘灯光亮起、园区模型区域的LED点亮、对应宣传片在侧屏同步播放。我整理了一个简化的指令逻辑联调时可以照这个思路做讲解开始发送statusspeakingtopicsmart_park讲解切换章节发送topicsolar_energyhighlightsouth_area讲解结束发送statusend中控系统拿到这些字段之后按照预先配置好的场景联动规则执行。这套逻辑不难难的是延时。我在现场测量过从数字人说出特定词到沙盘灯光亮起中间延时必须控制在300毫秒以内否则观众会明显感觉到“声画不同步”。解决办法是中控网关和全息仓之间走局域网有线连接不要走Wi-Fi同时把联动指令做成预解析而不是实时通过大模型生成。6.3 断网也要能跑是展厅设备的底线很多全息仓项目把大模型对话部署在云端一断网数字人就“哑了”。但展厅运营最怕的就是设备宕机尤其在中大型展会期间。聚辉触控这类的成熟方案会把基础讲解和常用问答做本地化部署云端大模型只作为增强选项。我在验收时专门要求拔掉外网测试基础讲解、触控、中控联动、固定问答是否全部正常。全部离线可用才允许签字交付。这里有一条经验展项设备宁可功能少一点也要保证稳定性。观众不会因为你功能少而失望但一定会因为设备“转圈圈”而失望。7. 联调阶段最容易翻车的五个细节以及我的处理办法五大技术单独看都有成熟方案但把它们装进同一个柜体联调才是真正的战场。我总结了项目现场最常出现的五类问题全部是自己踩过或眼见别人踩过的坑。7.1 光路与触控的对位精度光学玻璃和触控层是两个独立的物理层装配时如果没有锁定相对位置观众点击屏幕上的按钮实际触控坐标和显示位置会偏移。尤其是采用浮空触控时光栅平面和影像焦平面一旦错位手指“到了”但按钮没触发。处理办法设备出厂前必须做一次九点校准把触控坐标系和渲染坐标系统一到同一个原点。现场安装后还要再做一次校准。验收时要重点测试屏幕四角和边缘的点击准确度。7.2 柜体散热影响的是渲染性能前面提过显卡降频会导致画面卡顿。更深一层的问题是光学玻璃区域对温度很敏感柜内温度过高会导致玻璃轻微形变画面出现肉眼可见的扭曲。所以全息仓的散热设计不能只考虑主板和显卡还要考虑光路空间内的空气流动。建议在柜体顶部增加静音风扇保持对内正压同时防止灰尘进入光路。7.3 声音回授和啸叫最容易被忽略数字人的声音从柜体扬声器出来被麦克风阵列重新拾取如果AEC没调好轻则数字人说话有“电音感”重则形成啸叫展项直接变成噪声源。处理关键一是扬声器朝向和麦克风朝向在结构上错开二是严格设置回声消除参考信号三是在交互软件层面设置“数字人说话时降低拾音灵敏度”的优先级。7.4 多人同时操作的并发问题全息仓不像手机是单用户设备它天然面对多人围观场景。多个观众同时点击、同时说话系统要有明确的仲裁逻辑。我的做法是设定“当前交互者”概念第一个触控或语音唤醒的人获得当前控制权其他人输入进入待定状态数字人每轮讲解结束后释放控制权。这块逻辑看起来简单但如果没做现场会出现两个观众各点各的数字人左右为难、来回切换的滑稽场面。7.5 内容运营跟不上是“烂尾”的起点技术联调完成只是开始更大的坑在运营。很多展项交付时光鲜亮丽三个月后数字人还在讲旧版讲解词互动数据没人看内容更新流程不顺畅设备逐渐沦为摆设。所以我在项目验收清单里加了一项运营后台必须支持非技术人员自行更新讲解词、问答库和触控菜单且现场演示一次改词上线流程。这一项过不了我不签验收单。写在最后一句实在话如果你正打算给展厅上全息仓数字人我最大的建议是别把它当成一台“更炫的广告机”。它的价值在于和展厅动线、中控系统、内容运营长在一起成为真正有人格化引导能力的交互入口。聚辉触控这套方案给我留下的印象是工程完成度比较高尤其是联调细节考虑得比较周到但设备终归是工具最终好不好用还要看展厅方愿不愿意投入精力维护它、更新它、让数字人和参观者真正“聊起来”。我自己做过很多展项最深的体会是观众不会为技术买单只会为体验停留。 
长河君 · 2026/10/26 6:02:59 · 阅读 1.2k 全息仓数字人：五大技术打造展厅交互新入口
上周在客户那边验收一套展厅改造项目我绕着那台“聚辉触控全息仓数字人”转了好几圈。它立在大厅入口右侧一米多高的深色柜体正面像一块微微倾斜的玻璃里面站着一个半身数字人。人还没走近数字人就微笑着侧过身来说了句“欢迎来到科技馆”伸手往左一引旁边的沙盘同步亮起蓝色光带。我伸手在玻璃前方的空域点了一下某个菜单数字人立刻转向那个方向开始讲解。旁边一个上了年纪的参观者说了一句“这屏幕挺有意思”实际上那不是屏幕——真正让这个展项“活”起来的是五套技术在同一套柜体里协同工作。这个项目吸引我的原因很简单大多数展厅的互动屏已经让观众麻木了触控一体机和拼接屏做得再好本质上还是“一块屏幕”。而全息仓数字人把信息载体从“二维平面”变成了“空间中的一个形象”数字人悬浮在柜内能说话、能转身、能配合灯光和中控一起引导整个参观动线。这就是标题里说的“展厅交互新入口”——它既是信息入口、导览入口也是整个展厅智能中控的人形化入口。这篇内容我就按这五大技术一条一条拆开讲数字人怎么“活”起来、悬浮影像怎么实现、触摸交互怎么选型、语音链路怎么扛住现场噪音、最后怎么把全息仓和整个展厅联动成一套系统。中间会穿插我实际调试时踩过的坑以及我后来验证过的处理办法。如果你正在做展厅设计、展项集成或者准备上数字人设备这篇应该可以让你少走不少弯路。1. 全息仓数字人不是“投影加皮套”而是一套五层联动的系统工程很多甲方第一次见到全息仓数字人第一反应是“不就是把视频投到一块特殊玻璃上嘛”。这种理解不能算错但会把项目带偏。我在现场见过太多“看起来很炫但没人用”的展项根本原因就是只做了显示层没做交互层和联动层。聚辉触控这套方案之所以能成为展厅入口级的展项是因为它把五个技术模块完整地叠在了一个柜体里。1.1 从观众视角看一次完整的交互闭环是什么样先不讲技术参数我们把一次真实的观展过程从头到尾过一遍。观众从一个展区走向另一个展区经过全息仓大约三米位置柜体顶部的红外传感器检测到人体接近屏幕下方的状态灯条从待机蓝变成呼吸白数字人从站立姿态转过头来目光跟随观众移动。等观众走到柜体前方一到两米范围数字人主动抬手打招呼发出第一句问候语——这一句不是循环播放的录音而是根据时间、参观动线、甚至天气动态生成的。观众注意到玻璃上有一排半透明的悬浮按钮点击其中“智慧园区”的图标数字人立刻转身面向左侧的园区沙盘开始讲解核心功能区域。讲解过程中观众如果想要追问按下实体副屏上的语音键说一句“光伏装机容量是多少”数字人会在半秒内接过话头直接回答回答时还会配合指向沙盘上的相应区域。讲解结束观众离开感应区数字人欠身致意柜体恢复待机同时把这一次互动的时长、点击项、高频问题写进日志同步给展厅运营后台。这个闭环里已经包含了显示、渲染、触控、语音、感知、中控六项能力整理成系统模块就是下面这张表技术模块承担的角色观众可感知的效果数字人资产与实时渲染内容主体形象真实、动作流畅、口型对得上全息光学成像组件显示载体影像悬浮于柜体空间中没有屏幕边框感触控交互层操作入口点击菜单、滑动页面、选择展项语音交互与AI对话自然语言入口能听懂提问能开口回答多模态感知与中控联动系统协同自动唤醒、跟随目光、联动灯光与沙盘这五个模块单拎出来市场上都能找到成品供应商真正的技术门槛在集成——五层系统要在同一个柜体里互不干扰地工作。1.2 “入口”到底是什么意思和传统触控一体机差在哪传统展厅触控一体机的模型是“人找信息”观众走到屏幕前通过菜单点击寻找内容交互结束。全息仓数字人的模型是“信息找人”人还没到设备先感知到数字人先开口观众被声音和动态吸引过来再通过触控和语音进行深层次互动。这两种模型对应着完全不同的技术优先级。传统一体机只要保证屏幕亮、触摸灵敏就够了全息仓则必须保证感知的触发距离、数字人的响应延迟、光学成像的观看角度、语音拾音的指向性还有中控联动的同步时延。任何一个环节掉链子观众体验到的就不再是“科技感”而是“迟钝”或“失灵”。我在验收时特别注意了一个细节数字人在观众走近两米范围内时视线会跟着观众的水平移动偏移。这个功能看着不起眼但对“鲜活感”的提升非常明显。它来自感知层的毫米波雷达结合渲染层的视线追踪逻辑不是靠摄像头做视觉跟踪而是靠空间坐标换算。这也是这套方案在隐私方面处理得比较干净的地方展厅不需要录观众的脸。2. 让数字人“活”起来建模、绑定到实时渲染的取舍数字人是整个全息仓的视觉中心。观众可以接受屏幕上的平面内容不够精致但很难接受一个悬浮在空中的数字人是僵硬的。这一节讲核心技术里的第一块数字人的制作与实时渲染。2.1 形象风格怎么定写实、半写实还是偏设计感数字人形象直接决定展项的调性也决定制作成本。我经手过的展厅项目里超写实数字人只适合高端政企接待场景而且对渲染硬件要求极高一旦灯光和材质没调好很容易掉进恐怖谷。普通科技馆、产业园展厅、企业品牌馆我更推荐半写实或者带有设计感的数字人形象比如偏“虚拟主持人”风格。聚辉触控这套默认形象走的是半写实路线面部细节接近真人但皮肤质感和发型做了轻度风格化不会因为现场环境光变化而显得诡异。这个定位很聪明因为全息仓内的光学成像会损失一部分对比度和清晰度过分追求皮肤毛孔级细节观众实际看到的反而可能是一张泛白的脸。如果项目需要定制形象制作流程大致是角色概念设计——三维建模Maya/Blender/3ds Max——PBR贴图——骨骼绑定——表情绑定Blendshape——动作资源制作——导入实时引擎Unreal Engine或Unity。2.2 口型驱动和动作衔接是“活”的关键数字人开口说话时口型对不对得上是所有观众都会下意识注意到的点。静态建模再好口型延迟100毫秒观众立刻觉得“假”。目前行业主流做法有两类一类是语音驱动口型也就是在TTS返回音频的同时拿到每个音素的时长信息把音素映射到口型Blendshape权重上。Unreal引擎里的MetaHuman Audio2Face、NVIDIA的Audio2Face SDK都能做实时的音频驱动口型。另一类是预渲染动画配录音适合固定时长的欢迎语但对动态对话几乎不可用因为你不知道观众下一句会问什么。我在实际项目里综合两种方式固定欢迎语和开场白用预渲染高精度动画保证品质自由问答环节切到实时推理模式用TTS的木栓音素直接驱动口型再叠加一套待机动作层让数字人在说话间隙有轻微的呼吸起伏和视线偏移避免“打字机式”的僵硬输出。2.3 渲染硬件怎么配才不会现场翻车全息仓内部空间紧凑不可能装一台塔式服务器。我们调试时用的方案是柜体底部集成一台小型化工作站CPU用Intel i7或i9级别显卡至少要到RTX 4060以上内存32G起步。实时渲染分辨率通常在2K到4K之间输出经过光学成像之后清晰度会有一定折损所以渲染分辨率不能省。这里有个容易忽略的点柜体是半封闭的显卡满载时散热是大问题。我见过一台设备因为风道设计不合理运行二十分钟后显卡降频数字人帧率从60掉到30观众看到的就是“卡顿的虚拟人”。如果厂家没有做过满载热测试建议验收时连续跑一小时高负载对话场景看帧率是否稳定。3. 真正的难点在于让人看见“悬浮”全息光学方案怎么选全息仓和普通触摸一体机最大的视觉差异就是影像“悬浮”在空间里。这里面没有任何魔法本质上是光学成像方案的选择和调试。想做这个项目的朋友这一节建议重点看。3.1 佩珀尔幻象原理一块斜玻璃解决的事大部分全息仓采用的是经典佩珀尔幻象结构柜体内部放置一块与水平面呈45度角的高透光学镀膜玻璃显示源通常是高亮度屏或投影把数字人画面投射到玻璃上玻璃再把画面反射到观众视线方向。因为玻璃是透明的观众透过它看到的是柜体后壁的深色背景而反射的画面叠加在背景上就形成了“立体悬浮在柜内”的错觉。结构上通常有两个变体。一种是“正放式”显示屏朝上画面被45度玻璃反射向斜前方成像适合需要数字人站在柜体后部的场景。另一种是“倒置式”显示源放在上方向下投射到45度玻璃再反射出来适合把数字人布置在柜体前部视觉上更靠近观众互动感更强。聚辉触控用的是后一种数字人看起来离观众更近伸手去点触控按钮时影像和手指之间的空间关系更自然。3.2 不同光学方案的优缺点对比方案悬浮感亮度表现环境光抗性成本运维难度45度光学镀膜玻璃高亮屏强较好中中低全息膜贴在钢化玻璃上背投中较弱低低中透明OLED屏幕中有屏体强强高低雾面投影膜投影机中弱弱低高需遮光从用户长期运营角度看45度镀膜玻璃加高亮屏是性价比最稳的选择也是聚辉触控默认方案。它不需要像投影膜那样维护灯泡也不像透明OLED那样有屏幕边框穿帮的问题。缺点是对安装角度要求高玻璃一旦装歪画面重影和梯形畸变就会冒出来。3.3 环境光一强“悬浮”就变“鬼影”这是全息类展项最常见的死法。光学成像本质是反射环境光越强反射画面的对比度越低观众看到的就是一层淡淡的半透明人影也就是俗称的“鬼影”。现场如果正对落地窗或者展厅顶灯直射效果会非常惨。处理办法有几个层面首先是结构上把柜体放在展厅动线中较暗的区域或者在柜体前方加一圈微遮光沿其次是显示源亮度实测下来屏幕峰值亮度在800尼特以上才能勉强压住常规展厅400勒克斯左右的照度最后是光学玻璃本身采用带抗环境光镀膜的版本并配合柜内表面的吸光植绒处理。聚辉触控在现场调试时专门让灯光团队把柜体正上方的一组射灯调暗了两个档位整个悬浮感立刻提升一个档次。这个细节如果没有人提醒等设备到场才发现往往已经晚了。所以我在做展厅平面方案时会提前把全息仓的位置和灯光设计绑在一起出图而不是让展项去迁就灯位。4. 触控不止是“摸屏幕”红外、电容与浮空触控的展厅实测这块容易产生误区。全息仓里的数字人是悬浮影像不可能像普通触摸屏一样在画面上直接点击所以触控交互层是独立于光学成像之外的一套系统。选择哪种触控方案直接决定观众愿不愿意上手操作。4.1 三种常见的触控形态第一种是全息玻璃前面贴合电容触摸膜。就是在柜体正面那块玻璃上贴一层透明电容膜观众手指碰到玻璃时触发点击。这是最稳妥的方案灵敏度高和传统手机触控体验接近缺点是观众需要实打实地“摸”玻璃玻璃上容易留下指纹。第二种是红外触摸框。玻璃外围装一圈红外发射管和接收管手指靠近玻璃表面时遮挡红外线触发。优点是不用贴膜、戴手套也能操作缺点是边框会有一圈物理突起在全息仓这种讲求科技感的设计里会显得突兀。第三种是浮空触控也叫隔空触控。在柜体前方空间里构建一层红外光栅手指进入光栅区域不接触任何物理表面就能触发点击。这是视觉上最科幻的方案也是现场最容易翻车的方案。我在一个科技展厅里测试过浮空按钮的确认反馈很弱观众手指悬停时容易晃动误触率明显高于实体触控点按精准度也很难保证。4.2 我的选型结论把操作留给实体把沉浸留给全息聚辉触控这套全息仓采用了组合式交互观众和数字人对话、浏览菜单时用下方的实体触控副屏完成操作全息玻璃前方则保留了一个浮空确认按钮用于触发“开始讲解”这类高光动作。这样设计的好处是高频的菜单浏览用可靠触控低频的启动动作用浮空交互制造仪式感两者各取所长。如果你正在设计类似设备我的建议是不要为了“炫酷”把所有操作都做成隔空点击。观众在一个展品前停留的时间平均只有几十秒如果连点击一个按钮都要反复瞄准他很可能直接放弃操作展项就成了“只可远观”的摆设。实体触控屏加上合理的UI尺寸按钮不小于40×40像素才是保证实际使用率的底线。4.3 触控灵敏度调参的几个实测经验触控层的调试不是装上就能用有几个参数必须现场压测点击响应延迟控制在80毫秒以内超过这个值观众会感觉“迟钝”。长按抖动抑制阈值要调到合适区间尤其在玻璃表面手指按下时轻微滑动会造成误触需要加入按住确认逻辑。高温环境下的触控漂移要提前测。红外触摸框在强光照射下偶发误触发需要配合环境光传感器动态调整红外阈值。这些参数在出厂时通常给的是通用值到了现场必须根据柜体摆放位置、光线条件和观众人群儿童还是成人为主重新调一遍。我在验收时专门带了一组不同年龄的体验者做盲测让人分别点击最小按钮十次统计误触率低于百分之五才算过关。5. 数字人的“脑子”和“嘴”语音交互链路如何扛住展厅噪音观众对着一个悬浮数字人说话这本身就是交互设计里最有情感张力的一环。但语音交互模块往往也是全息仓里集成难度最高的一环。因为展厅不是安静的办公室这里有背景音乐、其他展项的声音、观众的嘈杂人声还有全息仓自己的散热风扇声。5.1 完整语音链路从拾音到数字人开口的三秒规则一套实用的语音链路包括麦克风阵列拾音——回声消除与降噪——语音识别ASR——语义理解NLU/大模型——业务知识库检索——语音合成TTS——口型驱动——数字人动作反馈。其中任何一个环节掉链子观众能直接感知到的就是“数字人反应慢”或者“答非所问”。我在现场定了一个目标从观众说完一句话到数字人开始开口回答间隔不超过1.5秒完整内容输出不超过3秒内开始。要做到这个水平ASR必须用流式识别TTS必须用首包低延迟方案数字人端还要预置过渡动作——比如点头、眼神回应让等待时间看起来是“思考”而不是“卡住”。5.2 展厅环境下的拾音方案别指望远场麦克风解决一切全息仓的交互距离通常是一到两米观众是站着说话的不能用近讲耳麦。设备内一般集成四麦或六麦环形阵列带波束成形能力。波束成形听起来很高级实际作用就是让麦克风“偏向”观众站立的方向同时抑制侧后方和顶部的环境噪声。但波束成型救不了所有问题尤其是数字人自己开口说话时声音会被麦克风再次拾进去形成回声和自激。所以语音链路里必须有高规格的AEC回声消除模块。我遇到过一台设备数字人说到一半突然自己重复了一遍刚才的话就是因为AEC参数在特定音量下失效。后来把TTS输出通道和麦克风输入通道做了硬件级隔离才算彻底解决。5.3 知识库与大模型的取舍数字人不是每个问题都能回答的它的知识边界必须可控。稳妥的做法是把展厅相关的讲解内容预先结构化成FAQ和结构化知识库观众提问先走检索式问答RAG把检索结果交给大模型组织语言再让TTS播报。这样设计的好处是数字人不会在公开场合说出不受控的内容。知识库的更新也要做成运营后台可配置而不是每次找开发改代码。我见过很多项目讲解词想改一句都得发需求单等技术排期运营体验非常差。好的做法是运营后台支持在线编辑问答对、批量导入Excel、一键发布数字人十分钟内同步使用新内容。6. 五感之外的联动多模态感知与中控系统如何串起整个展厅一个只会在柜体里说话的数字人还称不上“展厅交互入口”。真正让它变成入口的是和灯光、沙盘、屏幕、音响甚至闸机联动起来。这意味着全息仓不只是一台展项它还兼任展厅中控的一个终端节点。6.1 多模态感知谁来唤醒数字人谁来判断观众情绪全息仓的唤醒逻辑不能只靠一个传感器组合起来更可靠。我在项目里见到的主流配置是柜体顶部毫米波雷达做人员存在检测覆盖三到五米范围正面玻璃下方的红外对射做近场触发一到两米内再加上前端的触控副屏按钮做主动唤醒。这三层构成了一个状态机无人状态-接近状态-接待状态-讲解状态-休眠状态。状态机的好处是能避免多人同时在场景中的混乱。比如一个观众正在问问题旁边一个人走到感应区数字人不会被强行打断切换到另一套欢迎语而是要等当前交互逻辑运行完。联动方面还可以做人流分析。毫米波雷达的数据积累一段时间后可以给运营方提供参观热点时段、平均停留时长的统计这些数据对展项内容迭代很有用。6.2 中控联动灯光、沙盘、投影一起“听”数字人的话全息仓和中控系统的对接最常见的是HTTP/TCP/Modbus三种方式。全息仓内部跑一块边缘网关负责把数字人的讲解状态转换成中控指令。比如数字人讲到“智慧园区”时网关向中控系统发送一条指令中控系统再驱动沙盘灯光亮起、园区模型区域的LED点亮、对应宣传片在侧屏同步播放。我整理了一个简化的指令逻辑联调时可以照这个思路做讲解开始发送statusspeakingtopicsmart_park讲解切换章节发送topicsolar_energyhighlightsouth_area讲解结束发送statusend中控系统拿到这些字段之后按照预先配置好的场景联动规则执行。这套逻辑不难难的是延时。我在现场测量过从数字人说出特定词到沙盘灯光亮起中间延时必须控制在300毫秒以内否则观众会明显感觉到“声画不同步”。解决办法是中控网关和全息仓之间走局域网有线连接不要走Wi-Fi同时把联动指令做成预解析而不是实时通过大模型生成。6.3 断网也要能跑是展厅设备的底线很多全息仓项目把大模型对话部署在云端一断网数字人就“哑了”。但展厅运营最怕的就是设备宕机尤其在中大型展会期间。聚辉触控这类的成熟方案会把基础讲解和常用问答做本地化部署云端大模型只作为增强选项。我在验收时专门要求拔掉外网测试基础讲解、触控、中控联动、固定问答是否全部正常。全部离线可用才允许签字交付。这里有一条经验展项设备宁可功能少一点也要保证稳定性。观众不会因为你功能少而失望但一定会因为设备“转圈圈”而失望。7. 联调阶段最容易翻车的五个细节以及我的处理办法五大技术单独看都有成熟方案但把它们装进同一个柜体联调才是真正的战场。我总结了项目现场最常出现的五类问题全部是自己踩过或眼见别人踩过的坑。7.1 光路与触控的对位精度光学玻璃和触控层是两个独立的物理层装配时如果没有锁定相对位置观众点击屏幕上的按钮实际触控坐标和显示位置会偏移。尤其是采用浮空触控时光栅平面和影像焦平面一旦错位手指“到了”但按钮没触发。处理办法设备出厂前必须做一次九点校准把触控坐标系和渲染坐标系统一到同一个原点。现场安装后还要再做一次校准。验收时要重点测试屏幕四角和边缘的点击准确度。7.2 柜体散热影响的是渲染性能前面提过显卡降频会导致画面卡顿。更深一层的问题是光学玻璃区域对温度很敏感柜内温度过高会导致玻璃轻微形变画面出现肉眼可见的扭曲。所以全息仓的散热设计不能只考虑主板和显卡还要考虑光路空间内的空气流动。建议在柜体顶部增加静音风扇保持对内正压同时防止灰尘进入光路。7.3 声音回授和啸叫最容易被忽略数字人的声音从柜体扬声器出来被麦克风阵列重新拾取如果AEC没调好轻则数字人说话有“电音感”重则形成啸叫展项直接变成噪声源。处理关键一是扬声器朝向和麦克风朝向在结构上错开二是严格设置回声消除参考信号三是在交互软件层面设置“数字人说话时降低拾音灵敏度”的优先级。7.4 多人同时操作的并发问题全息仓不像手机是单用户设备它天然面对多人围观场景。多个观众同时点击、同时说话系统要有明确的仲裁逻辑。我的做法是设定“当前交互者”概念第一个触控或语音唤醒的人获得当前控制权其他人输入进入待定状态数字人每轮讲解结束后释放控制权。这块逻辑看起来简单但如果没做现场会出现两个观众各点各的数字人左右为难、来回切换的滑稽场面。7.5 内容运营跟不上是“烂尾”的起点技术联调完成只是开始更大的坑在运营。很多展项交付时光鲜亮丽三个月后数字人还在讲旧版讲解词互动数据没人看内容更新流程不顺畅设备逐渐沦为摆设。所以我在项目验收清单里加了一项运营后台必须支持非技术人员自行更新讲解词、问答库和触控菜单且现场演示一次改词上线流程。这一项过不了我不签验收单。写在最后一句实在话如果你正打算给展厅上全息仓数字人我最大的建议是别把它当成一台“更炫的广告机”。它的价值在于和展厅动线、中控系统、内容运营长在一起成为真正有人格化引导能力的交互入口。聚辉触控这套方案给我留下的印象是工程完成度比较高尤其是联调细节考虑得比较周到但设备终归是工具最终好不好用还要看展厅方愿不愿意投入精力维护它、更新它、让数字人和参观者真正“聊起来”。我自己做过很多展项最深的体会是观众不会为技术买单只会为体验停留。