展厅人形机器人，自适应智能导览系统
面向大型展厅与接待空间，把“固定路线 + 固定时长”的机械导览，升级为多模态感知驱动、语义可跳转、停留时长自适应、展陈设备可联动的具身智能服务系统。
可控、可审计、可降级
把访客行为、语义意图、空间导航与展厅设备状态，收敛到一个可控、可审计、可降级的实时任务闭环：体验优先但流程受控，允许智能判断但禁止越权，后台异常时保留基础导览能力。
- 导览点位
- 20+POI
- 点位语义映射、路径关联、独立启停与自定义排序
- 导览模式
- 3种
- 自动巡回、语义自由导览、点位交互体验联动
- 设备联动
- 双向
- 主动下发展项指令，同时读取设备在线、故障与播放状态
- 异常兜底
- 4级
- 智能重试、本地兜底、后台告警、人工待命
目标运行形态
自主值守
迎宾、巡展、返航、换电与空闲等待。
自由导览
自然语言指定点位、暂停、继续与切换。
动态停留
根据体验状态而非固定倒计时决定节奏。
设备联动
视频播放、设备开关、状态读取与异常话术。
核心能力
- 01
多模态访客状态识别
融合视觉存在、停留、离场与语音反馈，识别体验中、完成、观望、离开等状态。
- 02
语义点位路由
覆盖点位名称、别名、口语表达与模糊指令，将自然语言稳定映射到空间目标。
- 03
实时任务状态机
迎宾、导航、讲解、互动、设备联动与异常处理由确定性状态机约束。
- 04
设备控制安全域
预设指令白名单、权限分级、状态回执、超时终止、日志审计与离线降级。
系统边界
- 仅执行预设讲解、引导与设备控制指令。
- 不自主修改设备参数、权限或讲解内容。
- 访客音视频仅用于实时识别，服务结束后销毁。
- 异常进入重试、降级、告警或人工接管流程。
感知、认知、编排、执行四层闭环
LLM / VLM 不直接控制机器人或展厅设备；推理结果必须进入 FSM / Behavior Tree、权限策略与安全执行器，任何智能判断都落到状态、事件、守卫条件、动作与异常出口等可验收对象上。
现场业务闭环
围绕“导览机器人 + 展陈点位 + 现场后台”构建闭环：机器人负责现场实时闭环，后台负责配置、联动、可观测性与运维。
- Experience
访客与展厅环境
- 语音指令、点位选择
- 驻足、观看、操作、离场
- 人流、遮挡、噪声、回声
- Robot Runtime
现场导览机器人
- VAD / ASR / VLM 多模态感知
- SLAM 建图、AMCL 定位、Nav2 导航
- FSM 任务编排与动态停留
- TTS、动作表达与安全执行
- Site Backend
现场后台与运维平台
- POI、路线、话术与阈值配置
- 设备状态镜像与控制接口
- 日志、告警、报表与远程诊断
- 版本发布、灰度与回滚
- Exhibition Devices
展陈设备与互动终端
- 视频播放、设备开关机
- 预设动作与点位联动
- 在线、故障、播放完成回执
- Local Data
机器人本地服务与缓存
- 地图、POI、基础话术本地缓存
- 后台离线时保留基础导览
- 日志暂存与恢复后补传
- Operator
现场运营人员
- 启动 / 停止导览
- 确认告警与人工接管
- 日常巡检和内容维护
运行时智能链
访客与展陈场景
Experience Plane- 访客行为事件：驻足、操作、离场、跟随、提问、点位指令
- 声学环境：多人交谈、空间回声、设备运行噪声
- 空间环境：人流、临时遮挡、禁行区、地面条件
- 互动展项：视频终端、展示设备、体验装置
人形机器人边缘层
Robot Edge- 视觉 / 语音感知：VAD、DOA、ASR、目标检测与多模态状态融合
- SLAM 导航建图：2D/3D LiDAR SLAM、AMCL 定位、POI 与禁行区语义地图
- Nav2 路径规划与避障：A* / Dijkstra 全局规划，DWA / TEB 局部规划与动态重规划
- 运动 / 语音执行：低速平稳行走、启停、播报、动作表达
- 本地最小服务集：后台离线时仍可讲解、导航与值守
多模态认知层
Cognitive Layer- NLU / VLM 状态融合：意图识别、视觉行为状态与上下文置信度融合
- 语义路由与 RAG：名称、别名、口语指令经向量召回映射至唯一 POI ID
- 知识约束问答：仅回答展品、规则、亮点与导览相关问题
- 动态停留判定：体验中延长，结束收尾，离场终止，空置掠过
- 对话护栏：无关话题轻量应答后快速回归导览主线
任务编排与控制层
Orchestration- FSM / Behavior Tree：值守 → 迎宾 → 导航 → 讲解 → 互动 → 下一点位
- Route Graph / POI Scheduler：默认路线、自定义路线、单点启停与语义跳转
- 设备控制策略：抵达触发、语音触发、后台触发条件
- Action Server / Safety Executor：RBAC、幂等键、超时、ACK 回执与失败终止
- 异常策略引擎：二次问询、重规划、功能降级、告警与待命
从访客事件到机器人动作
- 01
感知事件
语音 / 视觉 / 导航
- 02
状态融合
意图 + 体验状态
- 03
任务决策
FSM + Guard Conditions
- 04
安全执行
RBAC + Idempotency + Timeout
- 05
结果回执
ACK + TraceID + Audit
LLM / VLM 负责理解，FSM / BT 负责约束，Safety Executor 负责执行。
事件驱动的导览状态机
把不固定时长的体验转化为可解释、可测试的事件驱动状态机：感知事件经分层状态机（HFSM）、守卫条件与事件总线编排后，再进入带 ACK 回执的设备命令管线。
导览任务状态机
- S0
定点值守
检测访客，等待任务。
- S1
主动迎宾
问候，发出常规导览邀请。
- D1
意图解析
默认巡展、指定点位或暂停。
- S2
路线调度 / 语义点位路由
默认或自定义路线；别名与口语表达映射到 POI ID。
- S3
导航执行
SLAM / AMCL 定位，Nav2 规划，DWA / TEB 避障。
- S4
抵达确认
位置成立，点位可服务。
- S5
讲解与体验引导
标准讲解、操作提示与设备联动。
- D2
访客状态融合
视觉 + 语音 + 停留状态，决定延长、收尾、前往下一点位或返回值守。
多模态停留策略
由 VLM 与规则引擎共同判定访客状态，再决定系统动作。
状态机事件输入
四级异常闭环
- 01
语义不清
二次问询确认意图。
- 02
路径受阻
Nav2 自动重规划。
- 03
后台离线
本地缓存保留基础导览。
- 04
连续失败
熔断告警，进入安全值守。
设备命令管线
- 01
抵达点触发事件
- 02
点位 / 设备 / 权限校验
- 03
下发播放 / 开关机指令
- 04
读取在线 / 故障 / 完成
- 05
任务状态 / 流程适配
- 06
审计请求 / 结果落库
设备动作必须经过策略校验、白名单授权、状态回执、失败终止和全链审计。
双向接口、状态镜像与数据闭环
以 API Gateway、Device Shadow、Event Bus 与 TraceID 构建可配置、可追踪、可回归、可降级的现场生产系统：网关隔离设备差异，状态镜像驱动流程，全链追踪与事件溯源支撑验收和运维。
- Integration Bus
集成与控制总线
- API Gateway / SDK Adapter：REST、WebSocket、MQTT 按厂商能力进行协议适配
- Device Shadow：设备在线、故障、播放态与版本状态的数字映射
- Command Bus / RPC：视频播放、设备开关机与预设动作调用
- Event Bus / Alarm：导航失败、接口超时、设备离线与任务异常事件
- OpenTelemetry / TraceID：请求、操作者、点位、设备、结果与时间戳全链追踪
- Site Systems
展厅后台与运维
- Device Registry / CMDB：终端身份、在线状态、故障状态与控制能力清单
- POI Graph / Route Config：点位增删、拓扑排序、阈值、路线与启停策略
- CMS / Prompt Config：讲解内容、体验引导、异常提示与知识边界配置
- Observability Dashboard：导览场次、停留时长、联动成功率与异常日志
- OTA / Remote Ops：告警、诊断、参数更新、版本发布与权限管理
- Data / Model Loop
数据与模型闭环
- Event Sourcing / Time Series：任务、点位、状态、动作、结果与事件时间线
- Failure Replay / Dataset：误识别、误跳转、SLAM 漂移、导航与联动失败切片
- RAG / Vector DB：别名库、向量召回、置信度阈值与流程策略优化
- Digital Twin / SIL-HIL：软件在环、硬件在环与关键异常链路回归验证
- Canary / Rollback：配置灰度、版本回滚、变更追踪与问题定位
双向系统接口
数据与模型闭环
- 01
事件采集
语音 / 视觉 / 导航 / 设备
- 02
结构化日志
任务、状态、动作、结果
- 03
问题切片
误识别、误跳转、失败联动
- 04
规则 / 模型优化
语义、阈值、话术、策略
- 05
仿真与回归
部署前验证关键链路
控制护栏
指令白名单
仅开放预设动作。
权限分级
禁止越权扩展。
幂等防重复
避免重复触发。
超时即终止
失败不继续扩散。
安全与运维
最小权限
仅执行预设指令。
数据最小化
实时使用后销毁。
内网与加密
私有化部署与链路加密。
全链审计
命令与结果可查询。
故障隔离
离线时保留导览。
人工接管
异常时安全值守。
从代表点位验证到全展厅稳定运营
以能力闭环为门槛推进。具体周期与量化阈值需由客户、机器人厂家与研发团队三方评审后固化，以下为可直接用于立项评审的工程框架。
实施阶段
- Gate 0
实施基线确认
点位、平面图、禁行区、设备清单、接口能力与验收口径一次性对齐。输出三方确认基线与风险清单。
- Phase 1
概念验证 POC
打通“语义指定 → 导航 → 讲解互动 → 动态停留 → 设备控制 → 回执审计”最小闭环。门槛：核心链路可重复，异常有出口。
- Phase 2
全场景试点
完成全部点位、全路线、噪声与人流调优、后台双向联调、压力与断网降级测试。门槛：真实环境连续运行与运营验证。
- Phase 3
规模化运营
平台化配置、多设备管理、远程更新、异常告警、运营统计与持续优化。门槛：可复制、可运维、可审计。
16 周交付排期（单机）
T0 为项目正式启动日。单机范围为 1 台指定机器人，不含多机器人调度与集群管理；现场测试需保证真机专用时段。
验收对象与通过证据
风险与应对
项目成功标准：形成可持续运行、可定位问题、可安全降级的现场生产系统。
欢迎致电 135 8442 1800，沟通您的导览讲解项目需求。
让您的机器人项目，
从这里开始。
聊聊您的应用需求，一起梳理产品选型与项目方向。