|
本次蓝海AIoT一站式工作台深度集成海康文搜型 NVR 的“以文搜图"能力,基于多模态大模型实现文本语义与视觉内容的跨模态关联检索,将监控图片检索由“标签筛选”升级为“自然语言语义检索”。在保障数据合规与隐私安全的前提下,本次接入也有助于提升特定场所与授权场景中的事后溯源、安全巡检等效率,服务于合法合规的业务管理与核查。
文搜型 NVR 与蓝海 AIoT 一站式工作台构成“设备+平台”的完整能力链:设备侧提供以文搜图的图像语义理解能力,平台侧提供应用的一站式生成能力。已部署海康文搜型 NVR 的用户无需重新开发,仅需组合平台预置技能并以自然语言描述业务需求,即可一站式生成 Web、Android、iOS、小程序各端完整应用,无需理解底层检索机制。
从"标签筛选"到"以文搜图"
检索不再受限于“人、机动车、非机动车”等预置标签,用户可用自然语言描述目标的属性、着装、携带物与行为特征(如“红色的轿车”、“在高危作业区未佩戴安全帽的作业人员”),实现定位。
典型行业应用场景 基于“文搜型 NVR + 蓝海 AIoT 一站式工作台”,以下应用均可通过组合技能与自然语言描述生成,无需研发投入复杂的设备接口对接与协议开发:
交通枢纽的车辆与失物溯源 地铁站、高铁站、机场等枢纽点位密集、车流与物流频繁,管理人员需从监控中定位特定合规与安全事件(如“出入口停放的红色违规车辆”、“遗留的黑色行李箱”),配合场地调度管理与遗失物查找。输入自然语言描述后,系统自动跨站点、跨时段检索,显著缩短人工调阅与溯源周期。
工地场景的安全生产合规检查 高危作业区域与生产车间需实时检查施工安全与合规操作(如“未佩戴安全帽的作业人员”、“未穿防护服的入场人员”)。安监人员输入描述即可跨区域快速检索与合规复盘,提升安全隐患排查效率,降低生产风险。 智慧园区的设施与安全通道检索 园区部署上百路监控点位,管理人员需快速核查公共区域的设施状态与安全隐患(如“占用消防通道的推车”、“黄色的维修工具箱”)。Web 端输入查询语句,即可秒级返回匹配画面,快速完成对园区安全与环境合规的自动化巡查。
连锁零售的门店环境分析 连锁品牌门店需分析门店资产防损与标准化陈列(如“收银台遗落的黄色购物袋/物品”、“未归位的购物车”)。门店端提交检索、总部端批量分析并导出数据,多端协同支撑运营巡检与防盗损决策。
上述应用无需研发逐项对接设备协议、编写检索逻辑与多端适配代码,由平台依据技能组合与自然语言描述自动生成完整应用。同时,所有生成的应用均内置严密的权限控制,确保技术使用符合法律法规与隐私保护要求。
“以文搜图”技能链路详解 上述应用的底层支撑,是工作台将检索全链路沉淀而成的标准化技能,按检索任务生命周期组织如下:
检索输入层——查询语义构建 检索执行层——任务调度与匹配 检索沉淀层——数据资产化
各端视频技能(按需叠加) 在核心技能之上叠加对应平台的视频取流与播放技能,即可生成该端完整应用,各端均支持 NVR 多通道实时预览与录像回放(本地录像 / 云存储录像双回放源、自定义时间段回放)。
三步生成,全栈自动化 新采购设备与存量设备接入流程一致,三步即可完成应用全栈生成:
选择技能:勾选 NVR 核心技能(设备管理、设备控制、海康设备远程配置、NVR 告警事件、云存储),并按目标平台叠加对应端视频技能与"以文搜图"专属技能。 描述需求:以自然语言描述业务场景并选择输出平台。例如:“做一个图片智能检索系统,Web 端和小程序端支持用自然语言搜索监控图片、查看搜索进度与匹配图片,并播放对应录像片段。” AI 生成:AI 自动完成设备对接、前端界面、后端服务的全栈代码生成,一次生成多端应用。
萤石开放平台将持续完善行业设备能力开放,以 AI 驱动的一站式应用生成能力,提升视频类解决方案的落地效率。本次新增的海康文搜型 NVR 接入能力,进一步拓展了智能硬件生态版图,有效降低设备对接门槛,加速各类智能检索应用的落地交付。
更多行业设备技能,欢迎关注【萤石云开放平台】公众号,获取最新发布。 |