SmartMediaKit HarmonyOS NEXT超低延迟直播解决方案

面向 HarmonyOS NEXT 的采集、推流、播放、录像一体化实时音视频能力

大牛直播SDK(SmartMediaKit)面向 HarmonyOS NEXT 平台,提供 RTMP直播推流、轻量级RTSP服务、GB28181国标设备接入、RTSP直播播放、RTMP直播播放、实时录像与快照等核心能力,帮助开发者快速构建稳定、低延迟、易集成的鸿蒙NEXT实时音视频应用。

方案适用于无纸化会议、移动执法、远程巡检、安防监控、工业可视化、应急指挥、远程医疗、电子教室、智慧工地、车载终端、无人机巡检等行业场景,可满足鸿蒙NEXT终端在采集、编码、推流、分发、播放、录像、快照、国标平台接入等环节的实时音视频能力建设需求。


方案概述

大牛直播SDK 鸿蒙NEXT直播解决方案围绕实时音视频业务中的核心链路设计,覆盖从端侧采集、直播推流、局域网分发、国标平台接入,到远程播放、本地录像和快照留存的完整能力。

方案支持鸿蒙NEXT终端作为采集端,将屏幕、麦克风、系统音等数据编码后,通过 RTMP 推送至直播服务器,也可通过轻量级 RTSP 服务在局域网内直接分发;对于需要接入安防监管、移动执法、应急指挥等行业平台的场景,鸿蒙NEXT终端还可通过 GB28181 国标设备接入模块,以国标前端设备形态接入现有视频平台。

同时,鸿蒙NEXT终端也可以作为播放端,拉取 RTSP/RTMP 实时流并完成低延迟播放、播放端录像和快照,满足监控预览、远程调度、业务系统嵌入式播放等需求。


方案架构

方案采用 ArkTS + NAPI + Native C/C++ 的分层集成方式。

业务层负责页面交互、权限申请、参数配置、状态展示和业务流程编排;SDK层负责音视频采集、编码、协议封装、RTMP推流、RTSP服务、GB28181接入、播放解码、渲染、录像、快照和事件回调等底层能力。

整体架构可概括为:

  • 业务应用层:页面交互、权限申请、参数配置、状态展示、业务流程编排;
  • ArkTS 接入层:上层接口封装、事件分发、业务状态管理;
  • NAPI 桥接层:ArkTS 与 Native SDK 通信;
  • Native SDK 内核层:采集、编码、协议封装、播放解码、录像、快照;
  • 业务能力层:RTMP推流、轻量级RTSP服务、GB28181接入、RTSP/RTMP播放、本地录像与快照。

通过分层设计,业务侧无需深入处理复杂的音视频采集、编解码、协议封装、播放渲染和跨线程资源管理等底层细节,可更专注于行业应用自身的业务逻辑。


核心能力

RTMP 直播推流

RTMP 直播推流模块支持鸿蒙NEXT终端采集屏幕、麦克风、系统音,并将编码后的音视频数据通过 RTMP 协议推送到直播服务器。

能力特点:

  • 支持屏幕采集推流;
  • 支持麦克风、系统音采集;
  • 支持系统音与麦克风混音;
  • 支持 H.264/H.265 编码;
  • 支持软编码、硬编码及 Surface 模式;
  • 支持低延迟 RTMP 推送;
  • 支持推流状态事件回调;
  • 可与录像、轻量级 RTSP 服务并行运行。

适用场景:

无纸化会议、移动执法、远程巡检、电子教室、应急现场回传、工业终端画面上云等。


轻量级 RTSP 服务

轻量级 RTSP 服务模块可在鸿蒙NEXT终端本地启动 RTSP Server,将当前采集编码后的实时音视频流在局域网内分发,无需额外部署独立 RTSP 服务端。

能力特点:

  • 终端侧内置 RTSP 服务;
  • 支持自定义服务端口;
  • 支持自定义流名称;
  • 支持生成 RTSP 播放地址;
  • 支持局域网低延迟分发;
  • 可与 RTMP 推流、本地录像共用同一采集编码链路。

适用场景:

会议大屏观看、局域网同屏、电子教室、内网视频分发、专网预览、巡检现场局域网查看等。


GB28181 国标设备接入

GB28181 国标设备接入模块支持鸿蒙NEXT终端以国标前端设备形态接入现有 GB28181 视频平台,实现屏幕、麦克风等实时音视频数据通过国标链路上报,可用于移动执法、应急指挥、车载终端、无人机巡检、智慧工地、工业巡检等行业场景。

模块采用信令与媒体传输分离的架构设计:SIP 信令层负责设备注册、心跳保活、目录上报与会话协商;媒体层负责音视频编码后的 PS 封装与 RTP 传输。方案在鸿蒙NEXT平台下采用 ArkTS + NAPI + Native SDK 的分层集成方式,业务侧负责平台参数配置、状态展示和流程编排,SDK侧复用既有音视频采集、编码、PS封装和RTP发送能力,降低业务侧国标接入和音视频底层开发复杂度。

能力特点:

  • 支持主动注册 GB28181 国标平台;
  • 支持 SIP REGISTER 注册与心跳保活;
  • 支持目录上报与设备能力信息同步;
  • 支持平台按需触发实时音视频上报;
  • 支持 INVITE 会话协商流程;
  • 支持 H.264/H.265 编码后 PS 封装与 RTP 发送;
  • 支持屏幕采集数据接入国标平台;
  • 支持麦克风音频采集与国标音频链路对接;
  • 支持 UDP/TCP 等媒体传输方式;
  • 支持移动位置上报;
  • 支持语音广播等扩展能力;
  • 支持按需打开或关闭采集传输,空闲时维持平台注册与心跳状态;
  • 可与 RTMP 推流、轻量级 RTSP 服务、本地录像模块组合运行。

适用场景:

移动执法、智能安全帽、车载终端、无人机巡检、智慧工地、工业巡检、应急指挥、安防监控、远程医疗、无纸化会议等需要接入国标视频平台的鸿蒙NEXT行业终端应用。


RTSP 直播播放

RTSP 直播播放器模块支持在鸿蒙NEXT应用中拉取并播放 RTSP 实时流,可对接 IPC、NVR、边缘网关、轻量级 RTSP 服务等视频源。

能力特点:

  • 支持 RTSP 实时播放;
  • 支持低延迟播放;
  • 支持 TCP/UDP 模式;
  • 支持 TCP/UDP 自动切换;
  • 支持 RTSP 鉴权;
  • 支持播放缓冲控制;
  • 支持 XComponent Surface 渲染;
  • 支持播放端录像和快照;
  • 支持分辨率、下载速度、播放状态回调。

适用场景:

安防监控、工业巡检、机器人视觉、局域网视频预览、指挥调度终端、视频监控移动端等。


RTMP 直播播放

RTMP 直播播放器模块支持鸿蒙NEXT应用拉取 RTMP 直播流,适用于直播观看、远程同屏接收、业务平台视频预览等场景。

能力特点:

  • 支持 RTMP 实时播放;
  • 支持低延迟播放模式;
  • 支持快速启动;
  • 支持播放缓冲设置;
  • 支持 H.264/H.265 播放;
  • 支持播放状态事件回调;
  • 支持下载速度上报;
  • 支持播放端录像与快照。

适用场景:

会议直播观看、远程同屏接收、指挥中心移动端、业务系统视频预览、推流测试和调试播放等。


录像与快照

录像模块可与推流端、播放端灵活组合,实现实时音视频本地留档。快照模块可在采集或播放过程中保存关键画面,便于取证、复盘和业务归档。

能力特点:

  • 支持推流端录像;
  • 支持播放端录像;
  • 支持 MP4 文件保存;
  • 支持录像目录配置;
  • 支持录像文件大小控制;
  • 支持音频、视频录像开关;
  • 支持录像开始、文件完成事件回调;
  • 支持关键画面快照保存。

适用场景:

会议留档、执法取证、巡检记录、远程会诊资料保存、直播备份、异常现场复盘等。


推荐模块组合


典型应用场景

无纸化会议

鸿蒙NEXT终端可采集屏幕内容、系统音和麦克风声音,通过 RTMP 推送至会议服务器,也可通过轻量级 RTSP 服务在局域网内分发给会议大屏或其他终端。

方案价值:

  • 支持屏幕内容实时共享;
  • 支持系统音与讲解声音同步传输;
  • 支持局域网低延迟观看;
  • 支持会议过程本地录像留档。

移动执法

鸿蒙NEXT移动执法终端可通过 GB28181 国标设备接入模块,以国标前端设备形态接入指挥中心或监管平台。平台侧按需发起实时点播后,终端可将屏幕画面、现场音频等数据通过国标链路上报;空闲状态下仅维持平台注册和心跳保活,兼顾在线状态维护与资源占用控制。

同时,终端还可根据业务需要并行通过 RTMP 推送至直播服务器,或通过轻量级 RTSP 服务在局域网内分发给现场大屏、指挥终端和协同设备,并同步进行本地录像留档,形成“国标接入 + 直播回传 + 局域网分发 + 本地留痕”的多链路执法音视频采集与回传体系。

方案价值:

  • 支持现场过程实时回传;
  • 支持远程指挥调度;
  • 支持执法过程可视化留痕;
  • 支持本地录像取证。

远程巡检

巡检终端可将屏幕画面、系统状态和现场音频实时传输至远程平台,也可在局域网内通过 RTSP 服务分发给现场大屏或控制终端。

方案价值:

  • 支持远程查看现场状态;
  • 支持低延迟视频回传;
  • 支持过程录像与问题复盘;
  • 便于跨区域协同处理。

安防监控

鸿蒙NEXT应用可通过 RTSP 播放模块接入 IPC、NVR、边缘网关或轻量级 RTSP 服务输出的视频流,实现实时预览、录像和快照。

方案价值:

  • 支持 RTSP 低延迟播放;
  • 支持 TCP/UDP 灵活切换;
  • 支持播放端录像和快照;
  • 适合监控预览、巡检和指挥场景。

方案优势

模块完整

覆盖采集、编码、推流、RTSP服务、播放、录像和快照等核心能力,开发者可按业务需求灵活组合。

低延迟设计

面向同屏、直播、监控、会议、巡检等实时音视频场景设计,支持低延迟推流、低延迟播放、缓冲控制和快速启动。

原生鸿蒙集成

支持 ArkTS、NAPI 与 Native C/C++ 集成,适合 HarmonyOS NEXT 原生应用开发,便于集成到现有业务工程。

多链路复用

RTMP 推流、轻量级 RTSP 服务和本地录像可复用同一套采集编码链路,减少重复采集和重复编码带来的资源开销。

行业场景适配

方案适用于政企、安防、会议、工业、医疗、教育、应急等行业应用,可作为鸿蒙NEXT实时音视频能力底座。


集成方式

大牛直播SDK 鸿蒙NEXT方案采用 ArkTS + NAPI + Native SDK 的分层集成模式,在保持鸿蒙NEXT原生开发体验的同时,将复杂的音视频能力下沉到SDK内核,降低业务侧接入和维护成本。

在该模式下,业务侧主要负责页面交互、权限申请、参数配置、状态展示和业务流程编排;SDK侧负责屏幕采集、音频采集、音视频编码、RTMP推流、RTSP服务、GB28181接入、RTSP/RTMP播放、播放渲染、本地录像、快照以及事件回调等底层能力。

对于 GB28181 接入场景,业务侧主要负责平台参数配置、设备信息管理、状态展示、事件处理和业务链路编排;SDK侧负责注册、心跳、目录上报、平台点播、媒体发送、语音广播、位置上报、设备控制事件回调和异常恢复等能力。

通过清晰的分层设计,开发者可以更专注于业务功能实现,无需深入处理复杂的音视频采集、编解码、协议封装、国标信令处理和跨线程资源管理等底层细节,从而提升鸿蒙NEXT实时音视频应用的开发效率和稳定性。

大牛直播SDK(SmartMediaKit)鸿蒙NEXT同屏RTMP推流与轻量级RTSP服务集成实践指南

大牛直播SDK(SmartMediaKit)鸿蒙NEXT RTSP/RTMP低延迟播放器集成与实践指南

鸿蒙NEXT如何接入GB28181平台?SmartMediaKit 设备接入集成实践


总结

大牛直播SDK(SmartMediaKit)鸿蒙NEXT直播解决方案,围绕 RTMP直播推流、轻量级RTSP服务、GB28181国标设备接入、RTSP直播播放、RTMP直播播放、录像与快照等模块,提供了一套轻量、稳定、可集成的实时音视频能力。

开发者可基于该方案快速构建鸿蒙NEXT平台下的同屏推送、局域网分发、国标平台接入、远程播放、本地录像和行业音视频应用,降低底层音视频开发成本,加快产品落地。