简体中文 | English

一个基于C++11的高性能运营级流媒体服务框架

项目特点

• 基于C++11开发，避免使用裸指针，代码稳定可靠，性能优越。
• 支持多种协议(RTSP/RTMP/HLS/HTTP-FLV/WebSocket-FLV/GB28181/HTTP-TS/WebSocket-TS/HTTP-fMP4/WebSocket-fMP4/MP4/WebRTC),支持协议互转。
• 使用多路复用/多线程/异步网络IO模式开发，并发性能优越，支持海量客户端连接。
• 代码经过长期大量的稳定性、性能测试，已经在线上商用验证已久。
• 支持linux、macos、ios、android、windows全平台。
• 支持x86、arm、risc-v、mips、龙芯、申威等指令集平台。
• 支持画面秒开、极低延时(500毫秒内，最低可达100毫秒)。
• 提供完善的标准C API,可以作SDK用，或供其他语言调用。
• 提供完整的MediaServer服务器，可以免开发直接部署为商用服务器。
• 提供完善的restful api以及web hook，支持丰富的业务逻辑。
• 打通了视频监控协议栈与直播协议栈，对RTSP/RTMP支持都很完善。
• 功能完善，支持集群、按需转协议、按需推拉流、先播后推、断连续推等功能。
• 极致性能，单机10W级别播放器，100Gb/s级别io带宽能力。
• 极致体验，独家特性
• 谁在使用zlmediakit?
• 全面支持ipv6网络
• 支持多轨道模式(一个流中多个视频/音频)
• 全协议支持H264/H265/AAC/G711/OPUS/MP3/VP8/VP9/AV1，部分支持JPEG/H266/ADPCM/SVAC/G722/G723/G729/MP2

项目定位

• 移动嵌入式跨平台流媒体解决方案。
• 商用级流媒体服务器。
• 网络编程二次开发SDK。

功能清单

功能一览

• RTSP[S]

  • RTSP[S] 服务器，支持RTMP/MP4/HLS转RTSP[S],支持亚马逊echo show这样的设备
  • RTSP[S] 播放器，支持RTSP代理，支持生成静音音频
  • RTSP[S] 推流客户端与服务器
  • 支持 rtp over udp rtp over tcp rtp over http rtp组播 四种RTP传输方式
  • 服务器/客户端完整支持Basic/Digest方式的登录鉴权，全异步可配置化的鉴权接口
  • 支持H265编码
  • 服务器支持RTSP推流(包括rtp over udp rtp over tcp方式)
  • 支持H264/H265/AAC/G711/OPUS/MJPEG/MP3/VP8/VP9/AV1/MP2编码，其他编码能转发但不能转协议

• RTMP[S]

  • RTMP[S] 播放服务器，支持RTSP/MP4/HLS转RTMP
  • RTMP[S] 发布服务器，支持录制发布流
  • RTMP[S] 播放器，支持RTMP代理，支持生成静音音频
  • RTMP[S] 推流客户端
  • 支持http[s]-flv直播服务器
  • 支持http[s]-flv直播播放器
  • 支持websocket-flv直播
  • 支持H264/H265/AAC/G711/OPUS/MP3编码，其他编码能转发但不能转协议
  • 支持RTMP-H265
  • 支持RTMP-OPUS
  • 支持enhanced-rtmp(H265/VP8/VP9/AV1/OPUS)

• HLS

  • 支持HLS文件(mpegts/fmp4)生成，自带HTTP文件服务器
  • 通过cookie追踪技术，可以模拟HLS播放为长连接，可以实现HLS按需拉流、播放统计等业务
  • 支持HLS播发器，支持拉流HLS转rtsp/rtmp/mp4
  • 支持H264/H265/AAC/G711/OPUS/MP3/VP8/VP9/AV1/MP2编码
  • 支持多轨道模式

• TS

  • 支持http[s]-ts直播
  • 支持ws[s]-ts直播
  • 支持H264/H265/AAC/G711/OPUS/MP3/VP8/VP9/AV1/MP2编码
  • 支持多轨道模式

• fMP4

  • 支持http[s]-fmp4直播
  • 支持ws[s]-fmp4直播
  • 支持H264/H265/AAC/G711/OPUS/MJPEG/MP3/VP8/VP9/AV1/MP2编码
  • 支持多轨道模式

• HTTP[S]与WebSocket

  • 服务器支持目录索引生成,文件下载,表单提交请求
  • 客户端提供文件下载器(支持断点续传),接口请求器,文件上传器
  • 完整HTTP API服务器，可以作为web后台开发框架
  • 支持跨域访问
  • 支持http客户端、服务器cookie
  • 支持WebSocket服务器和客户端
  • 支持http文件访问鉴权

• GB28181与RTP推流

闭源专业版

在最新开源代码的基础，新增以下闭源专业版

• 音视频转码功能

  • 1、音视频间任意转码(包括h265/h264/opus/g711/aac/g722/g722.1/mp3/svac/vp8/vp9/av1等。
  • 2、基于配置文件的转码，支持设置比特率，codec类型等参数。
  • 3、基于http api的动态增减转码，支持设置比特率，分辨率倍数，codec类型、滤镜等参数。
  • 4、支持硬件、软件自适应转码。
  • 5、支持按需转码，有人观看才转码，支持透明转码模式，业务无需感知转码的存在，业务代码无需做任何调整。
  • 6、支持负载过高时，转码主动降低帧率且不花屏。
  • 7、支持滤镜，支持添加osd文本以及logo角标等能力。
  • 8、支持全GPU硬件编解码与滤镜，防止显存与内存频繁拷贝。

• JT1078部标版本

  • 1、支持接收jt1078推流转其他协议；自适应音视频共享seq和单独seq模式。
  • 2、支持jt1078级联，支持jt1078对讲。
  • 3、jt1078相关接口、端口和用法与GB28181用法一致，保持兼容。
  • 4、支持h264/h265/g711/aac/mp3/g721/g722/g723/g729/g726/adpcm等编码。

• IPTV版本

  • 1、支持rtsp-ts/hls/http-ts/rtp组播/udp组播拉流转协议，支持ts透传模式，无需解复用转rtsp-ts/hls/http-ts/srt协议。
  • 2、支持接收rtsp-ts/srt/rtp-ts推流，支持ts透传模式，无需解复用转rtsp-ts/hls/http-ts/srt协议。
  • 3、上述功能同时支持解复用ts为es流再转rtsp/rtmp/flv/http-ts/hls/hls-fmp4/mp4/fmp4/webrtc等协议。

• S3云存储

  • 支持s3/minio云存储内存流直接写入，解决录像文件io系统瓶颈问题
  • 支持直接通过zlmediakit的http服务下载和点播云存储文件。
  • 支持遍历云存储文件并生成http菜单网页。

• WebRTC集群

  • 支持rtc流量代理，解决k8s部署zlmediakit webrtc服务时，http信令交互与rtc流量打不到同一个pod实例的问题。

• AI推理

  • 支持yolo推理插件，支持人员、车辆等目标AI识别，支持目标跟踪，支持多边形布防，支持ocr，支持c++/python插件快速混合开发。
  • 支持tensorRT 全cuda加速推理。
  • 支持onnxruntime(cpu/gpu) 推理。
  • 支持ascend cann加速推理。
  • python插件支持调用c++接口操作流媒体与绘制当前视频画面。

• WebRTC mcu语音聊天室

  • 支持mcu多人语音聊天室，混音前支持背景噪声消除，静音不参与混音，解决超大规模多人语音聊天室sfu方案不可用的问题。
  • 支持100人语音连麦，上千人旁听级会议。

编译以及测试

编译前务必仔细参考wiki:快速开始操作!!!

怎么使用

你有三种方法使用ZLMediaKit，分别是：

• 1、使用c api，作为sdk使用，请参考这里.
• 2、作为独立的流媒体服务器使用，不想做c/c++开发的，可以参考 restful api 和 web hook.
• 3、如果想做c/c++开发，添加业务逻辑增加功能，可以参考这里的测试程序.

二进制文件下载

zlmediakit采用 github action 持续集成自动编译打包上传编译产出包，请在issue列表下载最新sdk库文件以及可执行文件。

Docker 镜像

你可以从Docker Hub下载已经编译好的镜像并启动它：

# 此镜像为github action 持续集成自动编译推送，跟代码(master分支)保持最新状态
docker run -id -p 1935:1935 -p 8080:80 -p 8443:443 -p 8554:554 -p 10000:10000 -p 10000:10000/udp -p 8000:8000/udp -p 9000:9000/udp zlmediakit/zlmediakit:master

# 此镜像为github action 持续集成自动编译推送，跟代码(master分支)保持最新状态, 并开启了pymkui后台管理系统，支持web管理界面
docker run -id -p 1935:1935 -p 8080:80 -p 8443:443 -p 8554:554 -p 10000:10000 -p 10000:10000/udp -p 8000:8000/udp -p 9000:9000/udp zlmediakit/zlmediakit:master_py

你也可以根据Dockerfile编译镜像：

bash build_docker_images.sh

合作项目

• 视频管理平台

  • wvp-GB28181-pro java实现的开箱即用的GB28181协议视频平台
  • AKStream c#实现的全功能的软NVR接口/GB28181平台
  • BXC_SipServer c++实现的国标GB28181流媒体信令服务器
  • gosip golang实现的GB28181服务器
  • FreeEhome golang实现的海康ehome服务器
  • 泉视视频监控系统 支持onvif、海康isup、大华sdk、jt808等协议接入视频管理系统

• 播放器

  • h265web.js 基于wasm支持H265的播放器，支持本项目多种专属协议
  • jessibuca 基于wasm支持H265的播放器
  • wsPlayer 基于MSE的websocket-fmp4播放器
  • BXC_gb28181Player C++开发的支持国标GB28181协议的视频流播放器
  • WebRTC-Vue-Demo zlmediakit webrtc播放器vue版本

• WEB管理网站

  • zlm_webassist 本项目配套的前后端分离web管理项目
  • AKStreamNVR 前后端分离web项目,支持webrtc播放
  • StreamUI 一个极简、轻便的视频流媒体管理平台
  • PyMKUI ZLMediaKit官方推出的管理平台网站

授权协议

本项目自有代码使用宽松的MIT协议，在保留版权信息的情况下可以自由应用于各自商用、非商业的项目。 但是本项目也零碎的使用了一些其他的开源代码，在商用的情况下请自行替代或剔除； 由于使用本项目而产生的商业纠纷或侵权行为一概与本项目及开发者无关，请自行承担法律风险。 在使用本项目代码时，也应该在授权协议中同时表明本项目依赖的第三方库的协议。

联系方式

• 邮箱：[email protected](本项目相关或流媒体相关问题请走issue流程，否则恕不邮件答复)

• 请关注微信公众号获取最新消息推送： <img src=https://user-images.githubusercontent.com/11495632/232451702-4c50bc72-84d8-4c94-af2b-57290088ba7a.png width=15% />

• 也可以自愿有偿加入知识星球咨询、获取资料以及加入微信技术群： <img src= https://user-images.githubusercontent.com/11495632/231946329-aa8517b0-3cf5-49cf-8c75-a93ed58cb9d2.png width=30% />

怎么提问？

如果要对项目有相关疑问，建议您这么做：

• 1、仔细看下readme、wiki，如果有必要可以查看下issue.
• 2、如果您的问题还没解决，可以提issue.
• 3、如果需要获取更及时贴心的技术支持，可以有偿加入知识星球.

特别感谢

本项目采用了老陈 的 media-server 库， 本项目的 ts/fmp4/mp4/ps 容器格式的复用解复用都依赖media-server库。在实现本项目诸多功能时，老陈多次给予了无私热情关键的帮助， 特此对他表示诚挚的感谢！

致谢

感谢以下各位对本项目包括但不限于代码贡献、问题反馈、资金捐赠等各种方式的支持！以下排名不分先后：

老陈 Gemfield 南冠彤 凹凸慢 chenxiaolei 史前小虫 清涩绿茶 3503207480 DroidChow 阿塞 火宣 γ瑞γミ linkingvision 茄子 好心情 浮沉 Xiaofeng Wang doodoocoder qingci swwheihei KKKKK5G Zhou Weimin Jim Jin 西瓜丶 MingZhuLiu

同时感谢JetBrains对开源项目的支持，本项目使用CLion开发与调试：

使用案例

本项目已经得到不少公司和个人开发者的认可，据作者不完全统计， 使用本项目的公司包括知名的互联网巨头、国内排名前列的云服务公司、多家知名的AI独角兽公司， 以及一系列中小型公司。使用者可以通过在 issue 上粘贴公司的大名和相关项目介绍为本项目背书，感谢支持！