如何在Android上实现RTSP服务器

技术背景

在Android上实现RTSP服务器确实是一个不太常见的需求，因为Android平台主要是为客户端应用设计的。在一些内网场景下，我们更希望把安卓终端或开发板，作为一个IPC（网络摄像机）一样，对外提供个拉流的rtsp url，然后把摄像头麦克风甚至屏幕采集的数据，共享出去，轻量级RTSP的设计理念脱颖而出。

轻量级RTSP服务设计初衷，就是避免用户单独部署RTSP或者RTMP服务，实现本地的音视频数据（如摄像头、麦克风），编码后，汇聚到内置RTSP服务，对外提供可供拉流的RTSP URL，轻量级RTSP服务，适用于内网环境下，对并发要求不高的场景，支持H.264/H.265，支持RTSP鉴权、单播、组播模式，考虑到单个服务承载能力，我们支持同时创建多个RTSP服务，并支持获取当前RTSP服务会话连接数。

如何实现RTSP服务器

如果你找不到合适的库，或者需要更高级的功能，你可以考虑编写自己的RTSP服务器：

  • 了解RTSP协议：首先，你需要深入了解RTSP协议的工作原理，包括其消息格式、会话管理和流控制机制。
  • 网络编程：在Android上，你可以使用Java的Socket API来处理网络通信，也可以直接底层实现，然后对上提供jni的接口。你需要编写代码来监听端口、接收RTSP请求、解析请求并发送响应。
  • 媒体处理：RTSP服务器需要能够捕获、编码和传输媒体数据。你可以使用Android的Camera或Camera2的API来捕获视频，并使用FFmpeg或Android的MediaCodec API来实现音视频数据编码。
  • 多线程和并发：RTSP服务器需要处理多个并发客户端连接。你可以使用Java的线程或并发API来管理这些连接。

功能设计

一个完整的RTSP服务，需要设计的功能如下：

  •  ​[视频格式]H.264/H.265(Android H.265硬编码)；
  •  [音频格式]G.711 A律、AAC；
  • 协议：RTSP；
  •  [音量调节]Android平台采集端支持实时音量调节；
  •  [H.264硬编码]支持H.264特定机型硬编码；
  •  [H.265硬编码]支持H.265特定机型硬编码；
  • [音视频]支持纯音频/纯视频/音视频；
  • [摄像头]支持采集过程中，前后摄像头实时切换；
  • 支持帧率、关键帧间隔(GOP)、码率(bit-rate)设置；
  • [实时水印]支持动态文字水印、png水印；
  • [实时快照]支持实时快照；
  • [降噪]支持环境音、手机干扰等引起的噪音降噪处理、自动增益、VAD检测；
  • [外部编码前视频数据对接]支持YUV数据对接；
  • [外部编码前音频数据对接]支持PCM对接；
  • [外部编码后视频数据对接]支持外部H.264、H.265数据对接；
  • [外部编码后音频数据对接]外部AAC数据对接；
  • [扩展录像功能]支持和录像SDK组合使用，录像相关功能。​
  • 支持RTSP端口设置；
  • 支持RTSP鉴权用户名、密码设置；
  • 支持获取当前RTSP服务会话连接数；
  • 支持Android 5.1及以上版本。

接口设计

Android内置轻量级RTSP服务SDK接口详解

调用描述

接口

接口描述

SmartRTSPServerSDK

初始化RTSP Server

InitRtspServer

Init rtsp server(和UnInitRtspServer配对使用，即便是启动多个RTSP服务，也只需调用一次InitRtspServer，请确保在OpenRtspServer之前调用)

创建一个rtsp server

OpenRtspServer

创建一个rtsp server，返回rtsp server句柄

设置端口

SetRtspServerPort

设置rtsp server 监听端口, 在StartRtspServer之前必须要设置端口

设置鉴权用户名、密码

SetRtspServerUserNamePassword

设置rtsp server 鉴权用户名和密码, 这个可以不设置，只有需要鉴权的再设置

获取rtsp server当前会话数

GetRtspServerClientSessionNumbers

获取rtsp server当前的客户会话数, 这个接口必须在StartRtspServer之后再调用

启动rtsp server

StartRtspServer

启动rtsp server

停止rtsp server

StopRtspServer

停止rtsp server

关闭rtsp server

CloseRtspServer

关闭rtsp server

UnInit rtsp server

UnInitRtspServer

UnInit rtsp server(和InitRtspServer配对使用，即便是启动多个RTSP服务，也只需调用一次UnInitRtspServer)

SmartRTSPServerSDK供Publisher调用的接口

设置rtsp的流名称

SetRtspStreamName

设置rtsp的流名称

给要发布的rtsp流设置rtsp server

AddRtspStreamServer

给要发布的rtsp流设置rtsp server, 一个流可以发布到多个rtsp server上，rtsp server的创建启动请参考OpenRtspServer和StartRtspServer接口

清除设置的rtsp server

ClearRtspStreamServer

清除设置的rtsp server

启动rtsp流

StartRtspStream

启动rtsp流

停止rtsp流

StopRtspStream

停止rtsp流

调用逻辑

以大牛直播SDK的Android平台Camera2对接为例，先初始化RTSP Server，启动RTSP服务，然后发布RTSP流即可，如果需要停止RTSP服务，那么先停止RTSP流，再停止RTSP服务即可：

/** MainActivity.java* Author: daniusdk.com* WeChat: xinsheng120*/
@Override
protected void onCreate(Bundle savedInstanceState) {super.onCreate(savedInstanceState);setContentView(R.layout.activity_main);...context_ = this.getApplicationContext();libPublisher = new SmartPublisherJniV2();libPublisher.InitRtspServer(context_);      //和UnInitRtspServer配对使用，即便是启动多个RTSP服务，也只需调用一次InitRtspServer，请确保在OpenRtspServer之前调用
}

启动、停止RTSP服务：

//启动/停止RTSP服务
class ButtonRtspServiceListener implements View.OnClickListener {public void onClick(View v) {if (isRTSPServiceRunning) {stopRtspService();btnRtspService.setText("启动RTSP服务");btnRtspPublisher.setEnabled(false);isRTSPServiceRunning = false;return;}Log.i(TAG, "onClick start rtsp service..");rtsp_handle_ = libPublisher.OpenRtspServer(0);if (rtsp_handle_ == 0) {Log.e(TAG, "创建rtsp server实例失败! 请检查SDK有效性");} else {int port = 8554;if (libPublisher.SetRtspServerPort(rtsp_handle_, port) != 0) {libPublisher.CloseRtspServer(rtsp_handle_);rtsp_handle_ = 0;Log.e(TAG, "创建rtsp server端口失败! 请检查端口是否重复或者端口不在范围内!");}if (libPublisher.StartRtspServer(rtsp_handle_, 0) == 0) {Log.i(TAG, "启动rtsp server 成功!");} else {libPublisher.CloseRtspServer(rtsp_handle_);rtsp_handle_ = 0;Log.e(TAG, "启动rtsp server失败! 请检查设置的端口是否被占用!");}btnRtspService.setText("停止RTSP服务");btnRtspPublisher.setEnabled(true);isRTSPServiceRunning = true;}}
}

stopRtspService()实现如下：

//停止RTSP服务
private void stopRtspService() {if(!isRTSPServiceRunning){return;}if (libPublisher != null && rtsp_handle_ != 0) {libPublisher.StopRtspServer(rtsp_handle_);libPublisher.CloseRtspServer(rtsp_handle_);rtsp_handle_ = 0;}
}

发布、停止RTSP流：

//发布/停止RTSP流
class ButtonRtspPublisherListener implements View.OnClickListener {public void onClick(View v) {if (stream_publisher_.is_rtsp_publishing()) {stopRtspPublisher();btnRtspPublisher.setText("发布RTSP流");btnGetRtspSessionNumbers.setEnabled(false);btnRtspService.setEnabled(true);return;}Log.i(TAG, "onClick start rtsp publisher..");InitAndSetConfig();String rtsp_stream_name = "stream1";stream_publisher_.SetRtspStreamName(rtsp_stream_name);stream_publisher_.ClearRtspStreamServer();stream_publisher_.AddRtspStreamServer(rtsp_handle_);if (!stream_publisher_.StartRtspStream()) {stream_publisher_.try_release();Log.e(TAG, "调用发布rtsp流接口失败!");return;}startAudioRecorder();startLayerPostThread();btnRtspPublisher.setText("停止RTSP流");btnGetRtspSessionNumbers.setEnabled(true);btnRtspService.setEnabled(false);}
}

stopRtspPublisher()实现如下：

//停止发布RTSP流
private void stopRtspPublisher() {stream_publisher_.StopRtspStream();stream_publisher_.try_release();if (!stream_publisher_.is_publishing())stopAudioRecorder();
}

其中，InitAndSetConfig()实现如下，通过调研SmartPublisherOpen()接口，生成推送实例句柄。

/** MainActivity.java* Author: daniusdk.com*/
private void InitAndSetConfig() {if (null == libPublisher)return;if (!stream_publisher_.empty())return;Log.i(TAG, "InitAndSetConfig video width: " + video_width_ + ", height" + video_height_ + " imageRotationDegree:" + cameraImageRotationDegree_);int audio_opt = 1;long handle = libPublisher.SmartPublisherOpen(context_, audio_opt, 3,  video_width_, video_height_);if (0==handle) {Log.e(TAG, "sdk open failed!");return;}Log.i(TAG, "publisherHandle=" + handle);int fps = 25;int gop = fps * 3;initialize_publisher(libPublisher, handle, video_width_, video_height_, fps, gop);stream_publisher_.set(libPublisher, handle);
}

对应的initialize_publisher()实现如下，设置软硬编码、帧率、关键帧间隔等。

private boolean initialize_publisher(SmartPublisherJniV2 lib_publisher, long handle, int width, int height, int fps, int gop) {if (null == lib_publisher) {Log.e(TAG, "initialize_publisher lib_publisher is null");return false;}if (0 == handle) {Log.e(TAG, "initialize_publisher handle is 0");return false;}if (videoEncodeType == 1) {int kbps = LibPublisherWrapper.estimate_video_hardware_kbps(width, height, fps, true);Log.i(TAG, "h264HWKbps: " + kbps);int isSupportH264HWEncoder = lib_publisher.SetSmartPublisherVideoHWEncoder(handle, kbps);if (isSupportH264HWEncoder == 0) {lib_publisher.SetNativeMediaNDK(handle, 0);lib_publisher.SetVideoHWEncoderBitrateMode(handle, 1); // 0:CQ, 1:VBR, 2:CBRlib_publisher.SetVideoHWEncoderQuality(handle, 39);lib_publisher.SetAVCHWEncoderProfile(handle, 0x08); // 0x01: Baseline, 0x02: Main, 0x08: High// lib_publisher.SetAVCHWEncoderLevel(handle, 0x200); // Level 3.1// lib_publisher.SetAVCHWEncoderLevel(handle, 0x400); // Level 3.2// lib_publisher.SetAVCHWEncoderLevel(handle, 0x800); // Level 4lib_publisher.SetAVCHWEncoderLevel(handle, 0x1000); // Level 4.1 多数情况下,这个够用了//lib_publisher.SetAVCHWEncoderLevel(handle, 0x2000); // Level 4.2// lib_publisher.SetVideoHWEncoderMaxBitrate(handle, ((long)h264HWKbps)*1300);Log.i(TAG, "Great, it supports h.264 hardware encoder!");}} else if (videoEncodeType == 2) {int kbps = LibPublisherWrapper.estimate_video_hardware_kbps(width, height, fps, false);Log.i(TAG, "hevcHWKbps: " + kbps);int isSupportHevcHWEncoder = lib_publisher.SetSmartPublisherVideoHevcHWEncoder(handle, kbps);if (isSupportHevcHWEncoder == 0) {lib_publisher.SetNativeMediaNDK(handle, 0);lib_publisher.SetVideoHWEncoderBitrateMode(handle, 1); // 0:CQ, 1:VBR, 2:CBRlib_publisher.SetVideoHWEncoderQuality(handle, 39);// libPublisher.SetVideoHWEncoderMaxBitrate(handle, ((long)hevcHWKbps)*1200);Log.i(TAG, "Great, it supports hevc hardware encoder!");}}boolean is_sw_vbr_mode = true;//H.264 software encoderif (is_sw_vbr_mode) {int is_enable_vbr = 1;int video_quality = LibPublisherWrapper.estimate_video_software_quality(width, height, true);int vbr_max_kbps = LibPublisherWrapper.estimate_video_vbr_max_kbps(width, height, fps);lib_publisher.SmartPublisherSetSwVBRMode(handle, is_enable_vbr, video_quality, vbr_max_kbps);}if (is_pcma_) {lib_publisher.SmartPublisherSetAudioCodecType(handle, 3);} else {lib_publisher.SmartPublisherSetAudioCodecType(handle, 1);}lib_publisher.SetSmartPublisherEventCallbackV2(handle, new EventHandlerPublisherV2().set(handler_, record_executor_));lib_publisher.SmartPublisherSetSWVideoEncoderProfile(handle, 3);lib_publisher.SmartPublisherSetSWVideoEncoderSpeed(handle, 2);lib_publisher.SmartPublisherSetGopInterval(handle, gop);lib_publisher.SmartPublisherSetFPS(handle, fps);// lib_publisher.SmartPublisherSetSWVideoBitRate(handle, 600, 1200);boolean is_noise_suppression = true;lib_publisher.SmartPublisherSetNoiseSuppression(handle, is_noise_suppression ? 1 : 0);boolean is_agc = false;lib_publisher.SmartPublisherSetAGC(handle, is_agc ? 1 : 0);int echo_cancel_delay = 0;lib_publisher.SmartPublisherSetEchoCancellation(handle, 1, echo_cancel_delay);return true;
}

发布RTSP流成功后，会回调上来可供拉流的RTSP URL：

private static class EventHandlerPublisherV2 implements NTSmartEventCallbackV2 {@Overridepublic void onNTSmartEventCallbackV2(long handle, int id, long param1, long param2, String param3, String param4, Object param5) {switch (id) {...case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_RTSP_URL:publisher_event = "RTSP服务URL: " + param3;break;}}
}

获取RTSP Session会话数：

//获取RTSP会话数
class ButtonGetRtspSessionNumbersListener implements View.OnClickListener {public void onClick(View v) {if (libPublisher != null && rtsp_handle_ != 0) {int session_numbers = libPublisher.GetRtspServerClientSessionNumbers(rtsp_handle_);Log.i(TAG, "GetRtspSessionNumbers: " + session_numbers);PopRtspSessionNumberDialog(session_numbers);}}
}//当前RTSP会话数弹出框
private void PopRtspSessionNumberDialog(int session_numbers) {final EditText inputUrlTxt = new EditText(this);inputUrlTxt.setFocusable(true);inputUrlTxt.setEnabled(false);String session_numbers_tag = "RTSP服务当前客户会话数: " + session_numbers;inputUrlTxt.setText(session_numbers_tag);AlertDialog.Builder builderUrl = new AlertDialog.Builder(this);builderUrl.setTitle("内置RTSP服务").setView(inputUrlTxt).setNegativeButton("确定", null);builderUrl.show();
}

onDestroy() 的时候，调研UnInitRtspServer()即可：

@Override
protected void onDestroy() {Log.i(TAG, "activity destory!");stopAudioRecorder();stopRtspPublisher();stopRtspService();isRTSPServiceRunning = false;stream_publisher_.release();if (libPublisher != null)libPublisher.UnInitRtspServer();      //如已启用内置服务功能(InitRtspServer)，调用UnInitRtspServer, 注意，即便是启动多个RTSP服务，也只需调用UnInitRtspServer一次stopLayerPostThread();if (camera2Helper != null) {camera2Helper.release();}super.onDestroy();
}

总结

Android上实现RTSP服务器是一个极具挑战的任务，功能设计这块，除了需要支持接编码前音视频数据外，还需要支持对接编码后音视频数据，并实现本地录像、快照等功能组合使用。需要注意的是，就像海康、大华的摄像头一样，对外的并发，一般限于4-8个，Android设备的性能一般来说，可能不足以处理高负载的RTSP服务器，但是小并发模式下，能稳定的运行，就达到设计初衷了，感兴趣的开发者，可以单独跟单独探讨。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/143060.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

Linux学习记录十四----------线程的创建和回收

Linux学习记录十四----------线程的创建和回收

文章目录 五、Linux线程1.守护进程1.1.守护进程的特点1.2.进程组1.3会话1.4创建守护进程模型 2.线程的概念3.线程的创建及相关函数3.1.创建线程‐‐pthread_create3.2.单个线程退出 --pthread_exit3.3.阻塞等待线程退出，获取线程退出状态--pthread_join3.4.线程分离…
阅读更多...
无限制使用OpenAI最新o1-mini、o1-preview模型：经济高效的AI推理模型

无限制使用OpenAI最新o1-mini、o1-preview模型：经济高效的AI推理模型

OpenAI 最新推出的 o1 模型是该公司推理模型家族的首位成员，它通过创新的“思维链”训练模式，显著提升了逻辑推理和问题解决的能力。o1 模型在编程竞赛问题、数学奥林匹克资格赛以及物理、生物和化学问题的基准测试中表现出色，甚至在某些领域…
阅读更多...
学成在线练习（HTML+CSS)

学成在线练习（HTML+CSS)

准备工作 项目目录 内部包含当前网站的所有素材，包含 HTML、CSS、图片、JavaScript等等 1.由于元素具有一些默认样式，可能是我们写网页过程中根本不需要的，所有我们可以在写代码之前就将其清除 base.css /* 基础公共样式：清除…
阅读更多...
Tongweb7启动的时候显示要输入java参数（by lqw）

Tongweb7启动的时候显示要输入java参数（by lqw）

问题描述： 启动tongweb7的时候，提示要输入java参数，如下图所示： 原因： tongweb安装目录bin目录下的external.vmoptions文件改动，在# 符号后加多了一个空格。 external.vmoptions记录的是启动参数&#xf…
阅读更多...
【读书】原则

【读书】原则

后面的 太长了，而且太多了 我看作者 49年的 0多岁的老人的谆谆教诲 太多了 一下子吃不消 分为 生活原则 和 工作原则 倡导 人要以 原则而活 要做到极度透明 极度求真和极度透明：在软件开发中，对事实的执着追求和对信息的透明度是至关重要的。…
阅读更多...
论文阅读 - SELF-REFINE: Iterative Refinement with Self-Feedback

论文阅读 - SELF-REFINE: Iterative Refinement with Self-Feedback

https://arxiv.org/pdf/2303.17651 目录 Abstract Introduction 2 Iterative Refinement with SELF-REFINE Evaluation 3.1 Instantiating SELF-REFINE 3.2 Metrics 3.3 Results Abstract 与人类一样，大型语言模型（LLMs）并非总能在首次…
阅读更多...
【刷题日记】螺旋矩阵

【刷题日记】螺旋矩阵

54. 螺旋矩阵 这个是一道模拟题，但我记得我大一第一次做这道题的时候真的就是纯按步骤模拟，没有对代码就行优化，导致代码写的很臃肿。 有这么几个地方可以改进。 看题目可以知道最终的结果一定是rows*cols个结点,所以只需要遍历rows*cols次…
阅读更多...
java十进制码、六进制码和字符码的转换

java十进制码、六进制码和字符码的转换

一、字符转换为ASCII码： int i(int)1; 二、ASCII码转换为字符： char ch (char)40; 三、十六进制码转换为字符： char charValue (char)\u0040; package week3;public class check_point4_8 {public static void main(String[] args) {S…
阅读更多...
Java 性能调优：优化 GC 线程设置

Java 性能调优：优化 GC 线程设置

垃圾回收器使用一组称为 GC 线程的线程来执行回收工作。有时 JVM 可能会分配过多或过少的 GC 线程。本文将讨论 JVM 为什么会出现这种情况、其影响以及可能的解决方案。 1 咋查找应用程序的 GC 线程数量 进行线程转储分析来确定应用程序的 GC 线程数量： 从生产服…
阅读更多...
【算法思想·二叉搜索树】基操篇

【算法思想·二叉搜索树】基操篇

本文参考labuladong算法笔记[二叉搜索树心法（基操篇） | labuladong 的算法笔记] 1、概述 我们前文 东哥带你刷二叉搜索树（特性篇） 介绍了 BST 的基本特性，还利用二叉搜索树「中序遍历有序」的特性来解决了几道题目&am…
阅读更多...
MathType7.9绿色和谐版激活补丁包下载

MathType7.9绿色和谐版激活补丁包下载

MathType7.9中文版：让你的数学公式更酷炫✨ 嘿，亲爱的数学迷们！今天我要给你们安利一款超级炫酷的数学公式编辑器——MathType7.9中文版。这款软件不仅能让你轻松输入各种复杂的数学公式，还能让你的公式看起来更加酷炫哦&#xf…
阅读更多...
Java项目——苍穹外卖（二）

Java项目——苍穹外卖（二）

Redis 简介 Redis是一个基于内存的key-value结构数据库 基于内存存储，读写性能高适合存储热点数据（热点商品、资讯、新闻）企业应用广泛 基础操作 启动 在redis安装目录中打开cmd，输入如上图指令即可启动，按下crtl…
阅读更多...
【嘉立创EDA】画PCB板中为什么要两面铺铜为GND，不能一面GND一面VCC吗？

【嘉立创EDA】画PCB板中为什么要两面铺铜为GND，不能一面GND一面VCC吗？

在新手画板子铺铜时，经常会铺一面GND一面VCC。但一般情况下我们不会这样铺铜。下面将详细分析为什么要两面铺铜为GND，而不是一面GND一面VCC的原因： 提高散热能力 金属导热性：金属具有良好的导热性，铺铜可以有效分散PCB…
阅读更多...
unity的学习

unity的学习

因为需要构建一个三维物理环境,所以学习了unity,半天就可以,非常简单清晰 1.安装 去官网下载unity hub . 然后需要下载editor,但注意已经有了vs2022就不要再下一次了,下的时候会全放c盘,再安装.c盘都装不下了. 如果美游vs2022,就先自己把vs2022安装好,再安装unity hub.(其实不…
阅读更多...
基于YOLOv5的农作物叶片病害识别系统

基于YOLOv5的农作物叶片病害识别系统

植物农作物叶片病虫害识别系统：农作物叶片病害AI检测与识别系统 源码 带UI界面说明视频 模型：yolov5 功能: 农作物叶片病害检测系统用于智能检测常见农作物叶片病害情况，自动化标注、记录和保存病害位置和类型，辅助作物病害防治以…
阅读更多...
MyBatis XML映射文件编写【后端 18】

MyBatis XML映射文件编写【后端 18】

MyBatis XML映射文件编写 MyBatis 是一个优秀的持久层框架，它支持定制化 SQL、存储过程以及高级映射。MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集。MyBatis 可以使用简单的 XML 或注解用于配置和原始映射，将接口和 Java 的 POJOs …
阅读更多...
红帽7—Mysql的源码编译

红帽7—Mysql的源码编译

到官网选择源码进行安装 使用wget命令下载链接 下载安装后对文件包进行解压 [rootnginx ~]# tar zxf mysql-boost-5.7.44.tar.gz 安装cmake编译工具 [rootnginx ~]# yum install cmake 使用源码编译安装mysql [rootmysql-node10 mysql-5.7.44]# cmake \ -DCMAKE_INSTALL_PRE…
阅读更多...
6个Python小游戏项目源码【免费】

6个Python小游戏项目源码【免费】

6个Python小游戏项目源码 源码下载地址： 6个Python小游戏项目源码 提取码: bfh3
阅读更多...
Stable diffusion 学习过程

Stable diffusion 学习过程

diffusion model 讲解： 【较真系列】讲人话-Diffusion Model全解(原理代码公式)_哔哩哔哩_bilibili stable diffusion【CVPR2022】 原始论文： https://arxiv.org/pdf/2112.10752 讲解：【论文简介】Stable Diffusion的基础论文:2112.High…
阅读更多...
JZ2440开发板——S3C2440的UART的使用

JZ2440开发板——S3C2440的UART的使用

以下内容源于韦东山课程的学习与整理，如有侵权请告知删除。 一、UART硬件简介 UART，全称是“Universal Asynchronous Receiver Transmitter”，即“通用异步收发器”，也就是我们日常说的“串口”。 它在嵌入式中用途非常广泛&…
阅读更多...
最新文章

Copyright @ 2022~2023