无人机图传原理（无人机图传技术）

无人机能够一跃进入大众视野，并迅速在大众市场火热发展，是很多人始料未及的。从刚开始的空中摄录，到后来的实时摄录，方便的无人机图传功能无疑为无人机加足了筹码，赚足了眼球。博主就来分析一下无人机图传技术。
一.观念
从“图传”的叫法可以发现，这并非一个专业的定义，大概是从某些资深航模玩家口中发展而来。专业的航空航天器并没有独立的视频图像传输设备。图传的概念只存在于消费类无人机领域。

二.限制
1.成本：
不必去怀疑可以通讯多快多远，无线通讯技术发展到今天，没有人怀疑火星传回的1080P图像了。
百公里以上无人机图传并非不可实现，但百万元以上的价格也相对昂贵。
目前市场上的1080P图传产品售价基本均在1700美元以内，成本也就成为了消费类无人机图传设计的第一条限制。

2.法律：
中国无线电管理的最高法律文件是《中华人民共和国无线电管理条例》，立法机关为国务院和中央军委，由各级无线电管理机构执行监管。如果使用者希望给图传单独申请执照，则需要该图传首先获得《无线电发射设备型号核准证》，其依据是国家《无线电频率划分规定》中的有关无线电发射设备技术指标的规定。取得专业电台执照并不是不可操作，只是在消费类无人机领域没有办法推广。
对于专业航空航天器来说，频谱划分时已留有专门的测控频段，而消费类无人机只能老老实实地屈就于ITU-R（ITU Radio Communication Sector，国际通信联盟无线电通信局）的ISM频段（Industrial ScientIFic Medical，工业化科学医疗频段）。
13.56Mhz、27.12Mhz、40.68MHz、433mhz、915Mhz、2.4Ghz、5.8GHz都是1W以内无需执照发射的；
433MHz及以下频段通常很难满足高清图传的带宽要求；
915Mhz频段有一半已经被GSM占用；
L波带宽并不富裕；
S波段的2.4GHz也就成了1080P获得远距离的首选，但4K或者更高清晰度的图传设计者却很难在S波段的带宽上找到便宜；
C波段的5.8G则可以做得更宽，不过相同发射功率和接收灵敏度下5.8G与2.4G相比通讯距离仅为41.4%，并且其衰减对水气更敏感，实际通讯距离则不到30%，两者各有利弊。

图1 无线频谱

三.编码技术
1.软/硬件结构:OpenMAX IL + Venus
2.编码标准:H.264(APQ8074)/H.265(APQ8053)
3.码率控制:CBR(Constant Bit Rate)网络传输中所谓的 CBR 一般是 ABR（平均码率），即单位时间内的平均码率恒定，编码输出有缓冲可以起到平滑波动的作用。

图2 码率

4.码率/帧率自适应:Dynamic video rate adaptation (rave)是Qualcomm提供的算法库，基于变化的Wi-Fi带宽和信道质量，计算出合适的视频流码率和帧率，这有助于最大限度地减少延迟和图像损坏问题。
5.I帧间隔调整:30fps帧率下，30帧或者60帧一个I帧。能在较低的码率下达到较高的图像质量。
6.I帧重传:如果I帧丢失或者损坏，图像会有较长时间的卡顿。当接收端反馈此情况，发送端立即重传I帧，会减少卡7.顿时间。
8.I帧携带SPS/PPS信息:缺少SPS/PPS信息，接收端将不能正确解码，所以流中需要带这些信息，防止断线重连后黑屏。

四.通用协议
1.RTP
1.1.协议简单，易组入
1.2.jrtp开源库:X许可，几乎无限制。
1.3.针对H.264/H.265编码特点进行优化:不同的组包策略。
1.4.扩展可配置发包间隔:平衡码率波动，防止瞬时码率过大。
1.5.使用RTP扩展头:传递帧号，用于算法的数据同步。
1.6.使用内存池:减少模块间内存拷贝，降低延迟。

图3 RTP

2.RTSP
2.1.支持组播:Live555开源库
2.2.LGPLv2.1许可，可以在商业软件中引用。
2.3.相关类说明

图4 RTSP相关类

2.4.数据传递示意图:RTSP server接收到RTSP开始后,
PreviewH264OnDemandMediaSubsession创建了H264PreviewSouce类和H264VideoStreamDiscreteFramer类之后H264PreviewSouce通过队列从Rtspsink中获取h264数据，经过处理后发送到手机端。

图5 RTSP 数据流

五.Relay
方案一：Drone Station + Relay AP
说明：
 无线中继作为AP
 无人机和手机作为两个终端连接到无线中继AP上
 无线中继需要布置数据转发APP，用于转发视频流
 手机端与无线中继建立socket连接
 无人机与无线中继建立socket连接，视频+RC
优点：
 组网简单，方案易于理解
缺点：
 无人机无UI界面，连接中继的方式需要另行方案（参考：双方WPS按钮连接）
 中继上的Video Data Forward APP需要很高的性能、可靠性

图6 框架图1

方案二：Drone AP + Relay Station & AP
说明：
 无人机作为AP
 无线中继Station + AP模式
 中继作为Station与无人机AP连接获得独立IP
 中继作为AP接受手机端连接，为手机端分配IP
 无人机的SSID与无线中继的SSID不相同
 采用NAT + 路由配置，转发数据包，建立无人机与手机端的数据通路
 手机端与无人机建立Socket连接（视频），与无线中继建立Socket连接（RC）
优点：
 无线中继实现相对方案一简单
 方案通用，兼容性高
缺点：
 增加了无线中继的网络配置（复杂度可接受）
 无线中继连接无人机AP的方式需要设计

图7 框架图2

六.云服务
方案一：无人机端混合音视频实时数据，并发往云端
说明：
 Camera编码H.264数据，并通过rtp/rtsp协议进行数据发送
 手机端接收视频数据流(H.264)，在本地解码播放
 手机端采集本地音频，并将编码后的音频发送到Camera端，Camera端mux audio&video推送云端
 Android、iOS、desktop通过rtmp标准协议进行媒体播放

图8 云技术1

方案二：手机端混合音视频实时数据，并发往云端
说明：
 Camera编码H.264数据，并通过rtp/rtsp协议进行数据发送
 手机端接收视频数据流(H.264)
 手机端采集本地音频，与视频流进行mux，通过rtmp将音视频流推送到云端
 Android、iOS、desktop通过rtmp标准协议进行媒体播放

图9云技术2