首页 > 代码库 > 手机直播连麦技术分析
手机直播连麦技术分析
直播火了,连麦直播也火了,那么说明是直播,连麦直播是什么。
手机直播连麦功能的特点,我们按下面三部分来聊一聊手机直播和直播连麦:
- 手机直播连麦功能的特点
- 人物画像和设计思维
- 一个有趣的连麦功能交互建议
手机直播连麦功能的特点
- 连麦功能的权限
- 连麦人数和显示位置
- 连麦交互流程
而映客的连麦功能是有权限设定的,并且门槛比较高,要求百万映票、等级80以上以及紫V认证的用户才能进行连线互动。这从某个方便来说对于质量上有了提高。
连麦人数和显示位置
连麦交互流程
1、主播客户端,将本地采集的视频推送到CDN;
2、CDN对视频流进行缓存以及转发;
3、观众客户端,拉取CDN中缓存视频流进行播放;
这其中最核心的就是CDN了,那神马事CDN呢?
CDN技术原理
CDN的全称为Content Delivery Network,即内容分发网络,是一个策略性部署的整体系统,主要用来解决由于网络带宽小、用户访问量大、网点分布不均匀等导致用户访问网站速度慢的问题。这中间就有了很多的CDN节点,简单一点理解就相当于我们开始学习计算机选择网络。具体实现是通过在现有的网络中,增加一层新的网络架构,将网站的内容发布到离用户最近的网络节点上,这样用户可以就近获取所需的内容,解决之前网络拥塞、访问延迟高的问题,提高用户体验。
上图中,不同的流媒体走的节点和协议做了区分,网络拥塞减少,访问延迟降低,带宽得到良好的控制等等。 CDN直播中常用的流媒体协议包括RTMP,HLS,HTTP FLV等。
RTMP(Real Time Messaging Protocol)是基于TCP的,由Adobe公司为Flash播放器和服务器之间音频、视频传输开发的开放协议。 HLS(HTTP Live Streaming)是基于HTTP的,是Apple公司开放的音视频传输协议。 HTTP FLV则是将RTMP封装在HTTP协议之上的,可以更好的穿透防火墙等。
CDN的常用架构
源站:是指发布内容的原始站点。添加、删除和更改网站的文件,都是在源站上进行的;另外缓存服务器所抓取的对象也全部来自于源站。对于直播来说,源站为主播客户端。
缓存服务器:是直接提供给用户访问的站点资源,由一台或数台服务器组成;当用户发起访问时,他的访问请求被智能DNS定位到离他较近的缓存服务器。如果用户所请求的内容刚好在缓存里面,则直接把内容返还给用户;如果访问所需的内容没有被缓存,则缓存服务器向邻近的缓存服务器或直接向源站抓取内容,然后再返还给用户。
智能DNS:是整个CDN技术的核心,它主要根据用户的来源,以及当前缓存服务器的负载情况等,将其访问请求指向离用户比较近且负载较小的缓存服务器。通过智能DNS解析,让用户访问同服务商下、负载较小的服务器,可以消除网络访问慢的问题,达到加速作用。
客户端:即发起访问的普通用户。对于直播来说,就是观众客户端,例如手机客户端,PC客户端。
用图表示如下:
整个流程描述如下:
主播开始进行直播,向智能DNS发送解析请求; 智能DNS返回最优CDN节点IP地址; 主播端采集音视频数据,发送给CDN节点,CDN节点进行缓存等处理; 观众端要观看此主播的视频,向智能DNS发送解析请求; 智能DNS返回最优CDN节点IP地址; 观众端向CDN节点请求音视频数据; CDN节点同步其他节点的音视频数据; CDN节点将音视频数据发送给观众端;
采用CDN的缺点
播放延时(网络延时)
网络抖动
网络丢包
连麦
第一种方式:文字,这种比较常见,实现也比较简单,这里不再进行分析;这种比较简单
第二种方式:连麦,这样主播可以面对面与观众进行交互,增加了互动性;这种最网络的要求更高。
不过P2P在某些网络下无法穿透,有些观众根本无法与主播端进行交互; 主播端需要上传两路视频:一路P2P与连麦者进行交互,一路使用RTMP推到CDN。还要下载一路视频:连麦者P2P发送过来的交互数据。所以主播端要求带宽需要较高,网络较差时无法进行主播 主播端要进行多路视频的编码、解码,要求主播端设备配置比较高,较差的设备也无法进行主播; 只能支持一个连麦者,不能支持多个连麦者; 由于主播端和连麦者经过CDN合并成一路,因此,不能实现主播端和连麦者视频大小窗口切换。
还有一种方式就是通过CDn中转:
是主播和连麦者都将视频推送到CDN中,然后CDN内部对这几路视频进行合图,再将其发送给观众端。
主播和连麦者各路视频都使用RTMP推送到CDN,可以保证延时较小; 由于CDN进行视频合图和发送,所以主播不需要很高的带宽; 由于CDN进行视频合图,所以主播的设备不需要配置非常高; 没有声音干扰问题; 可以支持多个连麦者连麦;
不过,CDN需要进行视频的合图,需要额外开发工作,并且逻辑比较复杂; CDN需要进行视频的合图,需要消耗较高服务器资源; CDN合图后的布局难控制; 所以对CDN要求奇高;
基于上面的问题,有人提出了基于SD-RTN的解决方案,有兴趣的可以去搜一下。
客户端均通过UDP连接SD-RTN(Agora Global Network),通过SD-RTN的就近接入策略,让使用者就近接入质量最好的数据节点,通过Agora Global Network的软件定义优化路由,经过传输延迟和质量优化的最优路径,自动避免网络拥塞,并规避骨干网络故障的影响。
采用SD-RTN做直播有如下特点:
1、可以支持更多的主播交互,目前支持7人视频交互,100人语音交互。
2、当有观众连麦时,其他观众端收到的多路视频,观众端可以动态选择布局;
3、声网Agora.io会将直播视频推送到CDN,其他观众(网页端等)可以直接观看;
4、当有观众连麦时,声网Agora.io会将视频合图后推送到CDN,其他观众(网页端等)可以观看到连麦者与主播的互动;
5、在经过RTMP推流前的观众端,可以进行大小流切换,自主选择视频大小窗口的切换。
手机直播连麦技术分析