WebRTC的愿景就是各浏览器之间可以快速开发可以实时互动的音视频的应用场景!!!
1.过多的协议,WebRTC太庞大、烦杂,门槛高
2.客户端与服务端分离,WebRTC只有客户端,没有服务端,需要自己根据业务实现
3.相关资料少
4.网上代码错误太多
WebRTC与FFmpeg是音视频领域的两个佼佼者,两个侧重点不同,FFmpeg侧重于多媒体文件的编辑,音视频的编解码....;WebRTC侧重于处理网络抖动、丢包、评估以及音频处理,回音降噪等等。
WebRTC实现了基于网页的视频会议,标准是WHATWG 协议,目的是通过浏览器提供简单的javascript就可以达到实时通讯(Real-Time Communications (RTC))能力。
第一部分为绿色区域,为webrtc库所提供的核心功能
第二部分为紫色区域,是浏览器提供的javascript的API层—也就是说浏览器对webrtc的核心层的C++ API做了一层封装,封装成为了javascript接口
第三部分为箭头区域,是很多的上层应用
分为如下4层:
第一层为C++ API,是WebRTC库提供给浏览器javascript层的核心功能API接口(不多,简单,比如:连接、P2P进行连接、传输质量、设备管理....)
第二层为Session层,上下文管理层,音频、视频、非音视频的数据传输,都通过session层处理,实现相关逻辑
第三层包括音频引擎、视频引擎、传输模块
第四层与硬件相关,包括音视频的采集、网络IO (可重载的,可以使用自己的方案)
注意:在webrtc中没有对视频进行渲染处理,所以需要我们在应用中自己实现!!
将这3个模块分隔开来,逻辑更加清晰。另外音视频的同步不是在引擎层实现
iSAC(Internet Speech Audio Codec):针对VoIP和音频流的宽带和超宽带音频编解码器,是WebRTC音频引擎的默认的编解码器
采样频率:16khz,24khz,32khz;(默认为16khz) 自适应速率为10kbit/s ~ 52kbit/s; 自适应包大小:30~60ms; 算法延时:frame + 3ms
采样频率:8khz;
20ms帧比特率为15.2kbps
30ms帧比特率为13.33kbps
标准由IETF RFC3951和RFC3952定义
NetEQ算法:自适应抖动控制算法以及语音包丢失隐藏算法。使其能够快速且高解析度地适应不断变化的网络环境,确保音质优美且缓冲延迟最小。 是GIPS公司独步天下的技术,能够有效的处理由于网络抖动和语音包丢失时候对语音质量产生的影响。
PS:NetEQ 也是WebRTC中一个极具价值的技术,对于提高VoIP质量有明显效果,加以AEC\NR\AGC等模块集成使用,效果更好。
Noise Reduction (NR):噪声抑制也是一个基于软件的信号处理元件,用于消除与相关VoIP的某些类型的背景噪声(嘶嘶声,风扇噪音等等… …)
VP8适合实时通信应用场景,因为它主要是针对低延时而设计的编解码器。
PS:VPx编解码器是Google收购ON2公司后开源的,VPx现在是WebM项目的一部分,而WebM项目是Google致力于推动的HTML5标准之一
由于浏览器需要安全传输,所以使用了SRTP协议,为了进行控制,使用了RTCP; 为了处理多个流复用同一个通道,实现了Multiplexing
最下面实现了P2P相关的协议,比如STUN + TRUN + ICE
连通性TCP要优于UDP,假如国内外通信,可能某些区域不允许通过UDP进行实时传输。为了保证连通率,优先选择UDP,如果UDP无法通信,则选择TCP,以此来保证连通率。
当然,也存在部分情况,TCP依旧不通,比如通过企业内部网访问,网关拒绝访问外网,这时可以使用Https。这时不太保证实时性了
api目录 如果我们要增加接口或者调整接口,就需要到API目录下去修改相关接口!
call目录 当与对端进行连接之后,同一个端的流通过Call进行管理;如果与多个对端进行连接,就会存在多个Call
media目录 内部实现了编解码的逻辑处理(并没有实现编解码内部逻辑,是在Module中实现的),只是对编解码算法进行了调用控制(决定在哪调用)
mudule目录 有很多子模块
pc目录 代表与对端的连接,可以获取流,获取统计信息(上层的统一接口层)
audio_mixer目录 实现混音操作,比如在多人通话时候,需要对多个音频进行混合处理,这样在传输时比较方便,减少了音频流
audio_processing目录 实现音频的前后处理,比如降噪、回音消除...
video_processing目录 实现视频的前后处理,可以添加如人脸识别等操作....
轨:比如一路音频,就是一路轨;一路视频,也是一路轨。两条轨之间是不相交的,单独存放!!两路音频也是两路轨,也是不相交的
流:媒体流,内部包含了很多轨,两者属于层级关系
MediaStream同前面的讲解
RTCPeerConnection:是整个WebRTC中最重要的类(大而全),包含了很多的功能。对于应用层非常方便,在应用层只要创建了PeerConnection,然后将流放入PeerConnection中即可,其他的逻辑全部由peerConnection内部实现
RTCDataChannel:对于非音视频的数据,都通过dataChannel进行传输。其中RTCDataChannel是通过RTCPeerConnection获取的
PeerConnection中包含两个线程,Worker线程和Signaling线程,可以创建PeerConnectionFactory,
之后PerrConnectionFactory可以创建PeerConnection和LocalMediaStream和LocalVideo/AudioTrack
通过AddTrack将我们创建的多个Track轨加入到MediaStream流中,通过AddStream可以将多个MediaStream流(与多方通信,每一方(每一个参与单位)都是对应一个Stream)加入同一个PeerConnection中(复用),
【SDP描述信息】内容:有哪些音视频数据,音视频数据的格式分别是什么,传输地址是什么等;
FROM https://www.cnblogs.com/ssyfj/p/14778839.html
文章浏览阅读90次。【代码】js-选项卡原理。_选项卡js原理
文章浏览阅读67次。原型模式是一种对象创建型模式,它采用复制原型对象的方法来创建对象的实例。它创建的实例,具有与原型一样的数据结构和值分为深度克隆和浅度克隆。浅度克隆:克隆对象的值类型(基本数据类型),克隆引用类型的地址;深度克隆:克隆对象的值类型,引用类型的对象也复制一份副本。UML图:具体代码:浅度复制:import java.util.List;/*..._prototype 设计模式
文章浏览阅读59次。入选国内首批云计算服务创新发展试点城市的北京、上海、深圳、杭州和无锡起到了很好的示范作用,不仅促进了当地产业的升级换代,而且为国内其他城市发展云计算产业提供了很好的借鉴。据了解,目前国内至少有20个城市确定将云计算作为重点发展的产业。这势必会形成新一轮的云计算基础设施建设的**。由于云计算基础设施建设具有投资规模大,运维成本高,投资回收周期长,地域辐射性强等诸多特点,各地在建...
文章浏览阅读9.4k次,点赞2次,收藏20次。一、功能及目的 在每个STM32的芯片上都有两个管脚BOOT0和BOOT1,这两个管脚在芯片复位时的电平状态决定了芯片复位后从哪个区域开始执行程序。BOOT1=x BOOT0=0 // 从用户闪存启动,这是正常的工作模式。BOOT1=0 BOOT0=1 // 从系统存储器启动,这种模式启动的程序_stm32boot0和boot1作用
文章浏览阅读3.4k次,点赞2次,收藏22次。C语言函数递归调用_c语言函数递归调用
文章浏览阅读410次。明日方舟bilibili服是一款天灾驾到战斗热血的创新二次元废土风塔防手游,精妙的二次元纸片人设计,为宅友们源源不断更新超多的纸片人老婆老公们,玩家将扮演废土正义一方“罗德岛”中的指挥官,与你身边的感染者们并肩作战。与同类塔防手游与众不同的几点,首先你可以在这抽卡轻松获得稀有,同时也可以在战斗体系和敌军走位机制看到不同。明日方舟bilibili服设定:1、起因不明并四处肆虐的天灾,席卷过的土地上出..._明日方舟抽卡模拟器
文章浏览阅读437次。Maven上传Jar到私服报错:ReasonPhrase: Repository version policy: SNAPSHOT does not allow version: xxx_repository version policy snapshot does not all
文章浏览阅读1.2k次。斐波那契数列(Fibonacci Sequence)是由如下形式的一系列数字组成的:0, 1, 1, 2, 3, 5, 8, 13, 21, 34, …上述数字序列中反映出来的规律,就是下一个数字是该数字前面两个紧邻数字的和,具体如下所示:示例:比如上述斐波那契数列中的最后两个数,可以推导出34后面的数为21+34=55下面是一个更长一些的斐波那契数列:0, 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, 233, 377, 610, 987, 1597, 2584,_斐波那契日
文章浏览阅读363次。PHP必会面试题1. 基础篇1. 用 PHP 打印出前一天的时间格式是 2017-12-28 22:21:21? //>>1.当前时间减去一天的时间,然后再格式化echo date('Y-m-d H:i:s',time()-3600*24);//>>2.使用strtotime,可以将任何字符串时间转换成时间戳,仅针对英文echo date('Y-m-d H:i:s',str..._//该层循环用来控制每轮 冒出一个数 需要比较的次数
文章浏览阅读1.3k次,点赞26次,收藏26次。windows下用mingw编译opencv貌似不支持cuda,选cuda会报错,我无法解决,所以没选cuda,下面两种编译方式支持。打开cmake gui程序,在下面两个框中分别输入opencv的源文件和编译目录,build-mingw为你创建的目录,可自定义命名。1、如果已经安装Qt,则Qt自带mingw编译器,从Qt安装目录找到编译器所在目录即可。1、如果已经安装Qt,则Qt自带cmake,从Qt安装目录找到cmake所在目录即可。2、若未安装Qt,则安装Mingw即可,参考我的另外一篇文章。_opencv mingw contrib
文章浏览阅读10w+次,点赞42次,收藏309次。今天给大家推荐5个好用且免费的简历模板网站,简洁美观,非常值得收藏!1、菜鸟图库https://www.sucai999.com/search/word/0_242_0.html?v=NTYxMjky网站主要以设计类素材为主,办公类素材也很多,简历模板大部个偏简约风,各种版式都有,而且经常会更新。最重要的是全部都能免费下载。2、个人简历网https://www.gerenjianli.com/moban/这是一个专门提供简历模板的网站,里面有超多模板个类,找起来非常方便,风格也很多样,无须注册就能免费下载,_hoso模板官网
文章浏览阅读142次。你听说过吗?该计划可让您以推广您的产品并在成功销售时支付佣金。它提供了新的营销渠道,使您的产品呈现在更广泛的受众面前并提高品牌知名度。此外,TikTok Shop联盟可以是一种经济高效的产品或服务营销方式。您只需在有人购买时付费,因此不存在在无效广告上浪费金钱的风险。这些诱人的好处是否足以让您想要开始您的TikTok Shop联盟活动?如果是这样,本指南适合您。_tiktok联盟