******************* 术语表 ******************* .. contents:: Table of Contents SDK ====== 英文 Software Development Kit 的缩写，其含义是软件开发工具包，通常是一个软件公司提供给其它开发公司的工具集合，其它公司可以在 SDK 基础上做开发。 音频优先 ======== 实时音视频通讯过程中，会有大量声音与视频数据需要传输，而视频的数据量远大于音频，而从沟通效果来说， 保证音频数据的传输远比视频重要。 所以，在网络状况不良(比如带宽受限)的时候，需要采取特殊的技术， 可以对视频数据进行丢弃处理，以优先保证声音数据的传输，这就是所谓音频优先。 唇音同步 ======== 由于实时音视频传输过程中，声音与视频数据是由不同的通道来传输的， 需要采取专门的技术来保持声音与视 频之间的同步性，从效果上来说，需要保持说话时的嘴唇动作和声音的一致性。 回声消除 ======== 声音在播放过程中，由于场地环境等因素，扬声器传出的声音，会从唛克风传回系统，从声音听起来有类似山谷里回声现象，影响收听效果，严重的时候，会形成“啸叫”，完全听不清楚。回声消除就是采取各种手段降低乃至 避免回声的技术，是声音处理的关键技术，直接关乎音频通讯的质量。 iLBC ======== Internet Low Bitrate Codec，互联网低码率编解码，是一种开源的窄带宽话音编解码技术，由webrtc 原生支持的音频技术，专门为互联网环境设计， 配合相关音频引擎，在较差的网络条件下仍能保持较好的音质。 iSAC ======== Internet Speech Audio Codec，互联网话音编解码，是一种开源音频编码技术，由 webrtc 原生支持，专为互联网环境设计。 降噪 ======== 声音在传输处理过程中，会有各种电子噪音混入，从而影声音质量。 降噪就是采取各种技术手段，过滤噪音。叁体的降噪技术业内遥遥领先，音质和电话音质不相上下。 H.264/H.265 ============ H.264是一种主流的视频编码技术，在安防等行业大量使用 H.265 是脱胎于 H.264 的一种新的视频 编码技术，预期 2016 年开始会逐渐获得工业界应用 VP8/VP9 ============ VP8 相对于 H.264，是一种相对新的视频编码技术，专门针对互联网通讯环境进行了优化，在互联网行业应用广泛，最典型的应用是在 html5 的音视频规范 webrtc 中。 VP9 是脱胎于 VP8 的新编码技术，逐渐开始流行，并获是了主流芯片厂商的支持。 硬件编解码 ============ 视频编码与解码，其中一种方式，是使用手机或 PC 的CPU 来做大量运算， 这个过程叫软编解码。 如果 CPU 本身不够强劲，运算过程不够快，在处理比较高清的视频(如 720P 或 1080P)就会造成各种视频问题，如卡断、延时等等。 解决这个问题的一种办法是使用手机 或 PC 上已经自带的硬件芯片来做编解码，从而避免上述各种问题。 叁体 Open-AVD SDK 针对主流芯片提供了硬编解码能力，从而保证大多数 Android、iOS 移动终端能处理高清视频。 多流 ============ 指摄像头在采集视频数据的时候，采集不同规格(分辨率、帧率)的多份视频数据传输到通讯服务器，服务器根据连接上来的不同客户端的能力 (如是否是运算能力比较弱的移动终端)选择不同的视频进行传输，从而保证参与视频通讯的所有客户端都能看到流畅的视频。 叁体 Open-AVD SDK 支持多流， 极大提升了用户体验 动态码流 ============ 指在视频信号处理传输过程中，如果网络出现波动导致传输不畅的时候， 采取降低视频分辨率及帧率等手段降低传输码流，从而使得在网络状况不好的时候，仍能够保持视频的流畅(质量会有所下降)，待网络情况变好的时候，系统自动恢复到更高的分辨率及帧率。 叁体有非常优异的动态码流技术 P2P ============ Peer to Peer，意指点对点通讯，这是音视频通讯的典型架构，参与通讯的 client 直接通过网络传输音视频数据， 不必通过服务器中转。 这种通讯架构的好处是，大量小规模场景(如远程会诊)，可以节约大量服务器(数据中心)网络带宽。 MCU ================ Multi-Control Unit，多点控制单元，是硬件视频会议中的一个设备，用于在硬件视频会议终端间传输数据并提供控制功能。 目前这个词的使用已经超出了它的原始含义，在软视频会议系统中，主要指用于转发音视频数据并提供控制功能的媒体通讯服务器。 采用了MCU 的音视频通讯架构，是和 P2P 相对应的一种通讯架构，在业界也大量使用，其典型优点是能支持大量并发用户，如超过 5000 人的会议。 分布式服务器集群 ================ 指服务器集群分布在物理位置不同的城市和国家，使得 client 端可以采取就近远程最佳服务器来连接，从而保证所有客户端最好的用户体验，如很低的延时、优质的音视频质量等等。 HLS ============== Http Live Streaming，Http 活动流，一 种 Apple 公司提出的流媒体技术，和 RTMP 技术一样，是目前市场上主流的 直播服务支撑技术。 RTMP ============== Real Time Messaging Protocol，实时消息传输协议，是一种设计用来进行实 时数据通信的网络协议，主要用来在 Flash/AIR 平台和支持 RTMP 协议的流媒体/交互服务器之间进行音视频和数据通信。 目前市场上很多设备和系统，如大华, 海康的摄像头，支持 RTMP 协议。 RTSP =========== Real Time Streaming Protocol，实时流传输协议，该协议定义了一对多应用程序如何有效地通过 IP 网络传送多媒 体数据。 目前市场上很多设备和系统，如教育领域里的录播系统，支持 RTSP 协议 SIP ========= Session Initial Protocol，会话初始协议， 在一个广泛应用的信令控制协议 支持 SIP 的各种通讯 client，如 sip 电话， 软电话终端可以互相通讯 H.323 ======= 国际电信联盟 ITU-T 于 1996 年公布了 H.323 协议，它是局域网和企业网使用的多媒体通信标准。H.323 是 Internet 上端与端之间进行实时声音和视频会 议的规程和协议，包括系统和构件的描述、呼叫模型的描述、呼叫信令过程、控制报文、服用、语音编码解码器、视像解码器及数据协议。 H.323 已经有 20 年历史，围绕这个技术协议系统，业界已经生产了大量的硬件设备和系统。 Html5 ======= HTML 是 Hyper-text Markup Language， 也就是超媒体标记语言，是 Web 应用 的通用性基础语言。HTML5 是该语言 的第 5 代规范，于 2014/10/28 获是标 准化组织的批准。 webrtc ========= Web real time communication ， 是 HTML5 标准重要组成部分，专注于解决在 web 浏览器中提供原生的音视频通讯能力的问题 Access Key与Secret Key ======================= Access Key 与 Secret Key 是叁体颁发的一对密钥，用于对操作请求进行授权签名。 - 用户凭证 (Access Key) 简称 AK ，是叁体颁发给用户的标识。用户将用户凭证放入访问请求，以便叁体识别访问者的身份； - 签名密钥 (Secret Key) 简称 SK ，是叁体颁发给用户，用于对访问请求签名的字串。用户使用签名密钥对访问请求的核心要素进行签名，获得请求认证令牌。用户将令牌随同访问请求一起发送至叁体，叁体将对令牌进行校验，以确认用户请求的合法性。 用户凭证和签名密钥成对颁发，不会重复。一个用户可以拥有多个用户凭证/签名密钥，用于不同的访问。 流媒体publish/Subscribe ======================== publish:指把流媒体发布到服务器。 Subscribe：指从服务器订阅流媒体到客户端。