7. 术语表

7.1. SDK

英文 Software Development Kit 的缩写,其含义是软件开发工具包,通常是一个软件公司提供给其它开发公司的工具集合,其它公司可以在 SDK 基础上做开发。

7.2. 音频优先

实时音视频通讯过程中,会有大量声音与视频数据需要传输,而视频的数据量远大于音频,而从沟通效果来说, 保证音频数据的传输远比视频重要。 所以,在网络状况不良(比如带宽受限)的时候,需要采取特殊的技术, 可以对视频数据进行丢弃处理,以优先保证声音数据的传输,这就是所谓音频优先。

7.3. 唇音同步

由于实时音视频传输过程中,声音与视频数据是由不同的通道来传输的, 需要采取专门的技术来保持声音与视 频之间的同步性,从效果上来说,需要保持说话时的嘴唇动作和声音的一致性。

7.4. 回声消除

声音在播放过程中,由于场地环境等因素,扬声器传出的声音,会从唛克风传回系统,从声音听起来有类似山谷里回声现象,影响收听效果,严重的时候,会形成“啸叫”,完全听不清楚。回声消除就是采取各种手段降低乃至 避免回声的技术,是声音处理的关键技术,直接关乎音频通讯的质量。

7.5. iLBC

Internet Low Bitrate Codec,互联网低码率编解码,是一种开源的窄带宽话音编解码技术,由webrtc 原生支持的音频技术,专门为互联网环境设计, 配合相关音频引擎,在较差的网络条件下仍能保持较好的音质。

7.6. iSAC

Internet Speech Audio Codec,互联网话音编解码,是一种开源音频编码技术,由 webrtc 原生支持,专为互联网环境设计。

7.7. 降噪

声音在传输处理过程中,会有各种电子噪音混入,从而影声音质量。 降噪就是采取各种技术手段,过滤噪音。叁体的降噪技术业内遥遥领先,音质和电话音质不相上下。

7.8. H.264/H.265

H.264是一种主流的视频编码技术,在安防等行业大量使用 H.265 是脱胎于 H.264 的一种新的视频 编码技术,预期 2016 年开始会逐渐获得工业界应用

7.9. VP8/VP9

VP8 相对于 H.264,是一种相对新的视频编码技术,专门针对互联网通讯环境进行了优化,在互联网行业应用广泛,最典型的应用是在 html5 的音视频规范 webrtc 中。 VP9 是脱胎于 VP8 的新编码技术,逐渐开始流行,并获是了主流芯片厂商的支持。

7.10. 硬件编解码

视频编码与解码,其中一种方式,是使用手机或 PC 的CPU 来做大量运算, 这个过程叫软编解码。 如果 CPU 本身不够强劲,运算过程不够快,在处理比较高清的视频(如 720P 或 1080P)就会造成各种视频问题,如卡断、延时等等。 解决这个问题的一种办法是使用手机 或 PC 上已经自带的硬件芯片来做编解码,从而避免上述各种问题。 叁体 Open-AVD SDK 针对主流芯片提供了硬编解码能力,从而保证大多数 Android、iOS 移动终端能处理高清视频。

7.11. 多流

指摄像头在采集视频数据的时候,采集不同规格(分辨率、帧率)的多份视频数据传输到通讯服务器,服务器根据连接上来的不同客户端的能力 (如是否是运算能力比较弱的移动终端)选择不同的视频进行传输,从而保证参与视频通讯的所有客户端都能看到流畅的视频。 叁体 Open-AVD SDK 支持多流, 极大提升了用户体验

7.12. 动态码流

指在视频信号处理传输过程中,如果网络出现波动导致传输不畅的时候, 采取降低视频分辨率及帧率等手段降低传输码流,从而使得在网络状况不好的时候,仍能够保持视频的流畅(质量会有所下降),待网络情况变好的时候,系统自动恢复到更高的分辨率及帧率。 叁体有非常优异的动态码流技术

7.13. P2P

Peer to Peer,意指点对点通讯,这是音视频通讯的典型架构,参与通讯的 client 直接通过网络传输音视频数据, 不必通过服务器中转。 这种通讯架构的好处是,大量小规模场景(如远程会诊),可以节约大量服务器(数据中心)网络带宽。

7.14. MCU

Multi-Control Unit,多点控制单元,是硬件视频会议中的一个设备,用于在硬件视频会议终端间传输数据并提供控制功能。 目前这个词的使用已经超出了它的原始含义,在软视频会议系统中,主要指用于转发音视频数据并提供控制功能的媒体通讯服务器。 采用了MCU 的音视频通讯架构,是和 P2P 相对应的一种通讯架构,在业界也大量使用,其典型优点是能支持大量并发用户,如超过 5000 人的会议。

7.15. 分布式服务器集群

指服务器集群分布在物理位置不同的城市和国家,使得 client 端可以采取就近远程最佳服务器来连接,从而保证所有客户端最好的用户体验,如很低的延时、优质的音视频质量等等。

7.16. HLS

Http Live Streaming,Http 活动流,一 种 Apple 公司提出的流媒体技术,和 RTMP 技术一样,是目前市场上主流的 直播服务支撑技术。

7.17. RTMP

Real Time Messaging Protocol,实时消息传输协议,是一种设计用来进行实 时数据通信的网络协议,主要用来在 Flash/AIR 平台和支持 RTMP 协议的流媒体/交互服务器之间进行音视频和数据通信。 目前市场上很多设备和系统,如大华, 海康的摄像头,支持 RTMP 协议。

7.18. RTSP

Real Time Streaming Protocol,实时流传输协议,该协议定义了一对多应用程序如何有效地通过 IP 网络传送多媒 体数据。 目前市场上很多设备和系统,如教育领域里的录播系统,支持 RTSP 协议

7.19. SIP

Session Initial Protocol,会话初始协议, 在一个广泛应用的信令控制协议 支持 SIP 的各种通讯 client,如 sip 电话, 软电话终端可以互相通讯

7.20. H.323

国际电信联盟 ITU-T 于 1996 年公布了 H.323 协议,它是局域网和企业网使用的多媒体通信标准。H.323 是 Internet 上端与端之间进行实时声音和视频会 议的规程和协议,包括系统和构件的描述、呼叫模型的描述、呼叫信令过程、控制报文、服用、语音编码解码器、视像解码器及数据协议。 H.323 已经有 20 年历史,围绕这个技术协议系统,业界已经生产了大量的硬件设备和系统。

7.21. Html5

HTML 是 Hyper-text Markup Language, 也就是超媒体标记语言,是 Web 应用 的通用性基础语言。HTML5 是该语言 的第 5 代规范,于 2014/10/28 获是标 准化组织的批准。

7.22. webrtc

Web real time communication , 是 HTML5 标准重要组成部分,专注于解决在 web 浏览器中提供原生的音视频通讯能力的问题

7.23. Access Key与Secret Key

Access Key 与 Secret Key 是叁体颁发的一对密钥,用于对操作请求进行授权签名。

  • 用户凭证 (Access Key) 简称 AK ,是叁体颁发给用户的标识。用户将用户凭证放入访问请求,以便叁体识别访问者的身份;
  • 签名密钥 (Secret Key) 简称 SK ,是叁体颁发给用户,用于对访问请求签名的字串。用户使用签名密钥对访问请求的核心要素进行签名,获得请求认证令牌。用户将令牌随同访问请求一起发送至叁体,叁体将对令牌进行校验,以确认用户请求的合法性。

用户凭证和签名密钥成对颁发,不会重复。一个用户可以拥有多个用户凭证/签名密钥,用于不同的访问。

7.24. 流媒体publish/Subscribe

publish:指把流媒体发布到服务器。 Subscribe:指从服务器订阅流媒体到客户端。