什么是 叁体视频SDK?

叁体的核心产品是叁体视频SDK,也就是Open Audio+Video+Data,一个开放的音频、视频与数据通讯能力平台。叁体视频SDK提供了实时音视频、音视频录制,视频直播、屏幕分享、白板批注等能力,支持包括Andorid/ios手机平板,Windows PC,Mac电脑,机顶盒,智能电视等各种设备与平台。

叁体的客户是各种软硬件开发类公司,叁体 SDK可以嵌入移动App,Web应用及各种智能硬件中,帮助这些开发公司实现视频通讯等功能,可广泛应用于远程医疗、远程教育等几十个领域

叁体视频SDK的直接用户,主要是软件工程师,他们会利用叁体视频SDK提供的各种API/SDK开发各种行业应用系统,从这个意义上讲,我们做的是一种所谓B2D(Business to Developer)业务,也是一种开发者服务业务。

叁体视频SDK目前主要以软件形式销售,由第三方团队自己运维音视频服务环境。未来,叁体将在公网上开放相关功能的API/SDK,以所谓PaaS(Platform as a Service)形式提供服务,客户以租用的方式使用叁体视频SDK提供的各种能力。

以下为叁体视频SDK的主要功能:

功能 典型使用场景
实时音频 几乎所有通讯协作应用,包括智能硬件
实时视频 几乎所有通讯协作应用,包括智能硬件
文字聊天 远程教育,远程医疗,网络会议,社交
屏幕分享 远程教育,远程医疗,网络会议
电子白板 远程教育,远程医疗,网络会议
批注 远程教育,远程医疗,网络会议
音视频录制 远程教育,远程医疗,网络会议,安防
视频直播 远程教育,社交

使用方式

如上图所示,一个使用了叁体视频SDK的第三方行业应用,主要由两部分组成,分别是叁体视频SDK相关组件(绿色)及行业应用自身特定功能组件(蓝色)。

叁体视频SDK本身,也是由两部分组成,一是嵌入在各种业务应用客户端中的SDK代码,二是叁体通讯服务器。SDK代码与服务器代码通过网络(公有云、私有云)连接,交换音视频及其它数据,从而完成相关功能。

行业应用的开发人员在需要使用音视频通讯能力的时候,简单地调用叁体 SDK中提供的各种接口即可,不必再花精力去搞懂音视频通讯过程需要用到的非常复杂的技术细节,如音视频采集、压缩、传输及渲染等等。

行业应用自身与音视频通讯无关的功能,则完全由行业应用开发工程师根据需要自己开发,相关数据传输、存储也完全由行业应用业务服务器自己来处理,与叁体视频SKD没有关系。

特点优势

叁体视频SDK具务以下特点与优势:

  • 开发速度快

    客户完成一个平台(如Android)的音视频功能对接,只需要2天时间。

  • 运营成本低

    借助于叁体业界领先的P2P与混合云技术,在保证更好的音视频质量的同时,可大幅降低服务器端带宽50%-70%。

  • 支持平台全

    支持几乎所有有屏幕的设备和平台:Android/iOS手机与平板,Windows,Mac,Linux桌面系统,机顶盒,智能硬件。尤其是我们支持WebRTC兼容的浏览器如Chrome,可以不下载任何插件使用音视频通讯能力,开创了极致用户体验。 查看所有支持平台与设备>

  • 顶尖音视频技术

    依托叁体团队在音视频处理和互联网通讯方面的多年技术积累,叁体音视频及通讯技术方面深入钻研,专注专业,在包含音视频质量等很多关键指标方面,大幅领先于市场,现列举要点如下: 音频回声消除,音视频唇音同步,视频动态码流,视频硬件编解码,视频混合VP8/VP9+H.264/H.265编解码,视频多流。

  • 直播+互动混合场景

    叁体视频SDK除了能支持实时互动音视频,还能选择某路客户端的音视频,通过叁体的流媒体服务器或第三方成熟的CDN网络推送给其它各种客户端,可支持实时互动音视频与直播功能混合使用的场景,同时又能把网络费用控制在理想范围内。

  • 完美支持已有硬件设备

    叁体视频SDK支持sip/H.232、RTMP、RTSP等标准协议,可籍此与在安防、通讯领域已经存在的大量软终端和硬设备完美集成,同时,还支持与PSTN电话网络的集成,从而具备广泛的适应性。

参数指标

1.支持的设备

支持的设备 支持方式 接口语言
iPhone,iPad 原生iOS本地客户端 Objective -C
Android Phone,Android Pad 原生Android本地客户端 Java
WebRTC兼容浏览器,如chrome/firefox Javascript
Windows PC 原生Windows本地客户端 C++
WebRTC兼容浏览器 Javascript
Mac PC WebRTC兼容浏览器,如Chrome/firefox Javascript
Linux PC WebRTC兼容浏览器,如Chrome/firefox Javascript
机顶盒 Android本地客户端 Java目前主流的机顶盒都基于Android开发
嵌入式Linux设备,如摄像头等等 原生C本地程序 C
智能硬件,如机器人 原生Android本地客户端 Java

2.支持的操作系统/平台

支持平台 备注
iOS 手机、平板
Android
Windows Windows桌面专用工控机
嵌入式Linux 一些硬件设备,如摄像头
WebRTC兼容浏览器 5年WebRTC方向技术积累,国内首家支持

3.重要技术参数与指标表

类别 备注
音视频 唇音同步时差 <100毫秒 唇音完全同步,完美用户体验
音频优先 支持 在网络不好情况下优先保障声音的质量
视频 视频路数 1-16 取决于视频规格、客户端运算能力及网络环境,建议移动端不超过3路,桌面端不超过8路
视频规格 "176*144 320*240 352*288 640*480 720*576 1280*720 1920*1080"
视频编解码 "VP8/VP9 H.264"
硬件编解码 支持 H.264硬编解码
动态分辨率调整 支持 可根据网络情况和CPU能力,动态调整视频发送端的分辨率,从而保证在网络情况不佳或CPU性能不好的时候,保持视频的流畅度
多层编码 支持 可根据不同的客户端,选择不同规格的视频发送
音频 音频路数 无限制
音频编解码 iSac iLBC
回声消除 支持 优秀,笔记本外放无回声
噪声消除 支持 优秀,电话音质
自动增益控制 支持
服务器 P2P与MCU 支持
MCU级联 支持
负载均衡 支持
水平延展 支持
分布式集群 支持 客户端可就近连接最快最稳定的服务器集群,保证极致的用户体验,在跨境协同沟通应用如远程会诊中,意义重大。
安全 传输安全协议 DTLS
数据加密算法 AES
网络 防火墙穿越 支持 自动穿透所有防火墙及代理服务器
接入方式 有线网络、Wifi、3G/4G
端口开放要求 80/443
抗丢包率 30% 在30%网络丢包情况下,仍能保持音视频质量
其它 支持平台 所有浏览器、iOS/Android、Windows/Mac/Linux HTML5/WebRTC兼容浏览器,不用下载,其它浏览器可下载插件及本地客户端来支持
支持设备 PC/Mac桌面系统、iPhone/iPad、Android设备、机顶盒,智能电视、各种嵌入式Liunx设备
H.323 支持
SIP 支持
RTMP 支持
RTSP 支持

术语表

术语 术语解释 备注
SDK 英文Software Development Kit的缩写,其含义是软件开发工具包,通常是一个软件公司提供给其它开发公司的工具集合,其它公司可以在SDK基础上做开发。 SDK的典型例子有科大讯飞的语音识别SDK,也有叁体的视频通讯SDK。
音频优先 实时音视频通讯过程中,会有大量声音与视频数据需要传输,而视频的数据量远大于音频,而从沟通效果来说,保证音频数据的传输远比视频重要。所以,在网络状况不良(比如带宽受限)的时候,需要采取特殊的技术,可以对视频数据进行丢弃处理,以优先保证声音数据的传输,这就是所谓音频优先。 音频优先会带来辰音同步问题需要解决
唇音同步 由于实时音视频传输过程中,声音与视频数据是由不同的通道来传输的,需要采取专门的技术来保持声音与视频之间的同步性,从效果上来说,需要保持说话时的嘴唇动作和声音的一致性。 叁体的唇音同步时差小于100毫秒,远远优于市场上一些做网络会议的公司,是赢得类似大华这种大客户的关键
回声消除 "声音在播放过程中,由于场地环境等因素,扬声器传出的声音,会从唛克风传回系统,从声音听起来有类似山谷里回声现象,影响收听效果,严重的时候,会形成“啸叫”,完全听不清楚。 回声消除就是采取各种手段降低乃至避免回声的技术,是声音处理的关键技术,直接关乎音频通讯的质量。" 叁体的回声消除技术业内遥遥领先,笔记本外放,完全无回声。
iLBC Internet Low Bitrate Codec,互联网低码率编解码,是一种开源的窄带宽话音编解码技术,由WebRTC原生支持的音频技术,专门为互联网环境设计,配合相关音频引擎,在较差的网络条件下仍能保持较好的音质。
iSAC Internet Speech Audio Codec,互联网话音编解码,是一种开源音频编码技术,由WebRTC原生支持,专为互联网环境设计。
降噪 "声音在传输处理过程中,会有各种电子噪音混入,从而影声音质量。 降噪就是采取各种技术手段,过滤噪音。" 叁体的降噪技术业内遥遥领先,音质和电话音质不相上下。
H.264/H.265 "H.264是一种主流的视频编码技术,在安防等行业大量使用 H.265是脱胎于H.264的一种新的视频编码技术,预期2016年开始会逐渐获得工业界应用" 作为叁体强大技术能力的一个标志,叁体同时支持这两个系列的编码技术,并能在同一个通讯场景(如多方会议)中,混合使用这两种编码。