什么是 叁体视频SDK？

叁体的核心产品是叁体视频SDK，也就是Open Audio+Video+Data，一个开放的音频、视频与数据通讯能力平台。叁体视频SDK提供了实时音视频、音视频录制，视频直播、屏幕分享、白板批注等能力，支持包括Andorid/ios手机平板，Windows PC，Mac电脑，机顶盒，智能电视等各种设备与平台。

叁体的客户是各种软硬件开发类公司，叁体 SDK可以嵌入移动App，Web应用及各种智能硬件中，帮助这些开发公司实现视频通讯等功能，可广泛应用于远程医疗、远程教育等几十个领域

叁体视频SDK的直接用户，主要是软件工程师，他们会利用叁体视频SDK提供的各种API/SDK开发各种行业应用系统，从这个意义上讲，我们做的是一种所谓B2D（Business to Developer）业务，也是一种开发者服务业务。

叁体视频SDK目前主要以软件形式销售，由第三方团队自己运维音视频服务环境。未来，叁体将在公网上开放相关功能的API/SDK，以所谓PaaS（Platform as a Service）形式提供服务，客户以租用的方式使用叁体视频SDK提供的各种能力。

以下为叁体视频SDK的主要功能：

功能	典型使用场景
实时音频	几乎所有通讯协作应用，包括智能硬件
实时视频	几乎所有通讯协作应用，包括智能硬件
文字聊天	远程教育，远程医疗，网络会议，社交
屏幕分享	远程教育，远程医疗，网络会议
电子白板	远程教育，远程医疗，网络会议
批注	远程教育，远程医疗，网络会议
音视频录制	远程教育，远程医疗，网络会议，安防
视频直播	远程教育，社交

使用方式

如上图所示，一个使用了叁体视频SDK的第三方行业应用，主要由两部分组成，分别是叁体视频SDK相关组件（绿色）及行业应用自身特定功能组件（蓝色）。

叁体视频SDK本身，也是由两部分组成，一是嵌入在各种业务应用客户端中的SDK代码，二是叁体通讯服务器。SDK代码与服务器代码通过网络（公有云、私有云）连接，交换音视频及其它数据，从而完成相关功能。

行业应用的开发人员在需要使用音视频通讯能力的时候，简单地调用叁体 SDK中提供的各种接口即可，不必再花精力去搞懂音视频通讯过程需要用到的非常复杂的技术细节，如音视频采集、压缩、传输及渲染等等。

行业应用自身与音视频通讯无关的功能，则完全由行业应用开发工程师根据需要自己开发，相关数据传输、存储也完全由行业应用业务服务器自己来处理，与叁体视频SKD没有关系。

特点优势

叁体视频SDK具务以下特点与优势：

参数指标

1.支持的设备

支持的设备	支持方式	接口语言
iPhone,iPad	原生iOS本地客户端	Objective -C
Android Phone，Android Pad	原生Android本地客户端	Java
	WebRTC兼容浏览器，如chrome/firefox	Javascript
Windows PC	原生Windows本地客户端	C++
	WebRTC兼容浏览器	Javascript
Mac PC	WebRTC兼容浏览器，如Chrome/firefox	Javascript
Linux PC	WebRTC兼容浏览器，如Chrome/firefox	Javascript
机顶盒	Android本地客户端	Java目前主流的机顶盒都基于Android开发
嵌入式Linux设备，如摄像头等等	原生C本地程序	C
智能硬件，如机器人	原生Android本地客户端	Java

2.支持的操作系统/平台

支持平台	备注
iOS	手机、平板
Android
Windows	Windows桌面专用工控机
嵌入式Linux	一些硬件设备，如摄像头
WebRTC兼容浏览器	5年WebRTC方向技术积累，国内首家支持

3.重要技术参数与指标表

类别	项	值	备注
音视频	唇音同步时差	<100毫秒	唇音完全同步，完美用户体验
	音频优先	支持	在网络不好情况下优先保障声音的质量
视频	视频路数	1-16	取决于视频规格、客户端运算能力及网络环境，建议移动端不超过3路，桌面端不超过8路
	视频规格	"176*144 320*240 352*288 640*480 720*576 1280*720 1920*1080"
	视频编解码	"VP8/VP9 H.264"
	硬件编解码	支持	H.264硬编解码
	动态分辨率调整	支持	可根据网络情况和CPU能力，动态调整视频发送端的分辨率，从而保证在网络情况不佳或CPU性能不好的时候，保持视频的流畅度
	多层编码	支持	可根据不同的客户端，选择不同规格的视频发送
音频	音频路数	无限制
	音频编解码	iSac iLBC
	回声消除	支持	优秀，笔记本外放无回声
	噪声消除	支持	优秀，电话音质
	自动增益控制	支持
服务器	P2P与MCU	支持
	MCU级联	支持
	负载均衡	支持
	水平延展	支持
	分布式集群	支持	客户端可就近连接最快最稳定的服务器集群，保证极致的用户体验，在跨境协同沟通应用如远程会诊中，意义重大。
安全	传输安全协议	DTLS
	数据加密算法	AES
网络	防火墙穿越	支持	自动穿透所有防火墙及代理服务器
	接入方式	有线网络、Wifi、3G/4G
	端口开放要求	80/443
	抗丢包率	30%	在30%网络丢包情况下，仍能保持音视频质量
其它	支持平台	所有浏览器、iOS/Android、Windows/Mac/Linux	HTML5/WebRTC兼容浏览器，不用下载，其它浏览器可下载插件及本地客户端来支持
	支持设备	PC/Mac桌面系统、iPhone/iPad、Android设备、机顶盒，智能电视、各种嵌入式Liunx设备
	H.323	支持
	SIP	支持
	RTMP	支持
	RTSP	支持

术语表

术语	术语解释	备注
SDK	英文Software Development Kit的缩写，其含义是软件开发工具包，通常是一个软件公司提供给其它开发公司的工具集合，其它公司可以在SDK基础上做开发。	SDK的典型例子有科大讯飞的语音识别SDK，也有叁体的视频通讯SDK。
音频优先	实时音视频通讯过程中，会有大量声音与视频数据需要传输，而视频的数据量远大于音频，而从沟通效果来说，保证音频数据的传输远比视频重要。所以，在网络状况不良（比如带宽受限）的时候，需要采取特殊的技术，可以对视频数据进行丢弃处理，以优先保证声音数据的传输，这就是所谓音频优先。	音频优先会带来辰音同步问题需要解决
唇音同步	由于实时音视频传输过程中，声音与视频数据是由不同的通道来传输的，需要采取专门的技术来保持声音与视频之间的同步性，从效果上来说，需要保持说话时的嘴唇动作和声音的一致性。	叁体的唇音同步时差小于100毫秒，远远优于市场上一些做网络会议的公司，是赢得类似大华这种大客户的关键
回声消除	"声音在播放过程中，由于场地环境等因素，扬声器传出的声音，会从唛克风传回系统，从声音听起来有类似山谷里回声现象，影响收听效果，严重的时候，会形成“啸叫”，完全听不清楚。 回声消除就是采取各种手段降低乃至避免回声的技术，是声音处理的关键技术，直接关乎音频通讯的质量。"	叁体的回声消除技术业内遥遥领先，笔记本外放，完全无回声。
iLBC	Internet Low Bitrate Codec，互联网低码率编解码，是一种开源的窄带宽话音编解码技术，由WebRTC原生支持的音频技术，专门为互联网环境设计，配合相关音频引擎，在较差的网络条件下仍能保持较好的音质。
iSAC	Internet Speech Audio Codec，互联网话音编解码，是一种开源音频编码技术，由WebRTC原生支持，专为互联网环境设计。
降噪	"声音在传输处理过程中，会有各种电子噪音混入，从而影声音质量。 降噪就是采取各种技术手段，过滤噪音。"	叁体的降噪技术业内遥遥领先，音质和电话音质不相上下。
H.264/H.265	"H.264是一种主流的视频编码技术，在安防等行业大量使用 H.265是脱胎于H.264的一种新的视频编码技术，预期2016年开始会逐渐获得工业界应用"	作为叁体强大技术能力的一个标志，叁体同时支持这两个系列的编码技术，并能在同一个通讯场景（如多方会议）中，混合使用这两种编码。