多媒体同步北京邮电大学《多媒体通信技术》课程连续媒体和离散媒体?Continuousmediareal-timemediaLDUlogicaldataunit之间存在固定的时间关系捕获时就存在?Discretemediastaticornon-real-timemedia不存在上述时间约束关系LDULDULDULDUt多媒体数据内部的约束关系?Spatialrelations–layout?Temporalrelations–Intra-objectstreamsynchronizationLivesynchronization–Inter-objectsynchronizationSyntheticsynchronizationLivesynchronizationLip-syncaudio-videoPointer-syncaudio-textms80±ms240±多媒体数据的构成?同步描述数据可以与成分数据分开也可以复用在一起时间偏差skew定值多媒体数据成份数据同步规范文本视频图形音频同步描述同步容限多媒体时域同步研究的问题?时域关系的描述?时域关系的维持–同步机制时域参考框架时、空抽象时域抽象为描述时域关系而建立的模型时刻时间间隔时间单位之间的关系时刻3种间隔13种运行时事件与时间轴的对应关系同步描述数据同步规范理解同步规范保证运行时不破坏同步规范时间单位及其关联信息—时刻tatb定量描述定性描述时间单位及其关联信息—间隔间隔ab共13种关系其中6种可看成是另外某一种的逆如afterbefore-1每一种最多由4个参数定义非确定性时间关系非确定性时间关系由用户交互产生的事件其发生时刻是不确定的绝对时间轴模型绝对时间轴基本时间单位时刻关联信息定量事件发生的准确时间时间表示技术运行时直接使用全局时钟优点事件独立增、删事件容易缺点不易表示非确定性事件相对时间轴虚轴模型基本时间单位时间间隔关联信息定性事件发生的前后顺序时间表示技术运行时将虚轴投影到全局时钟上优点继承了时间轴模型的简单可以表示非确定性事件缺点维护复杂一些绝对时间轴逻辑时间虚轴多媒体同步的参考模型编辑器非实时媒体和实时媒体的同步实时媒体流的流内和流间同步获取、并向上层提交完整的LDUPDULDUSpecificationlayerSpecificationlayerObjectlayerObjectlayerStreamlayerStreamlayerMedialayerMedialayerMultimediaapplicationMultimediaapplication时域场景时域定义方案同步机制影响多媒体同步的因素分布式多媒体系统的结构?延时抖动?收、发时钟的频率偏差?不同的起始时间、或传输延时的不同?传输延时不同、或不同的起始播放时间?数据丢失、或网络条件的变化引起失步SSDDS1S1S2S2S3S3DDS2S2S1S1S3S3DDSSD1D1D2D2D3D3S2S2S1S1D1D1D2D2D3D3S3S3延时抖动对同步的影响NetworkNetworkInterInter--streamstreamIntraIntra--streamstreamIntraIntra--streamstreamInterInter--streamstreamVideoVideoAudioAudioServerServerClientClient收、发时钟的频率偏移tpacketsbuffer0tpacketsbuffer0intimeintimeDelayDelayPlayoutratePlayoutrateplayoutsendffplayoutsendff??maxmaxbababealaeblftftftftftftftftfa实际发送时刻fb实际发送时刻若则同步容限基于反馈的流间同步方法?失步调整以一条流为主流master加快/降低另外流slave的时钟频率或增加/删去另外流的数据?选择主流的原则失真敏感例如音频或时钟频率精确、稳定等时钟同步?时间偏差offset?频率偏差skew?频率漂移drift21tCtCtT?Δ1221tCtCtCtT′?′?′′Δα21tCtCtT′′?′′′′Δ基于接收缓存器的方法?收发时钟频率之比为k求缓冲器BCsCrB以发送时钟计的发送时间间隔和到达时间间隔11????ititiaiassssiaipsr第i个LDU在缓冲器中缓存的时间?...3211max∈???iapiaipBsrsr11ssrrtitkpip??以发送时钟度量接收时钟表示的播放时间间隔NssTkititkB????1....3211max流持续的总长度一般锁相电路相位比较鉴相器低通滤波器本地可控振荡器VCO输入信号本地时钟相位差信号Phaselockedl