推动视频编码技术更新换代的中国力量
作者 | 布鲁斯
编辑 | 布鲁斯
12月6日，一条新视频在无数“见证历史”的弹幕中，揭开了互联网视频平台8K超高清时代的序幕。
新华社和B站上传的这条有关在乌兰察布拍摄中国空间站的纪录视频，时长只有不到3分钟，但它却是B站首个8K超高清视频，也让B站成为国内首家支持上传8K超高清视频的互联网平台。数日内，这条视频的播放量已经突破400万次，属实吸引了B站众多观众的眼球。不少网友调侃道：“又有理由买新电视了。”
不只是B站，继今年2月起的试验播出之后，央视8K超高清频道也将于今年12月正式开播。据报道，明年的北京冬奥会也将成为首次采用8K超高清直播的冬季奥运会。8K超高清时代已然来临。
虽然高清视频早已进入寻常百姓家，但视频技术的发展却从未停滞。在向着清晰度“没有最高、只有更高”的目标迈进的道路上，人类一直在不断超越自己。
01
普及超高清，先升级编码标准
近年来，随着5G网络、千兆光纤的普及，信息基础设施的不断优化，人们对视听领域高清化、超高清化的需求也在增长。这也深刻影响着音视频领域技术的革新进程，尤其是视频压缩技术的迭代。从数字时代的第一个实用的视频编码标准H.261，到MPEG-2 / H.262成为DVD和标清数字电视的标准视频格式，视频编码标准一直推动着电视高清化和数字媒体技术的发展。
我们今天使用最广泛的视频编码标准H.264 / MPEG-4 AVC，颁布于2003年，它不仅是蓝光光盘的视频编码标准之一，也是如今互联网流媒体、高清电视等所广泛采用的标准。
但是，作为一个已经被使用了将近20年的视频编码标准，H.264在应付飞速发展的超高清视频产业上，已经略显疲态。
五年前，一部由李安导演的电影《比利·林恩的中场战事》刚一上映便轰动一时，不仅因其在战争的展现和人性的探索等方面展现出的艺术价值，更因其打破了传统电影每秒24帧画面的格式、使用了120fps+4K+3D的规格放映。
每秒120帧画面，是普通电影帧率的5倍，又有4K分辨率和3D等技术加持，带来的无疑是更加震撼人心的体验。虽然也有部分影迷坚持认为每秒24帧的老格式才更有所谓的“电影感”，但不得不承认，120帧每秒显然使画面更加流畅生动，纤毫毕现，更接近真实生活，让观众更有身临其境之感，其应用前景不可估量。
当然，如此震撼的体验，所带来的存储和传输成本也是陡然升高的。
按照老一代的H.264编码格式，一部普通的1920×1080、24fps、2个小时的高清视频，通常都要占用几个GB甚至十几个GB的存储空间。而《比利·林恩的中场战事》的最高帧率120fps已经5倍于普通影片，4K分辨率的像素数量是普通1080p高清影片画幅的4倍，B站刚刚上线的8K超高清视频像素数量更是已经达到了1080p视频的16倍。
▲ 标清、全高清、4K超高清、8K超高清的分辨率比较（来源：wikipedia.org）
可想而知，如果以此类推，刨除可能存在的存储及传输标准的限制，诸如《比利·林恩的中场战事》这样的高规格视频，其存储空间将动辄数百GB。如果按照国际测速机构Speedtest公布的2021年10月我国约130Mbps的宽带下载速率中位数（Speedtest报告的速度是比较快的，其他测速机构报告的速度低很多），那么下载一部这样的视频可能需要花费近2个小时；如果未来再出一部8K版或者色深、色域等规格更高的版本，恐怕下载时间就要以“天”计算；更不用说VR视频和直播的超高清化。
幸运的是，人们在向超高清化的方向迈进的同时，也没有停下对视频压缩技术的研发——是时候用新的标准取代H.264标准了。
02
推行新标准，专利池或为答案
资源与需求之间的矛盾伴随着人类社会的发展而长期存在。在存储和传输方面的资源有限的情况下，人们也在通过探究视频压缩技术来解决音视频大量存储和传输的问题。
在中国刚刚普及彩电的年代，日本等发达国家已凭借有利的政治、经济和科技条件，在视频压缩技术方面走在了世界前列。1988年，首个实用视频编码标准H.261就是由国际电信联盟电信标准化部门（ITU-T）制定，由包括日立、日本电信电话（NTT）、东芝、索尼等日本公司，和美国AT&T、英国电信（BT）等在内的多家企业共同开发的。后来，在H.262、H.263、H.264等后续标准的开发中，还出现了三菱、松下、LG等更多企业的身影。
这些视频编码标准使用了离散余弦变换（DCT）和运动补偿（MC）技术，通过减少空间和时间冗余的压缩算法来更紧凑地存储信息，从而节省存储空间和传输带宽。
而2013年由ITU-T、ISO / IEC正式发布的H.265 / HEVC视频编码标准，则对上一代H.264 / AVC标准进行了延续和优化。所谓HEVC意即“高效率视频编码”，它可以在相同的画面清晰度水平下提供比AVC好上25%至50%的数据压缩性能，或者在相同的数据速率下大幅提高画面清晰度，同时，对清晰度越高的视频，HEVC采用的压缩比也越高。换言之，原本一部可能用AVC压缩需要100多GB存储空间的《比利·林恩的中场战事》，用HEVC标准进行压缩后，只需要50GB就能搞定。
根据Bitmovin杂志发布的2021年视频开发者报告，截至2021年，H.265 / HEVC标准，已被49%的视频开发者所采用，不过尚不及“前辈”H.264 / AVC标准高达83%的使用率。
那么，这么好的标准，为什么迟迟没有取代旧标准？原因可能来自多个方面，但其中的主要原因之一或许是以往相关专利许可的复杂性。
音视频领域技术创新的标志之一，就是相关专利申请量的增长，尤其是标准必要专利的增长。通过在知产宝全球专利数据库中检索可以发现，在IPC分类号为H04N19/00的“用于数字视频信号编码，解码，压缩或解压缩的方法或装置”的专利类别中，共有约4.6万项结果，其中索尼以7492件专利申请领跑该类专利申请人排行榜，不愧于“索尼大法”的名头；松下也拥有5698件相关申请，佳能、东芝、三菱等也有较多相关专利申请。而据分析，目前仅是HEVC标准相关专利就有大约2.3万件。
▲ “用于数字视频信号编码，解码，压缩或解压缩的方法或装置”类专利各申请人申请量（来源：知产宝）
而且，随着H.265 / HEVC及后续标准的推出，相关行业内的众多企业也纷纷加大了研发投入和专利申请的热情，视频技术领域创新活跃度日益上升。
中国信息通信研究院知识产权中心工程师徐丹在近日发表的《超高清数字视频编解码技术领域专利分析》一文中认为，随着超高清数字视频技术在4K、8K、VR、流媒体视频等领域的应用越来越广泛，从技术的角度看，对传统策略的改进已经无法满足编码性能需求，基于人工智能神经网络算法、自适应全局优化策略、将编码与传输结合实现大跨度编码效率提升备受关注。专利作为反映核心技术和研究动态的风向标，专利方案和申请量反映了视频编解码领域的技术动态和演进趋势。
然而，实施新的标准所需的诸多技术专利，尤其是标准必要专利（SEP），掌握在不同的专利权人手中，这给SEP许可带来了一些障碍，客观上增加了标准推行的难度和成本。
专利池成为了解决问题的关键。
专利池（patent pool）或者专利联盟，是指两个或更多专利权人之间将其一个或更多专利进行互相许可或许可给第三方的协议。早在1856年，美国出现了第一个专利池——缝纫机联盟，该专利池几乎囊括了美国当时所有缝纫机专利权人。随着历史的发展，专利池也经过了不断地转变和升级。现代专利池的再度兴起适应了经济全球化背景下科技发展和技术标准日益强化的新趋势，有着深刻的经济与科技背景。
世界知识产权组织（WIPO）在2014年的研究《专利池和反垄断——比较分析》中指出，专利池常常扮演着向企业提供开发兼容标准所必需技术的基础角色，可以提高效率，减少或消除诉讼成本，减少交易成本。
鉴于专利池所具有的优势，视频产业相关企业围绕H.265 / HEVC标准也建立了多个专利池。但是，正如上文所提到的，HEVC技术相关专利的许可局面并不简单，存在多个专利池以及部分游离在池外的专利权人。有时候，采用H.265标准的厂商可能需要向不同的专利池分别缴纳许可费用，不仅不够方便，甚至可能造成重复缴费等问题。
03
后来者居上，许可格局渐明朗
目前，HEVC视频技术领域最大的专利池是总部位于美国波士顿的Access Advance公司所管理的HEVC Advance专利池，拥有约17000件专利，涵盖最多的专利权人，不仅包括东芝、NTT、三星还有最近加入的松下和微软，也有华为、中兴、OPPO等中国企业；其次是MPEG LA，拥有5404件专利；还有约4100件HEVC技术专利则分属于之前的Velos Media成员或者单独的专利权人。
▲ HEVC专利池格局（截至2021年12月）
但其实HEVC Advance并不是一开始就聚集了如此多的HEVC专利的，反而是MPEG LA长期“一家独大”。MPEG LA早在1996年就已成立，在20多年里许可过MPEG-2、MPEG-4（包括H.264 / AVC）、VC-1等音视频标准必要专利等，是一家“老牌”专利池。
然而，随着HEVC等新技术的开发及其标准的发布，一些专利权人不满足于MPEG LA的HEVC专利池许可实践，转而在2015年成立了HEVC Advance专利池，还有一些则在2017年成立了Velos Media专利池。这种专利许可的“碎片化”，降低了专利实施人获得HEVC专利许可的效率。
不过，随着过去几年里的大浪淘沙，HEVC专利许可格局不断洗牌，其中有一个专利池开始吸引越来越多的专利权人加入，专利权人们逐渐汇集到一家平台——没错，正是HEVC Advance。
据业内人士反映，由于Access Advance公司更合理的许可架构和优质的服务，其HEVC Advance专利池不断发展壮大，越来越多的专利权人加入，其中不乏许多原来的MPEG LA和Velos Media成员；与之相对的则是三星等多家韩日企业离开MPEG LA转投HEVC Advance，以及松下、高通相继退出Velos Media，另外，众多游离在专利池外的专利权人也纷纷加入HEVC Advance专利池，例如Fraunhofer、LG、华为、东芝、OPPO、中兴和刚刚加入的微软。
随着HEVC Advance滚雪球式的发展，据称，这家专利池现在已经汇聚了HEVC全部标准必要专利的七到八成。对于一项有如此众多专利权人的技术而言，这样的标准必要专利覆盖率已经近乎“一站式许可”。可以预见，专利许可的日益集中化，对于专利许可人和被许可人而言将能节省不少成本。
▲ 不同专利池在各国已授权的HEVC专利族的数量比较。Access Advance（HEVC Advance专利池）一骑绝尘（来源：Cipher）
Access Advance在整合HEVC专利许可市场方面取得的成功，吸引很多国内大厂也纷纷“押注”Access Advance：2020年1月，Access Advance宣布华为加入HEVC Advance专利池，成为该专利池的许可人和被许可人；2020年12月，大疆、OPPO加入；上个月（2021年11月），中兴通讯以许可人和被许可人的身份加入；而就在本月（2021年12月）初，Vivo也加入了这个日益壮大的群体。粗略计算，Access Advance的HEVC专利池公开的被许可方列表里面有已经有七八十家中国厂家，除了上面这些“大厂”外，还包括长虹、九州、厦门亿联、浙江大华等知名企业等。
▲ Access Advance宣布中兴通讯、Vivo加入HEVC Advance专利池（来源：美通社）
Access Advance能赢得行业青睐，不是没有来由的。为了改善以往专利池许可中的不佳做法，Access Advance下了不少功夫。
例如，为了方便许可人和被许可人，Access Advance将专利池的详细信息、入池的相关操作步骤、FRAND费率设置的解释、以及池中现有专利的详细信息等诸多资料放在网站上供查阅。这种公开透明的做法，对潜在许可纠纷的化解具有积极意义。对于某些厂商如果签了专利池许可和双边许可，或者同时签了两个专利池的许可，出现有一些专利可能同时包括在两份许可中的情况，Access Advance专门拟定了相关政策：避免出现许可人对同一专利重复收费的情况，对许可人而言，它应当采取措施避免收两次专利费，如果无法避免，就需要偿还重复的款项，Access Advance也会应其要求预先扣除或者退回重复许可费。
不仅如此，Access Advance还十分具有前瞻性思维。
众所周知，去年（2020年）7月，最新一代的视频编码标准H.266 / VVC已经出炉，据报道将会在HEVC的基础上实现更强的压缩性能和广泛的应用支持。虽然VVC的推广应用还处于早期阶段，但它无疑是一份面向未来的标准，对视频产业具有重大意义。
为此，除了启动了VVC专利许可池VVC Advance之外，Access Advance还从长远考虑，提出了“多编解码器衔接协议”（Multi-Codec Bridging Agreement，MCBA）。这不是一份许可协议，而可以理解为是给广大被许可人准备的一张“优惠券”：HEVC升级为VVC就像4G升级为5G，是一个行业发展的必然趋势，前沿的被许可厂商如果既使用HEVC又使用VVC，那么选择这张“优惠券”就能显著降低总费用。此外，这种做法还有利于简化流程以及使未来许可成本可控，对于推动厂商从HEVC标准向更先进的VVC标准平滑过渡具有积极作用。
Access Advance首席执行官Pete Moller曾表示，平衡的专利许可费率结构，加上有效的早期参与激励机制，将能够吸引更多的专利权人和专利实施者，从而为市场提供最大利益。他认为，视频编解码专利池许可的未来应当是更加包容的，更加有效率的，拥有更广泛的关注点，并且应当为今天不断演进的多编码标准生态而构架，这也正是市场的客观要求。
HEVC专利许可的复杂局面，正在被Access Advance成功化解。这也给HEVC视频编码标准以及更先进的VVC标准的推行带去一道曙光。
04
结语：未来已来，中国可期
随着5G的加速大规模商业化，超高清视频正成为5G的首批应用场景之一，将大幅提升人们的视听体验。同时，超高清技术可应用于多个衍生行业，进一步激发相关消费潜力。
中国电子信息产业发展研究院统计显示，2020年，我国超高清视频产业总规模近1.8万亿元。根据中商产业研究院预计，我国超高清视频产业在2021年有望达到2.45万亿元。
工信部、广电总局、中央广电总台《超高清视频产业发展行动计划（2019-2022年）》明确提出，到2022年我国超高清视频产业总体规模超过4万亿元，8K电视终端销量占电视总销量的比例超过5%，4K频道供给能力大幅提升，实现超高清节目制作能力超过3万小时/年，超高清视频用户数达到2亿。为落实该行动计划，工信部等六部门还于今年10月启动“百城千屏”超高清视频落地推广活动。
在今年的“世界超高清视频（4K/8K）产业发展大会”上，工信部指出，加快发展超高清视频产业，能够直接带动制播设备、终端产品、显示面板、芯片等产业链整体换代，形成万亿级新兴产业集群。工信部要求，要着重把握好重大技术代际演进的战略机遇，打造全球领先的超高清视频产业集群。
与此同时，中国信通院和IMT-2020（5G）推进组今年（2021年）3月发布的《5G+产业标准必要专利发展趋势》分析指出，5G技术也极大地促进并催生了繁荣的互联网内容产业，尤其是新兴视频产业，例如短视频、互联网直播，这些内容占据了当前互联网数据流量中绝大部分，视频压缩技术是节省视频内容传播成本的关键技术。相应的，视频压缩技术所发挥的关键贡献宜得到与之匹配的客观体现与回报，该领域的知识产权许可现状也应随之有相应的新的变化和发展。
而在视频压缩技术不断演化的过程中，有一支“中国力量”不可忽视。在HEVC时代，以华为和中兴为代表的少数中国企业已经积极加入到国际标准技术贡献者行列，并且通过加入HEVC Advance专利池来解决标准必要专利的许可问题；在未来的VVC时代，将有更多中国科技公司投身标准制定和技术开发，并积极加入新一代的专利池。
根据IPlytics的数据，目前国内除了华为以1515件VVC专利成为VVC标准技术的第二大贡献者以外，腾讯、字节跳动也分别以1200件、874件VVC专利的数量，在目前VVC标准专利贡献排行榜上名列第二和第六，成为视频技术研发领域新军。另外，快手和阿里巴巴也榜上有名。中国力量，不仅参与到现有视频编码标准专利的许可中来，也在为视频产业的未来贡献中国智慧。
▲ 已经得到批准并被纳入VVC标准的各公司贡献份额。中国力量（高亮部分）已经成为视频编码标准的重要参与者（来源：Iplytics，2021年2月）
从“远古”时代动态影像摄制技术的发明，到电子成像代替化学成像；从第一台电视机、第一部电视节目的诞生，到彩色电视普及到千家万户；从不够稳定清晰的模拟信号时代，到如今细如发丝亦清晰可见的超高清数字信号时代；从被动的观看电视、电影到丰富多彩的互联网直播、弹幕交流、8K视频……这一切，都是在为了更好地记录历史。而你我，正如首个8K视频上飘过的无数弹幕所言，就是历史最好的见证者。
参考文献
1. 新华社、哔哩哔哩弹幕网、我们的太空. 久等了！B站首个8K视频来了，追寻最美中国星[EB/OL]. [2021-12-23]. https://www.bilibili.com/video/BV1KS4y197BN.
2. 大咩. 国内哪些影院会以4k 120帧的3D规格播放李安新片《比利·林恩的中场战事》？[EB/OL]. [2021-12-23]. https://www.zhihu.com/question/51014014/answer/130143047.
3. Wikimedia Foundation, Inc. Video coding format[EB/OL]. [2021-12-23]. https://en.wikipedia.org/wiki/Video_coding_format.
4. 人民资讯. 4万亿赛道迎来大事件！CCTV-8K超高清频道即将上线，互联网巨头抢先布局（附受益股）[EB/OL]. [2021-12-23]. https://baijiahao.baidu.com/s?id=1718486150375365616.
5. 信通院知产中心. 中国信通院徐丹：超高清数字视频编解码技术领域专利分析[EB/OL]. [2021-12-23]. https://www.163.com/dy/article/GQP40UJN0552DNFX.html.
6. Ookla, LLC. China's Mobile and Fixed Broadband Internet Speeds[EB/OL]. [2021-12-23]. https://www.speedtest.net/global-index/china#fixed.
7. WIPO. PATENT POOLS AND ANTITRUST – A COMPARATIVE ANALYSIS[EB/OL]. [2021-12-23]. https://www.wipo.int/export/sites/www/ip-competition/en/studies/patent_pools_report.pdf.
8. 华南技术转移中心. 华转网：什么是专利池？[EB/OL]. [2021-12-23]. https://zhuanlan.zhihu.com/p/179941014.
9. Bitmovin. Video Developer Report 2021[EB/OL]. [2021-12-23]. https://go.bitmovin.com/video-developer-report.
10. 中国信息通信研究院、IMT-2020(5G)推进组. 重磅！中国信通院最新发布《5G+产业标准必要专利发展趋势》报告（共40页）[EB/OL]. [2021-12-23]. https://mp.weixin.qq.com/s/Vmv98X1CIIcUAXMwaIDHSQ.
（图片来源 | 网络）
