张国荣生前最后一场演唱会视频修复重映,腾讯多媒体实验室详解幕后技术

记者 | 崔鹏

编辑 |

4月1日晚间,腾讯将在视频号和腾讯视频共同播出张国荣2000年《热.情》演唱会的超清修复版,这是张国荣生前举办的最后一场演唱会。

环球音乐旗下的宝丽金唱片公司为腾讯提供了原版演唱会母带,腾讯云、微信、视频号和腾讯视频参与了本次修复和播出工作,其中为视频做修复的是腾讯多媒体实验室,隶属于CSIG(云与智慧产业事业群)。

1号当天,腾讯多媒体实验室相关负责人接受了界面新闻等媒体的采访,介绍本次修复工作背后的技术和故事。

多媒体实验室总监李松南介绍称,团队日常的工作内容主要有两方面:参与国际国内多媒体(音视频)相关的标准制定;把平时积累的技术提供给其它部门,比如腾讯云音视频、媒体AI中台和数据万象都会用到它们的技术。

今年初,在一个偶然机会下,多媒体实验室与环球音乐旗下的宝丽金唱片进行接触,了解到对方拥有张国荣一场演唱会的母带,而每年4月1日文化娱乐业内都会有纪念张国荣的活动,双方都觉得这里有合作机会,就达成了相关意向。

3月初多媒体实验室团队拿到母带,开始正式做修复工作。其中纯算法跑通大概只用了2天,所以在修复工作中,单纯的算法修复环节耗时并不长。

但实验室希望尽量保留演唱会的艺术风格,所以尝试了不同算法和效果,希望能取得比较好的平衡。

目前,对于胶片产品的修复主要有物理修复和数字修复两种,而数字修复也有人工修复和全自动修复两种方式。腾讯多媒体实验室做的是全自动的基于机器学习和深度学习的修复,通过比较少的人力介入,减少后续人工修复的成本。

李松南告诉界面新闻等媒体,我们的目标是做自动化的修复,算法比较通用,不需要针对性的去做优化,让这套修复算法能够适配更多类似场景。

张国荣生前最后一场演唱会视频修复重映,腾讯多媒体实验室详解幕后技术

李松南向界面新闻等媒体介绍称,修复流程从算法角度来说主要分为四步:

首先是智能分析模块。主要用来分析视频的质量,包括失帧的类型和程度,人脸的位置等。

其次是修复模块。主要用于修复视频中的各种失帧,比如老片中常出现的噪声、隔行失帧,然后对清晰度低的片段进行超分。

第三是增强模块。主要是让图像本身的内容更清晰,更丰富。

第四是编码模块。在尽量低码率的情况下还原视频内容,因为在直播和点播过程中,对码率有一定要求。

张国荣这场演唱会的时长是两小时,传统人工修复大概需要一两个月时间,但是用纯算法修复大概两天就能跑出结果。剩下的时间,团队都在尽量还原演唱会的艺术表达效果。

在这方面,演唱会视频的修复与传统电影电视剧作品的修复有很大区别。

多媒体实验室此前为腾讯视频的《康熙王朝》等电视剧做过修复,影视剧作品的场景比较固定,人物运动和画面色彩风格都比较统一。

演唱会涉及不同色彩的灯光切换,画面镜头多角度切换,针对同一个人物的远近景和大小脸切换。实验室在此前的修复工作中很少遇到这种复杂的场景,其中尤以动态的人脸修复问题比较棘手。

现在行业内主流的人脸修复大部分是基于单张照片进行,在视频修复上会遇到很多问题,比如脸的角度和姿态不一样,在算法里的解决方式也不同。

另一个干扰项来自于灯光因素,演唱会现场的灯光颜色多变,打到人脸上就会出现很多算法难以处理的问题。

我们做人脸修复时有个很大的脸特写,那会正好灯光是红色,打到张国荣脸上的时候,脸的颜色就跟正常不同,所以修复的时候人脸模型和修复结果需要专门做优化。

多媒体实验室2013年刚开始做视频处理时,主要基于传统算法做一些视频降噪和背景增强,后来团队的很多模型依靠AI和深度学习方式在腾讯云上进行,最开始基于卷积神经网络,现在扩展至使用生成网络来进行。

从视频修复对比来看,宝丽金给的母带分辨率非常低,大概只有720×480分辨率,做完修复以后腾讯将其做到了接近4K的分辨率,分辨率大概提升了6倍。

目前,对于老旧影视剧和演唱会作品的修复,业内并没有统一的标准。也就是说,具体修复到什么程度,舞台氛围修复到什么样子才算还原,有没有达到旧的效果,比较依赖主观判断,每个人的看法都会不同。

从结果来看,宝丽金公司对修复的效果满意,也表达了后续针对别的IP进行合作的诉求。

主题测试文章,只做测试使用。发布者:觉鸟网,转转请注明出处:https://www.jueniao.cn/n/22321.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022年6月14日 11:49
下一篇 2022年6月14日 11:50

相关推荐

  • 会比剪刀手、会莫名惊恐、还会发怒,这款机器人表情丰富

    会唱歌的机器人已不稀奇,但是,唱歌配上表情,还能搞怪四连拍的机器人,你见过吗? 11月19日,由微软(中国)有限公司携手张江集团共同打造的微软人工智能和物联网实验室,在上海张江人工智能岛展示首期孵化创新企业成果,同时实验室二期创新企业入营。 作为第二期入营企业代表,一款名为小柒的EX机器人惊艳亮相。澎湃新闻(www.thepaper.cn)记者从微软人工智能…

    2022年6月18日
    3400
  • 除三星现代,韩国还有很多品牌服务中国百姓,别再以为是国货

    韩国是一个小小的国家,但是这个小小的国家却蕴含了巨大的能量,不仅有三星、LG、现代等一批超级企业,还在整形、娱乐、旅游等领域非常发达。其实韩国不只有三星现代这样的超级巨无霸,还有一大批超级品牌服务着大家生活的方方面面,而大家还以为是中国品牌。 韩国首尔 今天小鹏就给大家盘点一下韩国的那些默默无闻,闷声在中国发大财的企业品牌。 1,好丽友 好丽友集团创立于19…

    2022年6月14日
    3800
  • 集成NVIDIADRIVEOrin,悠跑HPVC成业界首个开放式汽车超算平台

    图源:悠跑科技 集微网消息,2022年3月23日,悠跑科技与英伟达(NVIDIA)宣布合作。具体而言,悠跑UP超级底盘将采用NVIDIA DRIVE Hyperion AV平台架构打造其高性能汽车大脑(HPVC,High Performance Vehicle Computer)。集成NVIDIA DRIVE Orin系统级芯片能力,悠跑HPVC成为业界首个…

    2022年6月15日
    2400
  • 四是four,但第四是forth还是fourth?

    今天要和大家说一说数字four。大家都知道,四是four,十四是fourteen,四十是forty。但four的序数词是forth还是fourth呢?这么一问,是不是让大家觉得forth看着也挺像正确答案的呢?forth和fourth这两个就差个u的单词,我们来看看吧! 1、forth forth是副词,表示向前、向某处;离开、外出,只能放在动词后哦!和数字…

    2022年6月25日
    2500
  • 一秒之差!为什么科学家坚持要把一分钟缩短到59秒?

    为什么科学家一直坚持要把1分钟缩短到59秒,因为:时间可能不多了! 我们喜欢说生活中没有什么是确定的,除了死亡和税收,但事实是,甚至我们的星球和宇宙也不断地把变化强加给我们。 这就包括科学家们的新建议:我们应该考虑把这1分钟缩短到59秒,至少缩短一个负闰秒,这样我们就能更好地与地球的真实自转相吻合。 在这之前的一年里,地球的自转速度可能比以往任何时候都要快。…

    2022年6月17日
    4500

发表回复

您的电子邮箱地址不会被公开。

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信