在11月28日举办的第十二届“挑战杯”中国大学生创业计划竞赛决赛中,我院2017级新闻学本科生金若熙同学带领的“I-Dub——国内首创AI影视后期声解决方案提供者”团队荣获“文化创意和区域合作”组金奖。
“I-Dub”团队成员是如何走到一起的?这一AI拟音创业项目有何特色?团队从诞生至今又有哪些故事?让我们一起来看看“I-Dub”的台前幕后吧!
团队介绍
I-Dub——国内首创AI影视后期声解决方案提供者
团队负责人:金若熙
团队成员:谭惠文、布音塔娜、印杨、王美琳、姚敏、徐舒婷、张濛濛、俞佳兴
指导教师:张克俊、王婧、江浩
项目介绍:“I-Dub——国内首创AI影视后期声解决方案提供者”团队主要关注影视后期制作中的拟音技术,致力于将拟音技术与人工智能结合。团队成员由传媒、计算机及经管等多个学科背景的同学共同组成,融合前沿计算机人才和专业后期拟音师,以技术创新助力影视后期工业化为愿景,力求优化声音制作后期拟音行业的良性资源配置,改善行业后期制作拟音配音“一刀切”的现状,同时降低部分场景的声音后期制作门槛,来丰富声音制作的应用场景。
灵感的诞生
“‘Dub’是配音的意思,‘I’是指AI,这两者合在一起,就成了我们的‘I-Dub’。”项目负责人金若熙介绍道。“I-Dub”这一名称,完美地展示了项目的核心功能——将拟音技术与人工智能结合,以视频动作识别和声音识别自动匹配为核心技术,提高影视后期制作的生产效率。
两年前,金若熙在拟音师薛媛的一场讲座中初次接触到了“声音的魔术”,从此便对拟音领域产生了浓厚的兴趣。此后,她开始对影视作品中的各种声音产生了额外的关注:“从影片中人物间对话的声音,到周围次要人物的交谈声、走路声,甚至连人物随手摸一下杯子的声音,都十分有讲究。”
在和拟音师薛媛的交流中,金若熙逐渐发现了拟音这项工作中暴露出的供需不平衡的严重问题:目前影视作品中的声音基本都要靠拟音师人工拟音,工作量非常大;与此同时,市场上每年拍摄的电视剧不计其数,而从事拟音工作的人却越来越少。“发现这个矛盾之后,再加上传媒与国际文化学院2016级广告学本科生李晨啸学长用AI做音乐的启发,我们就开始产生这个想法:AI能做音乐,那是不是也能去模拟声音?”
产生了这样的灵感之后,2019年3月,金若熙和团队其他成员就开始着手将这个想法变成现实。在和拟音师交流中,她发现,其实配音的过程往往会遵循一定流程和观察的维度。以走路的画面为例,拟音师往往会先关注主人公的性别、身材,然后关注到鞋子、地板,在此基础上再看他的步伐和频率。有了一定的了解之后,团队会将同样的逻辑植入到算法中,从脚步声配音开始一步一步攻克不同的细分领域。
从0到1的蜕变
从创业开始到现在,“I-Dub”团队经历过数不清的挫折和坎坷。金若熙提到,直到现在,技术都还是团队创业过程中的一大难题。一方面,很难找到能担得起整个项目的算法总工程师的成员;另外,由于目前全球顶尖的算法和人才大多集中在视觉领域,声音方面可依托的基础很少,声音方面的人才也很少,这就为团队的技术突破造成了不小的障碍。
刚开始进行这个项目的时候,金若熙常常会和学院的创业前辈交流项目的关键点,而每一次交流都会让她受益匪浅,了解到自己所忽视的问题:“第一次有了想法并且参加比赛前,我去找李晨啸学长沟通,聊过之后我发现我们的项目有很多不足,甚至觉得不想去参加比赛了;2019年冬天团队组好、技术验证可行之后,又和学长聊了一次,他又问了我很多个‘为什么’,而且越问越深,帮我解剖了很多关键问题。”
除了创业本身的难题之外,每一次比赛对于队员们来说也都是不小的考验。在这次准备“挑战杯”的过程中,“I-Dub”团队就经历过一段压力很大的时期。由于工作对接出现了小小的差错,在一次排练展示后,团队的表现不尽人意,队员们甚至陷入了自我怀疑的泥沼。
“好在后来,学校团委和学院的老师们都给了我们很多支持。”成员们提到,在比赛前一周,团队成员经常和校团委、学院的老师聚在一起,讨论PPT和讲稿的修改。金若熙说,“老师们的帮助细致入微,甚至连展示时要穿的衣服都会亲自操刀,给我们建议和帮助。”
是队员,更是伙伴
至今不足两年的时间里,“I-Dub”团队已经先后斩获了“互联网+”浙江省赛区金奖、“挑战杯”中国大学生创业计划竞赛全国决赛金奖等多个奖项。这些奖项的获得,离不开团队内每一位成员的配合与付出。
“I-Dub”团队由来自传媒与国际文化学院、计算机科学与技术学院、医学院、管理学院等不同学院的学生组成。虽然学科背景不同,但是成员之间非常合拍,配合默契很高。团队组成至今两年左右的时间里,团队的成员常常既要一起讨论项目进展,又要同时准备比赛事宜,经常一起忙到深夜,但即便再辛苦,大家也会相互鼓励,队内气氛一直很融洽。团队中的每个人不仅仅是成员,更是一群为了共同的目标而奋斗的伙伴。
金若熙印象最深刻的是国赛那天凌晨:“大概两三点钟的时候,我们还在一起互相核对答辩的问题。当时虽然已经夜深了,天气也很冷,但是大家坐在一起为共同目标做准备的情景,现在想想还是会觉得很感动。”
虽然经历过打击与坎坷,但是“I-Dub”团队一直没有放弃。到今天,团队还在尽力攻克技术难题,不断提高算法识别的精度和准确率,并从多个方面共同努力,致力于将“I-Dub”项目一直做下去。
“我觉得这种‘创业精神’值得每个人都有所接触,这是一种经历,也是一种成长。” “I-Dub”成员布音塔娜说道。
从最初在业界的实际应用中发现需求、产生灵感,到组建团队、深耕各种技术难关,再到打磨网站准备投入使用。一路走来,金若熙和团队其他的成员们遭遇过不少质疑和坎坷,但团队成员还是披荆斩棘,让灵感之芽开花、结果。
“我们希望每个人都可以成为声音的创作者。”在不久的将来,金若熙团队计划尽可能提高“I-Dub”的可及性,降低声音创作的门槛,让更多人能够通过这个产品,创作出属于自己的有声作品。
目前,“I-Dub”第一代网站已经有了基本雏形,团队计划上线一个较为全面的、包括很多经典音频案例的“声音图书馆”。初期阶段,团队打算做一些相对“轻量级”的工作,面向配音爱好者,让没有基础的人也可以轻松给自己的作品配音。