6月3日晚，数字人谷小雨联手艺人张韶涵登上浙江卫视音乐节目《天赐的声音》的舞台，共同演绎了由宋词改编的经典歌曲《但愿人长久》。二“人”以歌会友，在虚实结合的AR舞台上，再现苏轼笔下关于山水、花鸟的想象和诗家情怀。
视频：张韶涵谷小雨《但愿人长久》 天赐的声音3第12期 （时长：）
谷小雨由浙江卫视与腾讯互娱知几（以下简称“知几团队”）联合打造，是国内首个使用虚幻引擎在广电AR实时舞台实现实时渲染的超过200万面数的高精度写实数字人。她由南宋临安“穿越”而来，作为宋韵文化的数字推广者，将引领观众沉浸式感受宋韵文化。
01
担任浙江卫视宋韵文化推广人
此次与张韶涵的联袂演出，是谷小雨作为浙江卫视宋韵文化推广人，首度出现在公众面前。
在节目现场婉转的歌声中，谷小雨轻挪舞步，她时而化身宋词的歌者，以歌会友，为世人再现诗词的想象和诗家情怀；时而又变成江南千百湖泊的守护者，在浙派古琴传人徐君跃的宋乐伴奏下，还原那些关于古典梦境的想象，传颂千百年前关于水的传说。
谷小雨作为宋韵文化推广人首度出现在公众面前
二人表演的AR舞台也如梦如幻。只见舞台上的光影自然流转，一副山水画卷徐徐展开，双燕环绕，萤火纷飞，月光瀑布倾泄而下。在两位歌手的带领下，观众“梦回宋朝”的月圆之夜，感怀人世间的悲欢离合。
谷小雨的“人设”是烟雨江南的“女儿”，为最大程度还原宋韵时期的人物风貌，知几团队参考了大量宋代历史文献资料，对谷小雨的外形进行了精心设计，上身以改良褙子、宋抹叠穿，袖口造型以西湖荷叶为灵感。下身则大胆搭配镭射材质短裙，外搭不对称垂感的水墨印花长裙，而印花的灵感则来源于南宋李嵩的《西湖图》。
据悉，此次谷小雨造型设计获得了中国丝绸博物馆以及北京服装学院教授的指导，在服饰的纹样、面料及制作工艺还原上做到了精益求精。
此次献唱是谷小雨“演艺生涯”的开端，未来她将活跃在浙江卫视的各大节目中，为全国观众献上更多兼具文化底蕴及科技感的舞台表演，传播宋韵文化。
02
30万根毛发，精度达200万面数
舞台表演实时渲染
作为宋韵文化数字推广者，谷小雨从平面的2D形象转化为3D的数字人，再到“站”上AR舞台与真人实时互动，期间经历了多次推敲和打磨,并承载着深厚的文化底蕴与强大的技术力量。此次谷小雨的模型精度高达200万面，同时还要保证五层布料在AR舞台上实时解算，可以说，这一次表演实现了算力和技术的双重突破。
谷小雨是模型精度高达200万面的高精度写实数字人
谷小雨相貌柔美，服饰考究，对于数字人呈现来说，从原画设定到舞台呈现每个环节都很具挑战。为此，知几团队使用面部扫描辅助完成角色建模，后续经过绑定、动作捕捉、毛发与布料实时模拟、引擎渲染等环节,落地并优化了数字人相关的前沿技术。
其中，谷小雨的两根麻花辫最为抢眼，尤其是她在舞台上的表演大部分均在虚幻引擎中实时模拟完成，脱离了传统的CG渲染管线。知几团队采用XGEN制作的方法，面对多达30万根数量的发丝，克服引擎算法限制、扩展算力，完成了包括麻花辫及五层高面数布料叠加交互运算的重资产实时动态模拟。
此外，谷小雨一身“环佩叮当”的宋韵服饰也是一大看点，薄纱、丝绸、麂皮、珍珠、金属等多种材质融为一体，如何让谷小雨的皮肤质感、服饰质感在实时渲染时高度写实，也是此次数字人呈现的一大困难。
知几团队在研究现实中不同物料的特质之后，利用SD贴图工具进行不同的纹理Tilling制作，最终在引擎内通过开发不同的光照Shader，模拟出不同的面料质感。同时，由于AR端对实时呈现要求较高，团队突破性的在材质选择上设置了高低配的功能选项，当性能消耗大时，可以手动切换成低配方案来满足不同的性能需求。
通过实时渲染材质最大程度还原双面复杂的写实服装细节，谷小雨的皮肤质感和服饰特点得以完美呈现。这些都让传统文化在数字化创新形式下，有了极致和细腻的表达。
03
AI智能驱动
可以跟你一起合唱的数字人
节目上，谷小雨表情生动自然，为实现写实风格的面部效果和实时动作捕捉要求，知几团队采用了写实级别的面部绑定系统,模拟面部真实肌肉的效果,并通过游戏引擎中的驱动贴图,来达到写实级别细节效果。同时，知几团队也把影视级实时预演流程转移到数字人制作上，让拍摄现场及时得到画面反馈,使真人和数字人表演更完美地结合。
和市面上的其他虚拟歌手相比，谷小雨的最大不同在于拥有强大的AI交互功能。此次登上舞台的谷小雨虽然只表现了唱歌跳舞技能，但知几团队在制作数字人数字资产的同时，也在搭建AI技术智能驱动系统，以此实现全栈式数字人制作、驱动、内容生成，使谷小雨具备更加拟人的感知、表达和交互能力，为数字人注入“灵魂”，让“她”听得懂、会交流、能说会唱。
谷小雨未来将具备AI驱动的感知、表达、交互能力
为了让数字人能听得懂人类的语言，知几团队目前已经储备了语音理解通路上的全链路技术，包括降噪增强、唤醒（keywordspotting）、语音识别（ASR）、自然语言理解（NLU）、语音文本跨模态语义匹配等关键能力。
为了让数字人能更进一步地与人类对话交流，知几团队使用超过200GB的高质量文本数据，训练了一个30亿参数量的超大规模对话预训练语言模型，并基于此实现了能理解上下文和全局内容的端到端可控对话生成技术。未来，谷小雨可以带领观众进入各种虚拟场景，例如作为导游带你领略宋代河山，或者作为现实中的博物馆导览员与观众互动。
为了让数字人能说会唱，知几团队构建了支持多情感、多风格、多音色、多语种、多口音的语音合成系统方案，并在持续扩充语音数据，同时研发了歌声合成技术，合成的歌声真假难辨，基于这个能力，观众甚至可以和谷小雨一起组成乐队合唱自己喜欢的曲目。
04
谷小雨进一步拓宽数字人想象空间
此次谷小雨的首次公开亮相，是数字人技术助力文化影响构建的又一次有益尝试。作为宋韵文化的数字推广者，谷小雨参演音乐真人秀，以创新形式弘扬传统文化，进一步拓宽了数字人技术的应用和想象空间。据悉，浙江卫视和腾讯互娱知几未来还将联合成立技术实验室，共同探索数字人更多元化的应用场景。
浙江省政府参事、宋韵文化研究传承中心专家委员会召集人胡坚认为，通过技术打造一个数字人来传播宋韵文化，这本身就很有创意，而且也非常符合当下传播的新方式，“谷小雨的定位是十八岁，也是希望她能吸引更多的年轻人，助力宋韵文化更好地走向年轻人。”
游戏技术正在文化领域创造多元价值
除了这一次表演之外，接下来谷小雨的“排期”非常忙碌，她的身影还会在浙江卫视及其新媒体的屏幕上反复出现，并将出现在与浙江博物馆合作等各个推广宋韵文化的场景之中，生动而广泛地传播宋韵文化。
谷小雨的亮相，再一次展示了以数字人技术为代表的游戏技术在文化创新化传播维度的有效应用。未来，游戏技术还将与更多领域产生广泛连接，在文化弘扬、公共服务、公益等领域释放更多可能性，进一步实现多元价值创造。
