CAD/CG 2024挑战赛

主办单位：中国计算机协会(CCF)

承办单位：华东交通大学

                 浙江大学南昌研究院（江西求是高等研究院）

                 国家虚拟现实创新中心

                 南昌航空大学

                 中国移动虚拟现实创新中心

一、大赛背景

        第27届全国计算机辅助设计与图形学学术会议（CAD/CG2024）联合中国移动虚拟现实创新中心面向开发者和爱好者发起3D虚拟人手势生成挑战赛。旨在通过比赛机制，鼓励选手结合当下前沿的深度学习及虚拟人技术，完成模型设计搭建与训练优化。

手势是人们说话时手部和手臂自发的、风格化的动作。它们为语音注入活力,并揭示出思想的独特意象。近年来，深度神经网络已被成功应用于根据语音输入合成自然的手势，有助于创建类人三维化身。然而，基于深度学习的系统往往缺乏可控性，因此在用户控制下合成风格化的手势仍然是一项具有挑战性的任务。本次挑战赛题旨在通过语音或文字驱动3D虚拟人实现手势生成。本次挑战赛以线上初赛+线上复赛的形式进行，参赛选手需要在规定时间内，完成模型设计搭建与训练优化，并提交基于评测数据集产出的结果文件，榜单排名靠前且通过代码复查的队伍可进入复赛并有机会获得高额奖金。

1）主要承办单位介绍

华东交通大学是一所以交通为特色、轨道为核心、多学科协调发展的教学研究型大学。是国家“中西部高校基础能力建设工程”高校，江西省重点加强建设高校，博士学位授权单位。华东交通大学于2017年3月创建了校级研究院——“华东交通大学虚拟现实与交互技术研究院”。研究院围绕着虚拟现实与增强现实的算法、技术、系统、以及应用等多方面开展研究工作。除了围绕着虚拟现实技术、系统与应用的核心方向之外，研究院还积极地与其它学科的专家开展前沿的交叉合作和人才联合培养，先后入选江西省“双千计划”2人，获江西省科技奖二、三等奖各1项；已培养毕业博士生2人，硕士研究生20余人。2019年7月，华东交通大学决定由软件学院整合虚拟现实与交互技术研究院，成立虚拟现实产业学院（VR产业学院）。VR产业学院现有“虚拟环境实验室”、“运动捕捉与三维扫描实验室”、“研究生工作室”、“研究员办公室”等教学科研场所。2020年正式获批“虚拟现实技术”本科专业，并于2023年"软科”专业全国排名第二。

中国移动虚拟现实创新中心是中国移动集团级创新中心，致力建成具有全球影响力的原创技术策源地，推进元宇宙及VR技术应用领域关键核心技术攻关，快速发展成为中国移动集团在元宇宙和虚拟现实领域技术应用创新的先行者、产品创新的协同者、技术创新的孵化器、模式创新的根据地、合作创新的实验田、专业人才的成长基地。为深入贯彻“十四五”发展规划，大力推进江西省数字经济“一号工程”实施，中国移动虚拟现实创新中心充分发挥中国移动通信集团的客户规模、云网协同、优质生态合作伙伴资源等优势，通过自主研发、联合开发，聚拢生态合作伙伴力量，形成一批虚拟现实行业的融合创新应用和产品。中国移动将持续“立足南昌，面向全国，走向世界”，推进VR重大创新平台、基地建设，推进数智化转型升级，提供虚拟现实产品和服务，推动构建合作共赢的虚拟现实内容产业生态正向循环，助力虚拟现实产业快速健康发展，助力打造世界级VR产业中心的目标，助力打造“江西数字经济发展高地”。

2）大赛共同主席

夏佳志    中南大学

汪   淼    北京航空航天大学 

邹   强    浙江大学 

刘利斌    北京大学 

二、参赛对象

1.  本次竞赛面向全社会开放，不限年龄、身份、国籍，相关领域的个人、高等院校、科研机构、企业单位等均可报名参赛；

2.  大赛主办单位中有机会提前接触赛题和数据的人员不得参加比赛，其他员工可以参与比赛排名，但不可领取任何奖项。

参赛要求

1.  以个人或团队形式参赛，每个参赛队伍人数最多不超过5人，允许跨单位自由组队，每人只能参加一支队伍，参赛队伍资料由队长在报名时统一提交，提交后不可修改。

2.  参赛选手报名须保证所提供的个人信息真实、准确、有效。

大赛讨论群

QQ群号：598213614

咨询邮箱：cadcg24competition@163.com

三、活动流程（大赛赛程）

本次比赛共分2个阶段：初赛、决赛。

报名阶段：

5月24日开启报名。

选手通过比赛官网下载报名表，填写完成后由队长发送至比赛官方邮箱（cadcg24competition@163.com），由相关工作人员审核登记，审核通过完成报名会邮件通知选手，不通过则会回复邮件告知选手原由。

报名表：模板下载

初赛（2024年5月24日～7月17日）

● 5月24日 公开第一批训练数据集。

● 6月17日 公开第二批数据集，以及初赛测试集、初赛评测指标（FGD）代码和模型。第二批数据集样本下载。

● 7月17日 24:00前，结果提交截止。

初赛评估

● 客观指标FGD：衡量生成动作与数据集之间的分布相似性，可评估动作质量。

● 截止日期前可多次提交结果。组委会会根据提交情况，不定期在竞赛网站更新初评指标排名。

复赛（2024年7月17日开始）

● 从初赛参加者中选择排名前 min(20, 50%N) 的队伍进入复赛。

● 复赛采用人工主观评测打分，使用众包平台开展评测。

复赛评测指标：

● Human-likeness：在静音的情况下，人工评价生成动作的自然程度。

● Appropriateness：有声的情况下，人工评价生成动作与输入音频/文字的匹配程度。

决赛（2024年）

● 从复赛参加者中选择排名前 5 名队伍进入决赛

● 形式：线上答辩，评委打分

● 决赛评选以下奖项：

○ 冠军、亚军、季军

○ 最佳性能奖、最佳可泛化奖、最佳创新奖

○ 两类可同时获得

张榜公布

比赛获奖队伍将于大会现场公布。

奖项设置

冠军                   人民币20000元+获奖证书；

亚军                   人民币10000元+获奖证书；

季军                   人民币6000元+获奖证书；

性能优秀奖         人民币3000元+获奖证书；

泛化性优秀奖     人民币3000元+获奖证书；

创新优秀奖        人民币3000元+获奖证书；

四、赛题说明

比赛任务

3D虚拟人手势生成算法任务是指利用手势动作采集数据，基于自主设计的算法框架，训练完成3D虚拟人手势生成算法，通过该算法能够实现语音（文字）驱动3D虚拟人进行手势动作。

提交格式及其他任务详情

训练数据：

除比赛主办方公开的数据外，允许使用其他开源数据集，该数据集必须为整个竞赛期间（从报名到大会结束）开源且可获取。为保证公平性，使用开源数据集需在6月17日之前向组委会申明，并允许组委会向所有参赛队伍公开。此外，提交结果应包括使用的数据集的说明。

常见开源数据参考：

1. Talking With Hands 16.2M (GENEA Challenge 2023 版本): 数据链接

2. BEAT: 原始版本、SMPL-X版本

3. ZEGGS: 数据链接

4.  MoCCA Gesture Dataset: 数据链接

测试数据：

6月17日公开比赛测试集，参赛队伍根据测试集生成对应动作结果并提交。

提交内容及格式：

● 根据测试数据（音频+文本），生成虚拟人手势动作，动作的时长与输入的音频相同。

● 需使用大赛数据集的骨骼模型，将动作输出为bvh文件，帧率为60fps。参赛者必须保证所提交bvh文件的完整性，不得更改骨骼模型中骨骼名字、长度、channel数量和顺序、帧率等信息。无法读取的文件将不得分。

提交格式：

● 生成动作的bvh文件，按测试数据音频文件名+".bvh"命名。

● 若使用了除比赛主办方公开的数据外的开源数据集，需在提交结果中包括使用数据集的文字说明（具体使用的部分、是否做了额外的处理等）。

● （可选）提交bvh对应的，带声音的动画视频文件。该文件仅用于组委会检查提交bvh文件的正确性，不用于后续的用户评测。

评测指标：

● 初赛：

○ 客观指标FGD：衡量生成动作与数据集之间的分布相似性，可评估动作质量。

● 复赛：

○ 采用人工主观评测打分，使用众包平台开展评测

○ 主观评测Human-likeness：在静音的情况下，人工评价生成动作的自然程度。

○ 主观评测Appropriateness：有声的情况下，人工评价生成动作与输入音频/文字的匹配程度。

● 决赛：

○ 线上答辩，评委打分。

备注

CAD/CG 2024以及中国移动虚拟现实创新中心（主要承办单位）在法律法规许可范围内对本比赛规程享有解释权；

参赛者同意授予举办方在全球范围内、无限期、不受限制的免费使用前款成果的权利，包括但不限于用于服务提供、进一步开发服务、用于商业用途及分许可他人使用。为免歧义，基于上述成果使用所产生的新成果，举办方享有完整的知识产权，参赛者同意对新成果不主张任何权益，包括但不限于所有权、以及基于对上述成果享有的所有权而阻碍新成果的实施等。