2022年3月，世界经济论坛首次发布《面向儿童的人工智能》报告。人工智能可被用来教育儿童和青少年，并赋予他们力量进而积极影响社会。但是，如果在人工智能技术设计中未充分考虑潜在风险，其存在的隐患同样容易对儿童造成负面影响。因此，制定兼具创新性和责任感的人工智能设计准则，满足儿童成长需求十分必要。赛迪智库科技与标准研究所对该报告进行了编译，期望对我国有关部门有所帮助。

“

报告研究了人工智能设计理念、隐私安全与数据安全等关键问题，提出了以儿童为本的五项指导原则，为人工智能的儿童适龄化发展提供相应指导和启示。

”

一、引言

儿童和青少年的日常生活中充斥着各种人工智能产品。人工智能可被用来教育儿童和青少年，并赋予他们力量，进而对社会产生积极影响。但是，人工智能技术也将带来潜在风险，包括偏差、网络安全和无障碍性的缺失，儿童和青少年尤其容易受这些风险的影响。因此人工智能的设计必须具有包容性，要尊重儿童用户的权利。

人工智能技术的发展必须兼具创新性和责任感。负责任的人工智能应当是安全、合乎伦理、透明、公平、无障碍和包容的。父母、监护人和成年人均有责任慎重选择设计上合乎伦理的人工智能产品，并帮助儿童安全地使用这些产品。

本报告旨在为人工智能的负责任设计、消费和使用提供指导，给企业、设计人员、父母、监护人、儿童和青少年提供帮助，确保人工智能尊重儿童权利，并给他们的生活带来积极影响。

（一）企业用户

企业应当了解，儿童经常会使用并非专门为其设计的人工智能产品。应慎重考虑如何为儿童和青少年争取利益，并减少技术带来的潜在风险。给高管层的清单旨在帮助企业管理层更好地了解人工智能对儿童和青少年的利弊，以便使其能够更好地对人工智能进行领导、创新和发展。同时，给产品团队的指导原则可以为工程师、开发人员、产品经理及产品团队的其他成员提供指导。

（二）人工智能标签系统

人工智能标签系统将被用于所有人工智能产品的外包装，可通过二维码在线查看，旨在向消费者展示产品的工作原理以及用户的选择。

（三）消费者：父母和监护人

父母和监护人要在进一步了解人工智能技术的基础上，谨慎地选择给孩子购买哪些人工智能技术，确保人工智能能够给孩子的生活带来积极影响。人工智能标签系统（图1）旨在帮助父母和监护人了解人工智能的重要特性。

▲图1：人工智能标签系统

二、供高管层和企业决策者参考的清单

可行框架和实际指导能够帮助企业为儿童和青少年设计创新和负责任的人工智能。

在几乎没有可以依据法规的情况下，企业只能在数据捕捉和人工智能模型训练及应用方面的隐私和伦理问题上自行摸索。该清单旨在帮助高管层层及其他企业决策者反思并采取行动，为弱势群体提供负责任的人工智能。

（一）面向儿童和青少年的人工智能应该是值得信赖和负责任的：给管理层的清单

人工智能的复杂性和影响范围极广，通过审慎实施人工智能技术，可以使青少年能够按照自己的节奏和学习风格成长和发育。但是，假如草率地实施人工智能技术，或是缺乏指导，就可能侵害弱势用户的权利。在儿童发育、适用性和保护隐私等方面，管理层应当追求严格的伦理和社会标准，以赢得消费者的信赖。

（二）企业可能存在的不足

人工智能应用正在不断提速，同时又缺乏标准和指导。企业应避免诸如拒绝披露人工智能的使用方式、放大和放任偏差、跳过以用户为中心的验证、漠视隐私保护和安全漏洞等危险行为。

（三）相关行动

建议采取以下步骤：

1．了解法律义务和监管范围

利用《电气和电子工程师协会（IEEE）伦理规范》、《世界经济论坛指导》等现有法规，以及为父母和监护人以及儿童和青少年提供的资源，承诺对人工智能进行监督。使用易懂的表述披露合规且权威的措施，以便于买方了解。

2．建立一支多元化的精干团队

建立一支包括伦理学家、研究人员、隐私保护专家、教育工作者、儿童发育专家、心理学家、用户体验（UX）设计师和数据科学家的精干团队。与非营利组织、教育和研究机构合作，以获取更多的专业知识。

3．培训团队并提供资源，让他们借助这份清单取得成功

让团队成员了解设计兼具责任感和信赖感的人工智能十分重要，并为其提供执行企业愿景所需的技能、工具和时间。针对可能出现的情形以及原因进行开诚布公的对话，确保团队考虑到了人工智能的五大特征（图 2）。

4．提供专业知识，为制定法规、标准和指导提供信息

针对如何在产品或服务中使用人工智能展开讨论。分享指导和要求制定方面的经验。

5．尝试依据原则给产品和服务贴标签

应根据人工智能对用户的潜在影响来给产品贴标签。高管层应认可并参与制定标签和评级标准的活动，以帮助消费者根据相关建议做出明智的选择。

▲图2：将儿童和青少年放在首位的内容清单

三、产品团队指导原则

产品团队应在整个产品生命周期对设计负责。

（一）简介

1．目的

这些指导原则旨在协助有关人员为儿童和青少年开发负责任的人工智能产品。

2．有关人员

整支产品团队：开发人员、项目经理、技术文档撰写人、产品所有人、软件架构师、用户体验设计师、营销经理，以及其他任何参与产品开发的人员。

3．有关工作

“以儿童和青少年为本”需要准从五个原则：公平、包容、负责任、安全和透明（图3）。每个原则又分为三个部分：目标、最有可能造成的危害以及降低风险。

▲图3：将儿童和青少年放在首位的内容

（二）基本原则

将联合国《儿童权利公约》的第 3 条第一款作为“以儿童为本”的基本原则：“关于儿童的一切行动，均应以儿童的最大利益为首要考虑，无论执行主体是公共或私营社会福利机构、法院、行政当局或立法机构。”

建立考虑儿童利益的系统重点是能否清楚地阐明积极影响，并制定策略来确定系统是否具备这种影响。上述指导原则的目的是帮助有关人员在产品构思、制造、测试和部署时发现风险并找出潜在的盲点。

1．挑战

编写上述指导原则的目的在于引导有关人员了解为儿童和青少年构建人工智能的风险。指导原则旨在权衡对所开发产品过分乐观的期待，有助于发现设计中代入的缺陷，并减少可能的风险，使之不会暴露给客户。

2．儿童和青少年的定义

对儿童和青少年并没有统一的定义。联合国将儿童定义为未满18岁的人。甚至可以认为，儿童和青少年是指年龄在26岁以下的人，因为人的前额叶皮质要到这个年龄段才发育完全。年龄可以用出生后的年数来衡量，也可以通过测试认知能力、身体灵活性和情商来衡量。人类的能力存在着较大的可变性，因此应当使用认知、情感和生理发育阶段等更可靠的概念，作为理解、标定、沟通和营销产品的方式。

（三）以儿童和青少年为本涵盖的内容

1．公平

基于人工智能和机器学习的技术和系统可以改变人与人之间的交互方式。但也给用户带来了潜在的偏差、排斥和缺少公平等问题。这种潜在的变化和权力的转移也对人工智能设计提出了道德责任要求。因此，儿童和青少年人工智能工具的设计、开发、维护、存档和研究人员在设计人工智能系统时，应注意自身工作的敏感性和伦理影响。

2．包容

所有人都渴望一种归属感，并能够自然地适应被排斥、被包容以及由此产生的不确定感。但儿童和青少年往往缺少必要的应对技巧，无法处理被排斥的负面感受。假如不重视建立一种包容性的体验，可能带来认知、情感或社交方面的困扰和伤害。

3．负责任

该主题的目的是确认产品团队已经充分了解对使用其产品的儿童和青少年的责任。首先，这需要产品团队能够充分评估向儿童和青少年推广其人工智能产品的风险。其次，产品的构思、设计、规划、开发和测试均应基于适宜的年龄和发育阶段，并采用可反映最新的科学方法来加以检验。

4、安全

社会心理发育通常以安全感为前提。儿童的前额叶皮质尚未发育完全，意味着他们预测后果的能力较差，更容易冲动，缺少自制力，也缺少经验来判断自己是否正在被操纵。因此，产品团队必须承担起保护所有用户免受伤害的责任。