新加坡推出全球首个人工智能测试框架和工具包

测试框架和工具包被命名为A.I.Verify。它汇集了开源测试工具。部署人工智能的公司的开发人员、管理人员和业务合作伙伴将能够获得该工具包创建的报告。

A.I.Verify旨在通过技术测试和过程检查相结合，提高公司及其利益相关者之间的透明度。它目前是一种最简化可行产品（MVP），意即它的功能足以让早期使用者测试并为产品开发提供反馈。这是继2020年达沃斯论坛上推出的新加坡人工智能治理框架模型（第二版）之后的又一款产品。

A.I.Verify允许人工智能系统开发人员和所有者进行自我测试，以维护业务需求，同时提供一个发布结果的共同依据。但它无法保证在该试点框架下测试的任何人工智能系统都没有风险或偏差，或者完全安全。

英国品诚梅森律师事务所技术专家Sarah Cameron表示：“除非您正在试用MVP工具包，否则目前不可能对其进行全面评估。但在最近新加坡AXAI会议的一次小组会议上，一些试用者提供了正面反馈。英国多家机构，如人工智能办公室（OAI）、信息专员办公室（ICO），航空航天技术研究所（ATI）均已制作了大量高质量的指南、标准和工具包，但这些仍然是零散的，需要进行相关工作将它们全部整合到一个全面的可操纵框架中。英国数据伦理与创新中心（CDEI）的保证路线图和国际公认的保证生态系统承诺可以为实现这一目标发挥关键作用。”

Cameron表示：“将它们与新加坡产品输出的数据进行比对，查明它们是否为公共和私营部门以及个人和非个人数据方面提供了更全面的整体方案，这将是一项有趣的工作，”。

英国品诚梅森律师事务所新加坡合资律所Pinsent Masons MPillay的Mark Tan表示：“毫无疑问，人工智能的使用是一种非常强大的工具，它的成功往往与它的强化能力有关，而不仅仅是自动化。它寻求的底线是超越人类的能力，这可以视为它最具生产力之处。因此，随着新加坡推出全球首个人工智能测试框架和工具包，这很可能会使公司对其人工智能产品和服务更加透明，从而与各利益相关者之间建立信任，鉴于目前有一种客观且可验证的评估方法，因此组织机构能够使用A.I. Verify对其人工智能系统、产品或服务进行自我评估。”

他指出：“当然，人们希望随着时间的推移和通过这种自我评估，公司更有可能进一步改进这些先进技术的部署，并取得更大的成功，因为越来越多的利益相关者认同可信和可靠的人工智能的理念。”。

根据新加坡信息通信媒体发展局（IMDA）发布的一份文件（12页/508KB），A.I.Verify的开发符合国际公认的人工智能伦理原则。人工智能伦理原则的11项核心原则被编排为五大支柱。一开始在为MVP选择含八项原则的初始原则时，至少从这五大支柱中各选择了一项原则。

这五大支柱包括系统所有者和开发人员向客户展示的五个方面，以建立起信任，它们是：人工智能使用的透明度，意即客户在知道人工智能正在使用时能够选择是否使用人工智能系统；了解人工智能模型如何做出决策，从而向客户解释导致模型输出的因素；确保人工智能系统安全可靠；确保人工智能系统中的公平性和不存在非故意歧视；以此确保对人工智能系统进行适当的管理和监督。

人工智能的八项选定伦理原则可以通过技术测试和过程检查相结合的方式进行评估。

在这八项原则中，以下三项原则均可通过技术测试和过程检查进行评估：

• 可解释性 - 技术测试旨在确定影响人工智能模型输出的因素，而过程检查包括验证书面证据，例如在选择模型时考虑的人工智能模型的充分理由、风险评估和权衡。
• 稳健性 - 技术测试将评估模型是否按预期执行，过程检查包括验证书面证据和审查可能影响人工智能模型性能的因素。
• 公平性 - 技术测试通过对照实际情况检查模型输出，以此检查人工智能模型是否偏向人工智能系统所有者指定的受保护属性或敏感属性。过程检查包括验证书面证据，以证明公平性衡量标准的选择策略已制备，并符合人工智能系统预期应用的预期结果，以及敏感属性的定义符合法律和公司价值观。

另五项原则通过过程检查进行评估，它们是：透明度，通过审查向可能受人工智能系统影响的个人提供适当信息的书面证据这一过程进行评估。这些信息包括在无损于知识产权、安全性和系统完整性的情况下，人工智能在系统中的用途、预期用途、限制和风险评估。

再现性是通过书面证据的过程检查进行评估，包括人工智能模型来源、数据来源和版本控制工具的使用；安全性是通过对重要性评估和风险评估的书面证据进行过程检查来评估，包括如何识别和减少人工智能系统的已知风险；责任性则通过对书面证据的过程检查进行评估，包括对开发和部署人工智能系统进行适当的管理监督所需的明确的内部治理机制的证据。

人工代理和监督：通过对书面证据的过程检查进行评估，人工智能系统的设计不会降低人类做出决策或控制该系统的能力。

2021年12月，新加坡和英国完成了关于《英国-新加坡数字经济协定》（UKSDEA）的谈判。根据2月份发布的《英国-新加坡数字经济协定》最终协议解释人信息，两国将促进各自不同监管制度之间的互通性和兼容性，包括通过双边安排或更广泛的国际框架等机制实现这一目标。