1.研究问题   1）研究目标：人工智能研究的目标应该是创造有益的智能，而不是让它像经历生物演化一样没有确定的发展方向。   2）研究资金：投资人工智能应该附带确保该研究是用于发展有益的人工智能，包括计算机科学、经济学、法律、伦理和社会研究中的棘手问题，例如：   我们如何使未来的AI系统具有高度鲁棒性，这样才能够让它们在没有故障或被黑客入侵的情况下做我们想要它们做的事情？ 我们如何通过自动化实现繁荣，同时不打破资源和目的的平衡？ 我们如何更新法律制度实现更大的公平和更高的效率，跟上AI的发展步伐，管控与AI相关的风险？ AI应该具有怎样的价值观，应该具有何等法律和伦理地位？   3）科学政策互联：AI研究人员和政策制定者之间应该进行有建设意义、健康的交流。   4）研究文化：应该在AI研究者和开发者中培养合作、信任和透明的文化。   5）避免竞赛（Race Avoidance）：开发AI系统的团队应积极合作，避免在安全标准方面进行削减。   2.伦理和价值观   6）安全：AI系统应该在整个使用周期内安全可靠，并在可行性和可用性方面有可验证的衡量标准。   7）故障透明度（Failure Transparency）：如果AI系统造成伤害，应该可以确定原因。   8）司法透明度：任何涉及司法决策的自主系统都应对其判断提供合理的解释，并由主管人权机构审核。   9）责任：先进人工智能系统的设计师和建设者是使用、滥用这些系统以及这些系统行动造成的道德影响的利益相关者，他们有责任和机会塑造这些影响。   10）价值观一致性：在设计高度自治的人工智能系统时，应该确保它们的目标和行为在整个操作过程中与人类的价值观相一致。   11）人类价值观：人工智能系统的设计和运行应与人类尊严、权利、自由和文化多样性的理念相一致。   12）个人隐私：由于AI系统能够分析和利用人类产生的数据，人类也应该有权获取、管理和控制自身产生的数据。   13）自由和隐私：AI 应用个人数据，其结果不能不合理地限制人类真实或感知到的自由。   14）共享利益：人工智能技术应当惠及和增强尽可能多的人。   15）共享繁荣：人工智能创造的经济繁荣应该广泛共享，为全人类造福。   16）人类控制：应该由人类选择如何以及是否委托人工智能系统去完成人类选择的目标。   17）非颠覆（Non-subversion）：要控制先进的人工智能系统所带来的力量，应当尊重和改善社会健康发展所需的社会和公民进程，而不是颠覆这种进程。   18）AI 军备竞赛：应该避免在致命的自动武器开发方面形成军备竞赛。   3.长期问题   19）能力注意（Capability Caution）：在没有共识的情况下，应该避免对未来AI能力上限做出较为肯定的假设。   20）重要性：先进AI可能代表了地球上生命发展历史的一大深刻变化，应该通过相应的关怀和资源对其进行规划和管理。   21）风险：人工智能系统带来的风险，特别是灾难性或有关人类存亡的风险，必须遵守与其预期影响相称的规划和缓解措施。   22）不断自我完善（Recursive Self-Improvement）：对于那些不断自我完善或通过自我复制以能够快速提高质量或数量的AI系统，必须采取严格的安全和控制措施。   23）共同利益：超级智慧只应该为广泛共享的伦理理想服务，为了全人类而不是一个国家或组织的利益而发展。 上一篇：网站营销需要一个适当的切入点 下一篇：时间简史的经典看法