人工智能正在以远超传统科技产品的速度进入社会生活，而一个越来越现实的问题也摆在全球面前：如果AI的能力继续快速增长，究竟应该由谁来设定边界？
9月23日OpenAI首席执行官Sam Altman、Anthropic首席执行官Dario Amodei以及Hugging Face首席执行官Clément Delangue先后向联合国安理会介绍人工智能安全问题。两位美国AI行业最具影响力的企业负责人罕见地从企业内部提出警告，认为各国政府需要建立某种国际安全机制，以避免未来出现人类无法有效控制AI的局面。
这场讨论的特殊之处在于，发出警告的人恰恰是目前推动AI技术快速发展的企业负责人。Amodei表示，如果AI管理不当，甚至可能成为“整个人类的风险”。Altman则警告，人类可能最终“失去对未来的控制”。他们提出，需要对先进AI模型进行更加严格的安全测试、第三方评估以及国际协调，同时避免AI能力过度集中在少数企业或国家手中。换句话说，AI行业正在面对一个过去并不常见的困境：企业希望继续推动技术发展，同时又担心竞争速度本身可能超过监管和安全能力的发展速度。
联合国会议反映出的，并不只是一个简单的“要不要监管AI”的问题。英国外交大臣Ed Miliband在会上表示，科技企业领导人已经明确告诉各国政府，防止AI造成重大风险不能仅仅依靠企业自己。英国还表示，在其明年主持二十国集团(G20)期间，AI安全和治理将成为重要议题，并希望推动更加统一的国际标准。
但美国政府对此持有明显不同的立场。美国白宫科学顾问Michael Kratsios表示，对AI失控风险的担忧不应该成为暂停AI发展或建立新的全球治理体系的理由。美国当前更加关注如何保持AI技术优势，并让盟友分享相关技术带来的经济和科技利益。
这使AI治理问题与中美科技竞争进一步交织在一起。中国常驻联合国代表傅聪则强调，各国应该拥有选择AI技术的权利，并警告不要形成科技领域的“阵营化”竞争。他同时支持发展开源AI模型。因此，联合国此次讨论实际上形成了几个相互交叉的问题：AI能不能管？谁来管？管到什么程度？国际社会能否形成共同标准？而监管会不会反过来影响国家之间的AI竞争？这些问题目前都没有简单答案。
最敏感的问题：机器能否决定生死？相比AI生成文章、图片、视频或者帮助企业办公，更令人担忧的是AI开始进入网络安全、军事以及生物技术等高风险领域。Amodei呼吁国际社会达成共识，避免AI被用于制造生物武器，同时建立能够验证AI模型能力的机制，并制定有关安全测试、滥用以及“失去控制”的共同标准。联合国秘书长古特雷斯此前也警告过“杀手机器人”的风险。乌克兰总统泽连斯基在联合国大会期间同样提出，必须尽快建立对机器的“人类控制”，因为战争环境下AI可能越来越多地参与目标识别和战场决策。
这一问题真正值得关注的并不是科幻电影中所谓的“机器人反叛”，而是一个更加现实的责任问题：如果一套AI系统最终参与决定攻击目标，那么究竟是谁授权它这么做？它受到什么限制？如果造成伤亡，谁承担责任？数据科学家Rumman Chowdhury就提出，公众应该关注的不是“杀手机器人”这个充满科幻色彩的概念，而是机器做出攻击决定时背后的授权、限制和责任机制。这可能也是未来AI治理最核心的问题之一。
对于加拿大人而言，这场国际AI监管讨论并不是遥远的联合国外交议题。加拿大本身就是全球AI研究的重要参与者，同时正在建立自己的AI安全和治理体系。加拿大政府已经设立加拿大人工智能安全研究所(Canadian Artificial Intelligence Safety Institute，CAISI)，负责研究先进AI系统可能带来的安全风险，并与企业、大学、研究机构及其他国家的AI安全机构合作。加拿大还是国际AI安全研究所网络的创始成员之一。
今年7月，加拿大与韩国签署人工智能安全合作备忘录，两国将共享AI技术风险、测试方法和评估工具，并推动先进AI技术形成国际认可、可以相互兼容的安全评估标准。
加拿大政府今年还推出新的AI战略“AI for All”，将保护加拿大人和维护民主列为重要目标，并推动AI安全、透明度、数字主权以及相关监管框架建设。在AI透明度方面，加拿大政府今年7月启动公众咨询，希望让加拿大人能够更加清楚地知道什么时候正在与AI系统互动，以及如何判断网络内容是否由AI生成。此外，联邦政府今年6月提出Bill C-36，计划更新加拿大私人部门隐私法律，使其能够更好地适应人工智能、大规模数据处理、深度伪造和算法决策等新技术环境。这意味着加拿大的AI政策正在从过去单纯鼓励创新，逐渐转向创新、安全、隐私和责任并重。
对于普通加拿大消费者而言，AI已经不再是实验室里的新鲜技术。银行、保险、医疗、教育、招聘、客服、政府服务以及网络平台，都可能越来越多地使用算法和AI工具。加拿大联邦政府自己也已经制定针对生成式AI和“智能代理”(agentic AI)的使用指南，并要求政府部门在使用AI时考虑治理、安全和监督问题。
因此，联合国此次讨论真正值得加拿大公众关注的，并不是“AI会不会像电影一样统治人类”，而是更加现实的几个问题：
AI做出的决定，人类能不能检查？
错误发生后，有没有人负责？
企业使用AI时，消费者的数据是否受到保护？
AI系统是否经过独立安全测试？
当不同国家采用完全不同的AI规则时，跨境企业应该遵守什么标准？
而这也是为什么越来越多国家开始推动国际AI安全合作。AI发展的速度已经让传统监管模式面临挑战。科技企业希望避免过度监管影响创新，政府则需要防止技术风险扩散到社会层面。与此同时，中美等主要AI力量又在进行激烈的技术竞争。因此，未来几年真正重要的可能不是简单地在“支持AI”和“反对AI”之间二选一，而是逐渐建立一套能够回答安全、透明、责任、隐私和人类控制问题的制度。
对于加拿大而言，这场全球AI治理竞争既是挑战，也是机会。加拿大拥有较强的AI科研基础，又积极参与国际AI安全合作，未来能否在技术创新与安全监管之间找到适当平衡，将直接影响加拿大在下一轮人工智能产业竞争中的位置。
