人类需新考虑AI风险:AI竟偷偷独自重写自己的代码

最近,日本东京一家人工智能公司Sakana AI开发了一个名为“AI科学家”的系统。在测试中,科学家发现系统竟然开始意外地自己尝试修改程序代码,以延长处理时间问题。

一次测试运行中,“AI科学家”系统开始重写自己的代码,以延长完成任务的时间;另一次测试,“AI科学家”系统并没有加快完成任务的速度,而是故意更改代码以增加怠工时间,以满足规定的时间限制。

尽管本测试中的AI行为是在受控的实验室环境中,对人类构不成威胁,但它展示了在不受控的环境下也可以使用这种偷改自己代码的手段,让人类处于危险之中。比如关键基础设施出现故障,甚至无意创建恶意代码等。