飞鱼博客 
继上周山姆·奥特曼(Sam Altman)再次被解雇、再次被聘用的戏剧性事件之后，OpenAI再次成为新闻焦点，这次是因为一些研究人员称其可能对人类构成威胁。科技界对OpenAI未公开的通用人工智能(AGI)计划(被称为Q*——读作Q星)兴奋不已。尽管这个人工智能项目还处于早期阶段，但它被誉为追求AGI的突破性发展，而有些人则认为它对人类构成了威胁。
Q*不是典型的算法;它是一个接近AGI的人工智能模型。这意味着，与ChatGPT不同，Q*表现出了卓越的推理和认知能力。ChatGPT目前根据输入的事实回答数据，但有了AGI，人工智能模型将学习推理、思考和理解的能力。
本质上，Q*是强化学习中的一种无模型方法，与传统模型不同，它不需要对环境的先验知识。相反，它通过经验学习，根据奖励和惩罚调整行动。科技专家认为，Q*将能够展示令人印象深刻的能力，展示类似于人类认知功能的高级推理。
然而，这项新人工智能模型最令人印象深刻的功能让研究人员和批评人士感到担忧，并让他们对这项技术在现实世界中的应用和潜在风险感到担忧。以至于OpenAI的老板萨姆·奥特曼也表达了对AGI项目的担忧，许多人猜测，Q*项目是奥特曼突然被公司解雇的原因。这些担忧并非毫无根据，以下是我们应该警惕这种技术的三个原因:
奥特曼关于人工智能是“中等人类同事”的挑衅性言论，已经引发了人们对工作保障和人工智能影响力肆无忌惮扩张的担忧。这个神秘的算法被誉为人工智能发展的里程碑。然而，这一里程碑是有代价的。新的人工智能模型所承诺的认知技能水平，带来了不确定性。OpenAI的科学家们承诺AGI具有类似人类的思维和推理能力，这意味着我们无法预测和了解这个模型的很多东西。未知的东西越多，就越难准备好控制或修复它。
技术的迅速中断可能超过个人适应的速度，导致一代或几代人丧失无法获得必要的技能或知识进行调整的能力。这反过来意味着更少的人能够保住他们的工作。然而，问题的答案并不像训练人们那么简单。纵观历史，一些人随着技术的进步而进步，而另一些人则独自应对挑战。
在那些缺乏善意的人手中，像Q*这样强大的人工智能可能会给人类带来灾难性的后果。即使出于善意，Q*的复杂推理和决策也可能产生有害的结果，这强调了仔细评估其应用的重要性。
就像世界从未看过《人机大战》一样。我们说，OpenAI的科学家应该回去重新看一遍那部电影。既然我们说到了，那就去看看《机器人与她》吧。我们需要接受暗示，为即将到来的事情做好准备。一个能够像人类一样思考和推理的人工智能模型随时都可能失控。许多人可能会争辩说，科学家肯定知道如何控制事情，但是当涉及到机器时，你永远不能排除机器试图接管的可能性。
