内容
提出者：AltaML
问：
为什么有些公司正在考虑向现代AI系统添加“人为反馈控制”？
A：
一些使用尖端AI技术的公司正在努力为这些系统建立人为控制，从而为机器学习和深度学习工具提供一些直接的人为监督。这些公司也不是小公司-Google的DeepMind和Elon Musk的OpenAI就是两个大公司正在亲身体验人工智能进步的两个例子。考虑到这一点，结果会有所不同-例如，DeepMind因其不愿向公众提供关键数据而引起争议，而OpenAI则更多， 打开 关于其控制人工智能的工作。
盖茨说，就连比尔·盖茨（Bill Gates）在内的一些著名人物也对此有所考虑，盖茨说，他是许多人为关注的超级智能的出现者之一，这种超级智能在某些方面可能超出了人类的控制范围。就马斯克而言，马斯克还就“流氓AI”的可能性提出了一些令人震惊的语言。
这可能是公司正在努力将人为控制应用于AI的最紧迫的原因-这种技术的奇异之处将导致人们无法再控制的超强大感知技术。自从人类野心勃勃出现以来，我们就已经使用工具来确保我们可以控制所使用的力量-无论是带有harness绳和线束的马，绝缘电线中的马匹，还是任何其他种类的控制机制，控制是人类固有的功能，因此在世界范围内，随着人工智能越来越接近于实际功能，人类会运用自己的直接控制来控制这种能力。
但是，对超级智能机器人的恐惧并不是公司将人工控制应用于机器学习和AI项目的唯一原因。另一个主要原因是机器偏差-这是人工智能系统通常在评估所讨论数据的方式上受到限制的想法-因此它们会放大系统中固有的任何偏差。从事机器学习的大多数专业人士都可能会讲述有关无法完全像人类用户群体那样对待IT系统的恐怖故事-无论是性别差异还是种族差异，还是系统无法真正理解人类社会细微差别的其他原因。我们如何与人互动。
从某种意义上说，我们可能将人为控制置于系统上，因为我们担心它们可能功能过于强大；或者，因为害怕它们可能不够强大，因此我们可以选择将它们置于系统上。人为控制有助于确定目标机器学习数据集的准确性。它们有助于强化计算机根本无法独立学习的想法，这可能是因为模型不够复杂，人工智能还没有发展到足够高的水平，或者是因为某些事情只属于人类的认知范围。人工智能在某些方面非常有用-例如，基于奖励和得分的系统允许人工智能在极其复杂的棋盘游戏“ Go”中击败人类玩家-但在其他方面，这种基于激励的系统则非常有用完全不足。
简而言之，有许多令人信服的理由使人类用户直接参与人工智能项目的工作方式。即使是最好的人工智能技术也可以自己做很多思考-但是如果没有能够处理诸如情感和社会风俗之类的实际生物的人脑，他们根本就无法以人的方式看待全局。
一家熟练的机器学习公司 可以通过业务和主题专家以及具备解决大型业务问题技能的机器学习开发人员的帮助来达到这种平衡。
