自动化:数据科学和机器学习的未来?

作者: Louise Ward
创建日期: 6 二月 2021
更新日期: 27 六月 2024
Anonim
数据科学家真的适合机器学习吗?|课代表讲数据第三期
视频: 数据科学家真的适合机器学习吗?|课代表讲数据第三期

内容


资料来源:Krulua / Dreamstime.com

带走:

机器学习是系统更改其自身编程的能力。但是,当系统可以做到这一点时,人类仍然有必要吗?

机器学习一直是计算历史上最大的进步之一,现在人们相信它能够在大数据和分析领域发挥重要作用。从业务角度来看,大数据分析是一项巨大的挑战。例如,诸如了解大量不同数据格式,用于分析的数据准备以及过滤冗余数据之类的活动可能会消耗大量资源。聘请数据科学家和专家是一项昂贵的提议,并非每家公司都力所能及。专家认为,机器学习能够自动执行许多与分析相关的任务,包括常规任务和复杂任务。自动化机器学习可以释放大量资源,这些资源可用于更复杂和创新的工作。机器学习似乎已经朝着这个方向发展。 (要了解有关使用机器学习的更多信息,请参阅机器学习的承诺和陷阱。)

信息技术中的自动化

就IT而言,自动化是各种系统和软件的链接,因此它们可以在没有任何人工干预的情况下完成特定的工作。在IT行业中,自动化系统可以执行简单和复杂的工作。一个简单工作的示例可能是将表单与PDF集成在一起并将文档发送给正确的收件人,而提供异地备份可能是一个复杂工作的示例。

为了完成其工作,需要对自动化系统进行编程或给出明确的指令。每当需要自动化系统来修改其工作范围时,该程序或指令集就需要由人来更新。尽管自动化系统可以高效地工作,但由于各种原因可能会发生错误。发生错误时,需要确定根本原因并加以纠正。显然,自动化系统完全依靠人类来完成工作。工作性质越复杂,出现错误和问题的可能性就越高。

通常,将常规和可重复的作业分配给自动化系统。 IT行业自动化的一个常见示例是自动化基于Web的用户界面的测试。将测试用例输入自动化脚本中,并相应地测试用户界面。 (有关机器学习的实际用途的更多信息,请参阅下一代欺诈检测中的机器学习和Hadoop。)

支持自动化的观点是,它可以执行常规和可重复的任务,并使员工腾出时间来执行更复杂和更具创意的任务。但是,也有人认为自动化已经取代了许多以前由人类执行的工作或角色。现在,随着机器学习进入各个行业,自动化可以一起增加一个新的领域。

自动化是机器学习的未来吗?

机器学习的本质是系统不断地从数据中学习并不断发展而无需人工干预的能力。机器学习能够像人脑一样运作。例如,电子商务网站中的推荐引擎可以评估用户的独特偏好和口味,并提供最适合用户选择的产品和服务推荐。有了这种能力,机器学习被认为是自动化与大数据和分析相关的复杂任务的理想选择。它已经克服了传统自动化系统的主要局限性,而传统自动化系统没有常规的人工干预就无法运行。有许多案例研究表明,机器学习能够完成复杂的数据分析任务,这将在本文后面进行讨论。


正如已经指出的那样,大数据分析对于公司来说是一个具有挑战性的主张,可以部分委托给机器学习系统。从企业的角度来看,这可以带来很多好处,例如释放数据科学资源以进行更具创造性和关键性的任务,增加工作量,减少完成任务所需的时间以及降低成本。


没有错误,没有压力-在不破坏生活的情况下创建可改变生活的软件的分步指南

当没有人关心软件质量时,您就无法提高编程技能。


案例分析

2015年,麻省理工学院的研究人员开始研究一种数据科学工具,该工具能够使用称为“深度特征综合”算法的技术从大量原始数据中创建预测数据模型。科学家声称,该算法可以结合机器学习的最佳功能。根据科学家的说法,他们已经在三个不同的数据集上测试了该算法,并将把测试范围扩展到更多数据集。研究人员James Max Kanter和Kalyan Veeramachaneni在描述如何做到这一点时表示,将在国际数据科学和分析会议上发表的论文中说:“使用自动调整过程,我们可以优化整个路径,而无需人工干预,因此可以将其概括化到不同的数据集。”

让我们检查任务的复杂程度:该算法具有一种称为自动调整功能的功能,借助该功能,它可以从诸如年龄或性别之类的原始数据中得出或提取见解或值,然后,可以创建预测数据模型。该算法使用复杂的数学函数和称为高斯Copula的概率论。因此,很容易理解算法能够处理的复杂程度。该技术还赢得了比赛的奖项。

机器学习可能会取代工作

全世界都在讨论机器学习可能会代替许多工作,因为它正在以人脑的效率执行任务。实际上,有人担心机器学习将取代数据科学家,而且这种担心似乎有基础。

对于没有数据分析技能但仍需要在不同程度上进行日常分析的普通用户而言,拥有能够分析大量数据并提供分析功能的计算机是不可行的。但是自然语言处理(NLP)技术可以通过教计算机接受和处理人类自然的口头语言来克服此限制。这样,普通用户就不需要复杂的分析功能或技能。


IBM相信,通过其产品Watson自然语言分析平台,可以最大限度地减少或消除对数据科学家的需求。根据其Watson Analytics and Business Intelligence副总裁Marc Atschuller的说法,“使用像Watson这样的认知系统,您只需提出问题即可;或者,如果您没有问题,则只需上传数据,Watson可以查看并推断您可能想知道什么。”

结论

自动化是机器学习的下一个逻辑步骤,我们已经在日常生活中产生了影响-在电子商务网站,朋友建议,LinkedIn网络建议和Airbnb搜索排名中。考虑到给出的示例,毫无疑问可以依靠自动机器学习系统产生的输出质量。尽管机器学习具有所有的质量和好处,但它导致大量失业的想法似乎有点反应过度。几十年来,机器已经在人类生活的许多领域中取代了人类,但是人类已经进化并适应了这一行业。从各个角度来看,机器学习,尽管具有破坏性,只是人们将适应的另一波浪潮。