内容
资料来源：Pop Nukoonrat / Dreamstime.com
带走：
数据对业务至关重要，但是为了使数据有用，在收集，处理和显示数据时不得有任何错误。人工智能可以监控ETL流程，以确保它们没有错误。
ETL（提取，转换和加载）是大数据分析中最重要的过程之一-同时，它可能是其最大的瓶颈之一。 （有关大数据的更多信息，请查看您可以在线上的5个有用的大数据课程。）
ETL之所以如此重要，是因为企业收集的大多数数据尚未准备好以其原始形式供分析解决方案使用。为了使分析解决方案能够创建见解，需要从原始数据所在的应用程序中提取原始数据，将其转换为分析程序可以读取的格式，然后将其加载到分析程序本身中。
此过程类似于烹饪。您的原始成分就是您的原始数据。在对它们进行分析（品尝）之前，需要对其进行提取（从商店购买），进行转换（烹饪），然后进行加载（电镀）。难度和费用可能难以预测地增加-自己制作Mac n'奶酪很容易，但是要在一个宴会上为40人创建美食菜单就更加困难了。不用说，任何时候的错误都会使您的饮食变得难以消化。
ETL创建分析瓶颈
在某些方面，ETL是分析过程的基础，但它也有一些缺点。首先，它速度慢且计算量大。这意味着企业通常仅优先考虑其最重要的数据以进行分析，而仅存储其余数据。这导致以下事实，即高达99％的所有业务数据都未用于分析目的。
另外，ETL过程永远不确定。 ETL流程中的错误可能会破坏您的数据。例如，短暂的网络错误可能会阻止提取数据。如果您的源数据包含多种文件类型，则它们可能会被错误地转换。就像他们说的那样，进进出出– ETL流程中的错误几乎肯定会以不准确的分析来表达自己。
损坏的ETL流程可能会带来不良后果。即使是在最佳情况下，您也可能不得不重新运行ETL，这意味着要花几个小时-同时，您的决策者也不耐烦。在最坏的情况下，直到开始亏损和失去客户之前，您不会注意到分析不正确。
通过机器学习和AI简化ETL
您可以-也许可以这样做-指派一个人来监视ETL，但实际上并不是那么简单。数据错误可能是由流程错误引起的，这些错误发生得如此之快，以至于无法实时注意到。 ETL流程损坏的结果通常看起来与正确加载的数据没有什么不同。即使错误很明显，造成错误的问题也可能不那么容易追查。 （要了解有关分析数据的更多信息，请参阅工作角色：数据分析师。）
好消息是机器可以捕捉人类无法捕捉的东西。这些只是AI和机器学习可以在不准确的分析之前捕获ETL错误的几种方法。
没有错误，没有压力-在不破坏生活的情况下创建可改变生活的软件的分步指南
当没有人关心软件质量时，您就无法提高编程技能。
1.跨ETL指标检测并发出警报
即使您的数据是不断变化的图像，但ETL过程仍应以一致的速度产生一致的值。当这些情况发生变化时，就会引起警报。人们可以看到数据的剧烈波动并识别错误，但是机器学习可以更快地识别出更微妙的故障。机器学习系统可能会提供实时异常检测并直接向IT部门发出警报，使他们可以暂停流程并解决问题，而不必花费数小时的计算时间。
2.明确特定的瓶颈
即使您的结果准确无误，但结果可能仍然太慢而无法使用。加特纳说 80％的见解 从分析中衍生出来的价值将永远不会被利用来创造货币价值，这可能是因为企业领导者无法及时了解到利用它的见解。机器学习可以告诉您系统在哪里变慢，并为您提供答案-更快地获取更好的数据。
3.量化变更管理的影响
产生您的数据和分析的系统不是静态的，它们会不断接收补丁和升级。有时，它们会影响它们生成或解释数据的方式，从而导致结果不准确。机器学习可以标记已更改的结果，并将其跟踪到特定的修补机器或应用程序。
4.降低运营成本
停滞不前的分析操作等于损失了金钱。您花费的时间不仅要解决问题，而且要弄清楚 谁是负责的人 解决问题的时间就是您可能会花费建筑价值。机器学习通过仅向可能负责响应特定类型事件的团队发出警报，从而使问题的核心成为可能，让IT部门的其余人员有空继续执行核心工作职能。此外，机器学习将有助于消除误报，减少警报的总数，同时增加警报可以提供的信息的粒度。机敏的疲劳非常真实，因此这种变化将对生活质量产生可测量的影响。
在赢得业务方面，分析至关重要。贝恩资本（Bain Capital）的一项具有里程碑意义的研究表明，采用分析技术的公司在财务方面表现出色的可能性是其两倍以上。 ETL为该领域的成功提供了基础，但是延迟和错误也可能阻止分析程序的成功。因此，机器学习已成为任何分析程序成功的宝贵工具，有助于保证数据干净和结果准确。