大数据:如何捕获,处理和用于制定业务决策

作者: Judy Howell
创建日期: 25 七月 2021
更新日期: 23 六月 2024
Anonim
大数据系统基础 第一部分 绪论 1 1什么是大数据
视频: 大数据系统基础 第一部分 绪论 1 1什么是大数据

内容


资料来源:Lightspectrum / Dreamstime.com

带走:

寻找将数据泛滥成用于业务决策的有用信息的方法,这对IT专业人员和C级管理人员构成了越来越大的挑战。

每天会产生惊人的2.5艾字节的数据;仅在过去的两年中,今天就已经产生了90%的数据。这些数据来自世界各地:用于收集气候信息的传感器,社交媒体网站,数字图片和视频,购买交易记录以及手机GPS信号,仅举几个例子。寻找将数据泛滥成用于业务决策的有用信息的方法,这对IT专业人员和C级管理人员构成了越来越大的挑战。那就是当今最流行的技术术语之一:大数据。而且它不会一无所获。大数据可以以巨大的方式改变业务。这里很好地看一下它是如何工作的。

什么是大数据?

术语“大数据”描述的是呈指数增长的数据集,这些数据集太大,原始并且没有结构,无法使用传统数据库技术进行分析。无论是TB还是PB,精确的数据量都比如何使用该数据要少。

大数据具有三个维度:数量,速度和多样性。公司充斥着大量的数据,正在以越来越高的速度创建和处理数据,并且诸如社交媒体和支持感知的移动设备之类的数据类型正在激增。

那么这些信息有什么用呢?实际上,大数据可以通过多种方式为组织创造价值。首先,大数据可以使信息透明化并在更高的频率下可用,从而释放出巨大的价值。其次,随着组织以数字形式创建和存储更多的交易数据时,他们可以收集从产品清单到病假的所有方面的详细绩效数据。这就是公司使用数据收集和分析进行受控实验并做出更好的管理决策的方式。其他人则使用数据进行基本预测到高频临近预报,以及时调整其业务杠杆。

此外,大数据还可以缩小客户细分范围,并提供更精确的量身定制的产品或服务。这些复杂的分析可以极大地改善决策。而且,大数据还可以用于改善下一代产品和服务的开发。例如,制造商正在使用从产品中嵌入的传感器获得的数据来创建独特的服务产品。 (只是如何整理所有这些数据本身就是一种职业。有关更多信息,请参见数据科学家:科技界的新摇滚明星。)

捕获和处理大数据

为了捕获和处理大数据,公司必须部署新的存储,计算和分析技术。技术挑战的范围和解决这些挑战的优先级将根据公司的数据成熟度而有所不同。但是,遗留系统以及不兼容的标准和格式会阻止数据集成,并阻碍更复杂的分析创造价值。这意味着大数据也需要大技术。


几种新的增强型数据管理和数据分析方法有助于有效地管理大数据以及从该数据创建分析。实际使用的方法将取决于数据量,数据种类,所涉及的分析处理工作负载的复杂性以及业务所需的响应能力。它还将取决于供应商提供的用于管理,管理和治理大数据环境的功能。这些功能是产品评估的重要选择标准。

大数据技术包括旨在处理大量数据(包括Cassandra和Hadoop)的开源数据库管理系统,以及旨在报告,分析和呈现数据的商业智能软件。

没有错误,没有压力-在不破坏生活的情况下创建可改变生活的软件的分步指南

当没有人关心软件质量时,您就无法提高编程技能。

利用大数据进行业务决策

Forrester Research估计,组织仅有效地使用其可用信息的5%。这为优化和改进留出了很大的空间,这就是为什么要使用大型数字数据集进行业务决策需要组装包括从存储和计算到分析和可视化软件应用程序的所有内容的技术堆栈的原因。具体技术要求和优先级将根据要实施的大数据杠杆和机构数据的成熟度而有所不同。

那值得麻烦吗?一言以蔽之。使用大数据的商业利益是显而易见的。例如,麦肯锡全球研究所(McKinsey Global Institute)估计,有效利用大数据的零售商可以将其营业利润率提高60%以上。说到投资回报率,它并没有比这更好。

为了从大数据中受益,麦肯锡建议业务领导者采取以下步骤:

  1. 盘点所有数据资产
  2. 确定价值创造机会和风险
  3. 建立内部能力以创建数据驱动的组织
  4. 制定企业信息战略以实施技术
  5. 解决数据政策问题,例如隐私,安全性和知识产权

涉及大数据时,数据策略问题尤其令人关注。大型数据库通常包含高度敏感的信息,例如公司机密或必须受到法律保护的数据。另外,通常在数据的可用性和机密性之间进行权衡。如果组织希望数据可用且有用,则结果通常是围绕该数据的安全性较低。为了处理大数据以进行实时决策,数据的集中化至关重要。但是随着集中化程度的提高,隔离和保护机密数据的能力下降。

此外,数据集的大小可能会使实现安全性和隐私控制变得笨拙。出于安全原因对所有这些数据进行加密将是一项耗时且昂贵的工作,并且会减慢数据处理的速度,从而阻碍快速决策。


解决大数据的隐私和安全挑战的关键是上面确定的第一步:盘点所有数据资产。一旦组织了解了大数据所在的位置以及存在的数据类型,就可以采取措施,例如投资能够处理大数据量的安全技术,以保护其机密信息。

途中更大的数据

下一个是什么?好吧,有一件事可以肯定:大数据将继续存在。

但是大数据的意义不仅仅在于规模。关于机会。在这种情况下,这是寻找新的和新兴的数据和内容类型的见解,使业务更加敏捷并回答以前认为无法解决的问题的机会。

因此,从中受益的关键是捕获并处理它,并有效地使用它来制定明智的业务决策。说起来容易做起来难,但是到目前为止,结果证明是值得努力的。