使用Hadoop和大数据发现数据盗窃

作者: Roger Morrison
创建日期: 20 九月 2021
更新日期: 1 七月 2024
Anonim
Craig Wright: Bitcoin as a security system
视频: Craig Wright: Bitcoin as a security system

内容


资料来源:Ximagination / Dreamstime.com

带走:

大数据和Hadoop的结合力量正在组合在一起,以识别数据盗窃-并制止这种情况。

如今,由于公司和政府机构暴露数据而导致数据被盗的风险急剧增加,每天都在发现新的案件。这种数据盗窃对组织可能是巨大的打击,因为它们会泄露机密信息并导致大量金钱的损失。无法轻松保护数据的安全,甚至许多高级技术在该领域都失败了。这些盗窃最可怕的事情是它们很难被发现。有时,可能需要几个月甚至几年的时间才能检测到它们。这就是组织必须采取有力措施来确保其数据始终保持安全的原因。一种这样的方法是将Hadoop和大数据结合使用,以检测欺诈性犯罪网站并向其他组织发出警报。

为什么我们需要保护数据?

如前所述,每天都会报告新的数据盗窃实例。这些类型的数据盗窃可能发生在任何公司中,无论是政府组织,企业还是约会网站。据估计,仅数据盗窃就可能导致大量资本的损失。您可能会问多少?每年约4,550亿美元!

尽管公司目前使用的安全系统可以应对某些简单的数据盗窃技术,但它们仍无法应对组织内部更复杂的尝试或威胁。此外,由于查明这些案件需要花费大量时间,犯罪分子可以轻松地操纵安全系统的漏洞。

如何应对这些威胁

随着这类数据盗窃的数量和复杂性不断增加,黑客正在寻找操纵安全系统的新技术。因此,维护重要机密数据的组织必须更改其当前的安全体系结构,该体系结构只能响应更简单的威胁。只有切实可行的解决方案才能避免此类盗窃。公司必须为任何类型的盗窃做好准备,他们需要提前计划。这将使他们能够迅速应对这种情况并加以解决。

许多公司已经主动提供解决方案,使其他公司可以保护自己的数据免遭小偷的侵害。这样的公司的一个例子是Terbium Labs,它使用利用大数据和Hadoop的新颖方法来有效地检测和响应此类威胁。

Terbium的新技术如何帮助保护数据安全?

Terbium用于帮助公司快速响应威胁的技术称为Matchlight。这项强大的技术可用于扫描Web(包括其隐藏部分)以查找任何类型的机密数据。如果发现此类数据,它将立即将其报告给用户。该应用程序也非常准确。它实际上创建了公司机密数据的唯一签名,称为“手指”。在生成公司机密数据的唯一签名后,该应用程序将数据与在网络上找到的数据的“手指”准确匹配。因此,大数据的这种应用可以通过在网上寻找证据来有效地识别数据盗窃的实例。如果在授权地点以外的任何地方(例如Internet,Dark Web或竞争公司的网站)找到了数据,它将立即将被盗信息及其位置通知母公司。


“指法”技术

Matchlight结合了一种特殊的技术,称为“指法”,它可以匹配大量数据而没有任何麻烦。该应用程序首先找到机密数据的手指。之后,将其存储在其数据库中,并定期与Internet上收集的手指数据进行比较。现在,可以使用此数据来检测Web上的数据公开。如果找到匹配的数据签名,它将自动提醒客户公司,该公司可以立即实施其计划的安全措施。

它涵盖哪些数据类型?

Matchlight可以找到任何类型的数据类型。这可能包括图片文件,文档,应用程序甚至代码。该解决方案功能强大,可以立即处理整个高度复杂的数据集。因此,许多公司正在将Matchlight用于数据安全,而Terbium的当前数据库包含3400亿根手指,并且每天都在增加。

没有错误,没有压力-在不破坏生活的情况下创建可改变生活的软件的分步指南

当没有人关心软件质量时,您就无法提高编程技能。

Hadoop有何帮助?

为了有效处理数据库中的大量数据,Terbium需要强大的大数据处理平台。他们为此选择了Hadoop。但是,他们需要一种快速有效的Hadoop版本,该版本可用于有效的大数据处理。为此,他们认为以本机代码运行的企业的Hadoop发行版将是最合适的选择。他们没有选择JVM版本,因为它使发行版变得资源过多。

Terbium的联合创始人Danny Rogers先生指出了Hadoop的重要性。他说Matchlight的效率取决于数据收集的效率,后者取决于Hadoop。这表明Hadoop在确保组织中数据安全性方面的重要性。

Hadoop在数据安全领域的前景

Terbium正在迅速普及,并且已经有一些大型的《财富》 500强公司开始使用Matchlight服务来跟踪被盗的数据。这些公司包括医疗保健公司,技术提供商,银行和其他此类金融服务提供商。结果也是惊人的。在第一天的最初几秒钟内,这些公司已经收回了大约30,000条信用卡信息记录和6,000个新地址,这些记录已被攻击者窃取。这些显然在Dark Web上出售。


使用Hadoop发现被盗数据的好处

机器学习,基于云的数据库与高度可靠且准确的企业级Hadoop版本之间的这种强大集成类型可以在很多方面使公司受益。这些基于云的数据库将能够积累大量数据,这些数据将在Hadoop的帮助下由应用程序利用,以在几秒钟内匹配Internet上的签名。因此,Hadoop将能够大大提高整体搜索的速度。因此,公司将能够在很短的时间内(即几秒钟)找到他们的被盗数据,而不是目前所需的平均搜索时间(200天)。

为什么仅使用MapR发行版?

Matchlight仅使用Hadoop的MapR发行版。这是由于多种原因。第一个原因是Hadoop的企业级版本在本机代码上运行,因此,它可以轻松有效地利用所有资源。考虑到它是基于云的,它还使用很少的存储成本。此外,它非常快,因此可以轻松地帮助管理大量数据指针。它提供了许多附加的业务级功能,例如最先进的安全性,高可靠性以及易于备份和恢复的功能。

结论

事实证明,Hadoop在组织的数据安全领域中非常有用。许多公司使用MapR来有效管理数据并制定计划以防数据被盗。许多新公司也应运而生,它们承诺保护这些组织的数据,甚至可以在几秒钟而不是几个月内识别出数据被盗。