如何在虚拟环境下测试数据分析?

2016-04-13 10:11:24 来源：TechTarget中国抢沙发

2016-04-13 10:11:24 来源：TechTarget中国

摘要：本文中，让我们看看在小环境中有限预算情况下测试数据分析的方法。并且，让我们看看在小型环境有效运行数据分析的方法。
关键词：大数据信息安全

　　IT安全的发展是围绕数据，生成、收集、收集、存储和分析数据是安全日志的重要部分，但这些大型数据集给存储和处理资源带来巨大压力。

　　在专业生产环境中，应该部署着良好的数据收集和分析基础设施，并有足够的资源进行可靠和稳定的设置。

　　然而，现实情况是，由于预算限制以及对更大灵活性的需求，安全专家通常需要在更小的环境中实施和测试数据分析及处理。幸运的是，即使预算低且时间有限，我们仍然有办法可以测试数据分析。本文中，让我们看看在小环境中有限预算情况下测试数据分析的方法。并且，让我们看看在小型环境有效运行数据分析的方法。

　　虚拟化

　　为了保持低成本以及高配置灵活性，我们应该尽可能多地利用虚拟化硬件。Vmware ESXi是数据分析测试实验室的不错选择，Parallels、VirtualBox和Hyper-V等其他产品也可以使用。在这个例子中，我们将使用Vmware。在免费注册许可证后，这个管理程序可安装在相对廉价的硬件中—但是要注意支持的CPU要求，否则也可能会很昂贵。在管理程序上，我们可以通过虚拟网络安装和连接很多不同的虚拟主机。例如，这包括基于Linux和Unix的代理服务器、IDS和防火墙设备，以及Splunk和Syslog服务器。

　　代理服务器

　　代理服务器可提供对网络流量的可视性，并可处理流量直到ISO模型的应用层。例如，它可显示HTTP和FTP特定通信。现在有很多免费的开源代理服务器，例如ClearOS、CacheGuard和pfSense。pfSense是基于FreeBSD，这是最容易管理的代理服务器之一，并且它内置很多高级功能，例如Squid Proxy、SSL检查、防病毒和VPN。远程Syslog是防火墙日志的可选项，但为了输出代理服务器日志，还需要在代理服务器设置的自定义选项字段添加以下命令行：access_log syslog:LOG_LOCAL4，这之后会进行重新启动。对于SSL检查，则需要通过Web UI安装Squid 3 Proxy软件包，SSL检查可提供hTTPS代理日志记录。

　　Splunk

　　Splunk Light是集中日志记录的起点，它还可以为安全性运行测试数据分析程序。在注册后，它免费可供使用，并可很容易地安装在Ubuntu服务器。考虑到主机本身是虚拟化，整个服务器不会增加任何成本。另一个选择是Splunk企业免费版，它提供60天免费试用，允许每天索引500 MB数据，但在60天后需要付费转为永久Splunk企业版。

　　在pfSense Remote Syslog的情况下，我们需要Splunk通用转发器来收集日志以及转发日志到Splunk索引。这个转发器可与Splunk Light Search Head(上文所述的Web UI)相同的主机或者在单独主机上。我们可通过Splunk Web界面来完成对这个Splunk通用转发器的数据来源和监听端口的配置和自定义。

　　Hadoop

　　数据挖掘和数据科学是目前的热门话题。对于任何想要深入研究这个问题的人来说，可以选择运行Hadoop测试服务器。通常情况下，Hadoop运行在群集配置中，但这也可以降至单节点群集，这种单台服务器将同时包含数据节点和名称节点。为了互换Splunk和Hadoop服务器之间的数据，可以下载和安装Hadoop Connect。这需要安装Splunk Enterprise Free，并由于Splunk内的应用支持要求，它将无法在Splunk Light运行。安装手册和视频提供在Splunk网站。

　　总结

　　总之，安全完全是关于数据。在设置这个测试实验室后，需要生成可用数据。这需要虚拟网络内的一些活动，例如通过代理服务器运行家庭LAN、在网络外围设置蜜罐或者在网络内运行模拟攻击。由于使用了虚拟组件，这个测试实验室将具有足够的灵活性以适应所要求的情况，并将能够生成很多类型的数据用于分析。

第三十八届CIO班招生
国际CIO认证培训
首席数据官（CDO）认证培训

责编：pingxiaoli

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。