近年来运维技术飞速发展，运维团队建设了各种系统，虚拟化、容器化、持续集成等等。但如何有效地利用这些系统最终实现站点的高可用、高性能、高可扩展？在大数据时代，智能运维是基于大数据之上的。大数据里90%都是非结构化数据，日志是重要的非结构化数据，日志无处不在，因此，从日志里面挖掘的价值非常高。
2017年9月27日，由中国新一代IT产业推进联盟主办，CIO时代APP承办的"第62期CIO时代信息化大讲堂"活动在北京CIO时代学院报告厅成功举行。日志易项目总监赵亮作为本次活动的特邀讲师，发表了题为《智能运维与海量日志分析》的主题演讲。本次活动吸引了企业技术人员、高校学生、业界CIO等40多人参会，活动现场提问不断，气氛活跃。本次讲座活动由CIO时代APP市场运营张林颖主持。
日志易项目总监 赵亮
他主要从智能运维、小功能介绍、场景分析及价值以及机器学习四个方面进行了详细阐述。
日志是鲜活的，是可以发声的。他表示，要把机器学习、人工智能应用在运维领域，来实现智能运维，然后两者结合服务于三大模块：服务台、自动化、监控。机器学习、大数据在不同企业的落地技术是不一样的，机器学习在整个行业里还处于一个发展的阶段，跟实际要求的预期还存在一定的差距。
智能运维架构
1、数据采集，采集是基础，包括日志、事件、性能指标。
2、数据存储，主要是非结构化数据存储，日志这种数据是非常典型的。
3、数据分析，把整个数据源进行整体的分析，主要把握深度分析、实时分析两大模块，也是智能运维中最为关键的环节，要很精准的做到非结构化数据分析，来达到想要的指标。
4、数据展现。可以通过可视化、自然语言来实现。
大数据技术应用于IT运维，通过数据分析提升IT运维。Gartner估计，到2017年15%的大企业会积极使用ITOA，而在2014年这一数字只有5%。
ITOA 四种数据源的比较
1、机器数据（日志）。日志无所不在，但不同应用输出的日志内容的完整性、可用性不同。
2、通信数据（网络抓包）。网络流量信息全面，但一些事件未必触发网络流量。
3、代理数据（嵌入代码）。代码级精细监控，但侵入性，会带来安全、稳定、性能问题。
4、探针数据（模拟用户请求）。端到端监控，但不是真实用户度量（Real User Measurement）。
日志管理系统演进
1、日志1.0 数据库。固定的schema无法适任意日志格式，无法处理大数据量。
2、日志2.0 Hadoop／NoSQL。需要开发成本，批处理、实时性差，不支持全文检索。
3、日志3.0 实时搜索分析。实时、灵活、全文检索。
4、日志4.0。主要是应用机器学习、人工智能技术。
日志易的“小功能”主要表现在丰富的数据采集手段、多种数据整理方式、内置多种解析规则、细粒度权限设置、数据脱敏、日志生命周期管理、简单多样的告警手段几个方面，使日志易的“小功能”专业而全面。
场景分析及价值
一、安全审计及合规
2017年6月1日，《中华人民共和国网络安全法》正式实施，其对业务系统安全审计提出了新的要求。日志易既对外做SOC（安全运营中心）的支撑平台，又对内做UBA（用户行为分析）。很多企业在使用之后，满足了合规要求。
二、统一日志管理
目前接入600多个子系统应用日志，202台网络设备日志，45台F5设备日志，47台存储设备日志，每秒产生的200万条日志，由于日志量庞大，为了降低防火墙策略的复杂度以及防火墙流量压力，将网络设备、服务器、业务应用日志通过专门网口接入到内网万兆交换机，直接转发到日志易集群。各业务系统服务器中部署日志易采集agent，用于增量读取业务日志，目前已部署1300多个。
活动现场
在此次讲座中，赵亮先生深度讲解了日志易的内部技术原理，深入浅出。嘉宾们认真听讲，纷纷表示不虚此行。
“CIO时代信息化大讲堂”活动每隔周三下午19:00-20:30定期举办公开讲座，更多干货分享以及活动动态，请关注CIO时代APP。扫描下方二维码即可下载。
第三十五届CIO班招生
国际CIO认证培训
首席数据官（CDO）认证培训
责编：pingxiaoli
免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。
抢沙发
