裴丹：智能运维算法需要工业界和学术界密切合作实现技术突破(2)

　　对国内的运维人员的发展，裴丹提出了几点建议：除了提升代码开发能力，希望国内运维人员有意识的提升应用机器学习技术的能力，并不断实践。国际上“基于机器学习的智能运维”的实践也只是刚刚兴起，因此，就像中国的人工智能被认为有可能实现对美国人工智能的弯道超车一样，裴丹说他相信国内的运维行业只要足够重视并不断尝试实践，完全有可能在“基于机器学习的智能运维领域”实现对美国运维业的弯道超车。

　　关于智能运维技术如何落地的问题，裴丹说，在目前这个阶段，智能运维科研想要继续往前推进并取得更好的成果，需要把智能运维里的一些关键算法定义好、分解好。这是智能运维落地的一个关键步骤和手段。

　　他表示，现在智能运维很热门、很火爆，大家都感兴趣。但智能运维落地的核心挑战是：从工业界的角度，我们有数据、有应用，但是缺乏一些算法和经验；从学术界的角度，我们有不少理论算法，但是缺乏实际的数据以支持科学研究，也不熟悉运维的场景。“尽管我已经工业界和学术界的合作方面有了很多实践，但我切身感受到，相对来说，这种一对一的交流效率比较低，且见效慢，特别不符合当前的开源开放的趋势。”

　　因此，裴丹提出的解决思路是，以科研问题为导向，将我们在智能运维领域需要解决的一系列挑战性的问题，定义成切实可行的科研问题。这样，就有明确的输入和输出。在这种情况下，如果我们的企业能够拥抱开源开放的趋势，把数据开源出来，就能让学术界更多的研究人员参与到研究智能运维有关的算法中来。

　　从智能运维发展历程看，最早出现的是手工运维；在大量的自动化脚本产生后，就有了自动化的运维；后来又出现了DevOps和智能运维。在运维的过程中，涉及到的步骤可以概括为：产生海量的监测日志，进行分析决策，并通过自动化的脚本进行控制。运维的发展过程，主要是分析决策步骤发生了变化：起初，由人工决策分析；后来，在采集数据的基础上，使用自动化的脚本进行决策分析；最后，用机器学习方法做决策分析。

　　根据Gartner Report(加特纳报告)，智能运维相关的技术产业处于上升期。2016年，AIOps(基于算法的IT运维)的部署率低于5%，Gartner预计2019年AIOps的全球部署率可以达到25%。所以，AIOps的前景一片光明。

　　如果AIOps普遍部署之后会是什么样的？

　　裴丹分析说，从机器的角度来看，基础性、重复性的运维工作现在都交给计算机来做了；同时，机器通过机器学习算法为复杂的问题提供决策的建议，然后向运维专家学习解决复杂问题的思路。从运维专家的角度看，运维专家主要处理运维过程中的难题，同时基于机器建议给出决策和训练机器徒弟。运维工程师将逐渐转型为大数据工程师，主要负责开发数据采集程序以及自动化执行脚本，负责搭建大数据基础架构，同时高效实现基于机器学习的算法。机器学习科学家主要负责AI的落地应用。智能运维领域相对于其它AI应用领域的优势在于，我们不仅有大量的应用数据，而且有实际的应用场景和部署环境。因此，人工智能在计算机视觉、自然语言理解、语音识别之外，又多了一个落地应用——这是一座尚未开采的金矿。

　　裴丹说，智能运维科研门槛高。

　　从工业界的角度看，因为智能运维需要三方面的知识：

　　第一，要熟悉应用的行业，比如说互联网、电信或者相对传统的行业，如金融、电力等等。

　　第二，要熟悉运维相关的场景，包括异常检测、故障预测、瓶颈分析、容量预测等。

　　第三，虽然工业界熟悉运维行业和场景，熟悉生产实践中的挑战，也有数据。但是，工业界并不熟悉整个智能运维中最重要的部分——如何把实际问题转化为算法问题(后面会讲到如何把实践中的难题分解成多个算法并逐个解决)。同时，工业界也不太熟悉查阅科研文献，特别是跨行业的文献。因此，智能运维是一个需要三方面领域知识结合的高门槛领域。

　　所以，裴教授和他的团队正通过自己的一些努力，来降低工业界部署智能运维的门槛。比如，清华的实验室运营了一个微信公众号，叫做“智能运维前沿”。基本上两三周推出一篇公众号文章，介绍世界范围内智能运维的前沿进展。

　　智能运维算法需要在实践中更好的落地

　　在学术界中，很少有人做智能运维方向。这是因为，对于学术界来说，进入到智能运维这一科研领域具有很强的挑战性。为什么？

　　虽然学术界研究人员的算法能力相对较强，但是他们往往不熟悉行业和运维领域的相关知识。而智能运维处于三个领域的交叉部分。这就导致智能运维的门槛比较高，需要花大量的时间和精力才能进入智能运维领域。

　　在推动降低工业界进入智能运维的门槛的同时，裴丹的团队也在努力推动降低学术界进入智能运维领域的门槛。他还曾应邀在《中国计算机学会通讯》上发表文章，向学术界的同行介绍智能运维中的科研问题。但仅仅宣传是远远不够的，还要实践。裴丹在第一届APMCon会议(由听云、极客邦科技与InfoQ联合主办的全球高水准APM技术盛会上)发表学术演讲，阐述了当时和百度合作的三个案例，包括异常检测、瓶颈分析以及智能熔断。这种公开的宣传带来了很多新的合作。除了与百度的合作，清华实验室相继与滴滴、搜狗、阿里巴巴、腾讯签署了正式的合作协议。他认为这验证他的一个观点：工业界可以获得算法层面的深度支持，学术界可以获得现实世界的前沿问题和数据，有利于发表论文和申请国家项目。

　　谈到工业界与学术界在智能运维方面的合作，裴丹表示，现在工业界跟学术界的合作方式，还处于1.0阶段，即一对一的交流。在这个过程中，遇到了诸多挑战：

　　1、交流合作效率低，见效慢。比如说我是这个教授，我跟A公司讨论一下，再跟B公司讨论一下。很多情况下，不同公司遇到的问题都是类似的，比如异常检测。但是，我需要跟每个公司梳理一遍这些问题。C公司可能不知道我，就找另外一位教授，他依然需要梳理这些问题。这就大大降低了交流合作的效率。而科研最难的部分，就是把一个实践中的问题定义好。当定义好问题之后，只要数据准备好，其他问题都可以迎刃而解。

编辑：未知