技能干货 网优大数据渠道技能闲谈与未来展望_通讯国际网-亚洲ca88官方网站

　　现在，网优大数据渠道现已接入我国移动全网一切TD-LTE/LTE-FDD/NB/5G无线基站数据，基站小区总数已超千万，成为全球网元和数据接入规划最大的网优支撑渠道。依据5G大规划建造后的运维需求，渠道已同步完结各项5G相关功用演进，一起活跃引进智能网优算法使用,提高网优运维支撑的智能化水平。

　　网优大数据渠道是我国移动全体网优人才智的结晶，是总部、支撑单位、省公司协同协作、一起尽力的效果，荣获2018年集团科技进步二等奖。作为渠道研制的全程参与者，笔者十分侥幸可以遭到移动Labs约请，向咱们扼要介绍一下网优大数据渠道研制进程、技能实践与考虑以及未来展望。

　　在网优大数据渠道大规划使用之前，我国移动网优作业根本依托脱胎于话务网管的第三方传统网优渠道，全国通过两期大建造，依然未能改动网优出产剖析靠工单，使命逐级下达，数据层层上报的问题，渠道热建冷用的问题十分杰出。

　　跟着网优会集化运维体制改革以及4G网络的大规划商用，会集优化作业需求强壮的网优支撑渠道，坚持4G网络抢先优势也需求依托渠道固化网优经历，提高网优出产功率。4G规划商用后，六维度剖析、室内掩盖、网络搅扰、竞对剖析、高铁等许多优化作业都需求渠道供给全方位支撑。网优使用需求改变越来越快，而传统渠道因为IT落地依靠第三方，周期长、和谐多，质量不行控，使用功用模块根本上不行能在全网范围内快速迭代。

　　此外，传统网优渠道遍及选用大型单机服务器+联系型数据库的体系架构，跟着全网MRO丈量陈述数据的常态化敞开以及信令数据、MDT数据的大规划引进，传统渠道面对大数据处理、杂乱相关核算需求变得不堪重负，无法完结精密优化作业的常态化。

　　为了处理上述问题，在公司与部分领导的大力支撑下，总部联合支撑单位、省公司于2011年发动了网优大数据渠道的自主研制作业。

　　2011年研制项目发动后，咱们历时三年，于2014年推出了第一个上线运转的大版别，支撑TD-LTE无线参数与功用数据的实时处理，2016年支撑MRO/MRE/MRS与OTT数据的处理，2017年增加对FDD-LTE网元以及MDT数据的支撑，2018年接入NBIoT基站数据，2019年增加对5G NSA/SA无线参数与实时功用数据的支撑。近五年来，咱们每年都会依据现网出产需求迭代更新渠道架构与功用模块。研制进程时间表如图1所示。

　　网优大数据渠道现在现已具有我国移动全网无线参数、功用、告警、MR、MDT、工参、OTT等各类网优数据的收集解析、相关剖析以及分场景汇总才能。渠道有用支撑了总部和省公司的许多出产作业，一起依据实践需求，向支撑单位使用、省公司自有使用以及第三方上层使用输出了许多网优数据支撑才能。除了日常与专项出产，重要通讯保证期间，渠道也承当了许多的手法支撑使命。简而言之，通过9年的研制探究，环绕网优大数据渠道的网优与运维使用生态已初具规划。

　　关于我国移动网络运维范畴的数据体量，重复处理所带来的价值是惊人的。因而，咱们始终将总部与31省视为一个全体，企图构建一个掩盖全国、才能散布、调度会集的广义大数据渠道。防止将总部与31省分裂开来的意图首要便是要防止数据重复收集、重复处理，重复存储，节省私有云资源池和名贵的省际带宽。尽管收集处理才能是散布式的，可是渠道需求有一致调度和状况监控才能，这种才能一起也大大下降了运维本钱。资源池环境不标准、出口带宽不稳定等问题是广义大数据渠道落地过程中面对的最大应战，为此咱们做了许多的适配作业，也做了许多容器化方面的实践。这些问题在咱们其时的广义中台建造中同样是研讨要点，需求引进熔断等自愈机制及时接收失效服务。

　　2011年渠道项目发动之初，Hadoop MapReduce如火如荼，谈及大数据处理必谈MapReduce。业界首要集成商也在紧锣密鼓地向MapReduce批处理与ETL结合的架构演进。结合我国移动现网数据特征、数据规划、事务需求以及其时的处理与存储硬件条件，咱们挑选了其时并不干流的流处理架构作为渠道数据的首要处理形式。因为其时网优职业对这一范畴的研讨和使用几乎是空白，咱们只能诉诸互联网职业的技能堆集。曩昔九年中，咱们持续盯梢全球流处理技能开展，特别重视流处理以及批流合一结构的开展和使用，从Kafka+Storm到Spark Streaming再到Kafka+Flink等等，参加了许多的社区MeetUp，做了许多测验和上线对接。此外，咱们将散布式流处理作为一种理念，开源结构给咱们供给了快速完结这一理念的通用方法，可是咱们还将这一理念贯穿到了架构规划和程序开发的各个环节中，终究的意图是向每一个数据处理环节要功率。

　　不同类型、不同厂商的数据源接口、存储格局、紧缩打包方法、服务器渠道存在许多差异，收集模块需求做好适配。许多适配并非一个正则表达式就能处理的，需求对数据源进行详尽的剖析再硬编码。收集机制要防止数据文件不完整、文件丢掉、推迟过大等一系列问题。为了处理单线程带宽受限的问题，咱们依据收集量引进自适应多线程收集，一起优化收集使命分配机制，防止服务器与网络约束形成数据文件丢掉。为了应对信令收集所面对的大流量应战，咱们专门对网优范畴的信令需求进行深化剖析,依据DPDK开发了适用于网优事务的信令收集结构，完结了零复制（Zero Copy）、多口实时相关以及前端实时过滤,节省了许多硬件开支。

　　存储方面，咱们引进开源散布式文件体系，首要意图是完结包含解析在内的后续处理的负荷均衡，以及结合音讯行列完结收集与后续处理之间的彻底解耦合。

　　我国移动全网NRM/PM/FM/MR/MDT服务器现已超越两万台，每天都有许多的入网退网操作。服务器地址、端口、账号、映射联系等等都或许产生改变。靠人工办理不只功率低下，并且经常出现因更新不及时形成数据缺失的问题。针对这一问题，咱们专门引进主动调度结构并加以改造，使其具有主从节点功用。主节点可以在服务器装备产生增修改后将改变主动传导到各个从节点，一起在使命分配时充分考虑负荷分管。此外，咱们专门开发服务器办理办理模块，便利查询实时收集状况，及时发现收集失利的问题服务器，一起供给便利的调测功用和办理数据更新功用。

　　尽管我国移动比较其他运营商有着更为完善的北向、MR、MDT、DPI数据标准，可是不同数据类型、不同主设备厂商、不同设备版别还存在着许多差异，需求进行适配。数据解析不只仅是简略的文件解压和数据格局转化，需求进行许多实时过滤、相关、核算、汇总乃至查找操作才能为同享层供给较为全面的事务数据，防止上层使用对同享层数据进行不必要的二次处理。

　　在对我国移动海量数据进行流式处理的过程中，有的数据需求进行实时汇总，有的数据需求进行实时相关，乃至窗口查找相关，咱们需求以近乎零推迟的方法完结相关、过滤、汇总等一系列杂乱运算，这些运算需求强壮的缓存机制做支撑，为此咱们专门建立了缓存集群，并且很早就进行了散布式改造。散布式改造期间，咱们与Codis等开源团队做了许多现场交流讨论，做了许多计划的上线测验和功用调优。内存I/O、CPU、网络带宽三者之间的平衡是规划好缓存体系的要害,数据量和并发量越大，这三者之间的对立就会越杰出。例如，为了下降I/O频次，咱们选用异步批量写入，可是异步写入设置不妥又会带来CPU短时冲高形成堵塞。此外，数据结构的规划、生命周期的操控等等都是坚持缓存机制可持续高效运转的重要因素。

　　网优大数据渠道中使用了多种数据库，有内存数据库、有列存储数据库，也有联系型数据库。事务需求的特色是咱们数据库选型的重要依据。使用好数据库，不只需求对数据库自身的特色深化了解，并且要结合事务数据特色进行合理设置。例如为了满意高并发的随机读写以及灵敏的数据列编列需求，咱们在部分处理环节上使用了HBase数据库。而HBase的使用不只仅是简略建立一个集群，有必要结合事务数据的写入次序、数据标签的标识特征以及上层使用查询的维度特色，对RowKey进行精妙的规划，防止写热门或读热门出现，有用平衡数据库读写之间的对立，完结读写过程中集群负荷的平稳、均衡。一起咱们对数据TTL生命周期、Flush战略、分区战略等等进行合理的操控，然后处理写入速度慢、数据歪斜等或许导致数据库不行用的问题。

　　GIS地舆化出现是网优范畴最常见的前台需求。在资源受限的情况下，网优大数据渠道依据GIS出现的数据查询特色，专门对渠道数据进行了新的结构规划，引进缓存与散布式并行核算机制，编写了高效的GIS查询引擎。咱们依据自有引擎、敞开底图对基站散布、掩盖栅格、样本轨道、掩盖拉线等地舆要素进行了直观的实时出现，使得基站、栅格、用户、样本这四者可以完结有机结合，支撑无缝相关。

　　关于我国移动网络作业，2019年公司领导提出要强化注智赋能，提高智能化运营水平。要建造体系会集、架构云化、才能敞开、自主可控、灵敏智能的才智运维大脑，全面支撑集团公司5G“网络＋中台＋使用”要求的落地以及网络云和5G SA的投产。在支撑手法方面，要构建网络才智中台，支撑网络价值化运营，一起加强网络运维智能化的使用，不断提高运维水平。

　　2020年网络作业会上，集团公司在OSS4.0网管作业部分明确提出要进一步增强资源办理域、质量保证域、运维办理域网管使用。在质量保证域方面，要构建以网优大数据渠道（1+6+N）为中心的网优支撑体系并完结5G演进，全面支撑“1+31”网优出产及办理。一起提出，渠道层构建“1+N”两级网管中台，推动事务拉通和数据同享。其间针对数据中台部分，将发布一致数据界说与数据模型标准，收集5G SA和NFV的资源/功用/告警数据，拉通同享网优大数据渠道、新资管等体系的数据。

　　未来，作为网络才智中台的一部分，咱们将尽力构建一个面向总部+31省的广义数据中台，渠道自身现已完结部分模块的功用切分与微服务改造，后续将逐渐完结悉数功用模块的微服务化和容器化，一些共性服务将面向全网，而非总部或许某个省，然后构建网优数据的全网一致同享才能。一起，咱们将尽力构建强壮的智能网优算法支撑才能，为上层使用供给一致的算力支撑，联合各方一起构建灵敏、智能的事务中台。跟着5G基站的大规划入网，网优大数据渠道将持续更新演进5G相关支撑才能。

　　回忆网优大数据渠道曩昔九年的研制进程，尽管咱们遇到了各式各样的应战，可是期间在资源和谐、团队构建、项目办理、技能支撑等方面得到了多位领导的大力支撑，得到了多个省公司专家以及互联网范畴很多开源社区专家的直接协助。借此机会表明诚心的感谢！面向未来，咱们将依照集团公司一致布置，联合各方力气，面向一线出产需求，持续朝着构建网络运维范畴一致才智中台的一起方针砥砺前行。