数据收集体系规划思路-亚洲ca88官方网站

发布时间:2023-04-09 18:31:43 来源:亚洲ca88官方网站

  其它装备,包含是否记载日志文件,日志文件寄存的途径,单个日志文件的巨细,日志文件最长寄存的时刻,收集文件寄存途径,是否删去现已上传的收集文件,是否对可用磁盘空间进行监控和剩下空间缺乏告警;登录相关装备等

  注:招唤收集不供给独自的装备,招唤收集其实便是守时收集,由服务器下达一个优先级较高并当即履行的收集装备指令即可。

  供给与服务的衔接服务,保护与服务的衔接,与服务进行信息传输和文件传输,接纳指令,将指令分发给相应的模块,转发各模块向服务器发送的服务恳求。

  各模块功用独立,经过各自供给的服务接口进行相关。完成网络,事务逻辑,界面别离。

  1.基本参数装备功用,包含网络相关装备,告警参数装备,存贮装备,登录用户装备等,如网络参数装备:

  文件传输相关,主动上传时刻;文件在服务器上存贮的相对方位;多个文件传输时运用单衔接仍是多衔接传输。文件上传失利的重传距离等。

  数据库拜访相关,数据库衔接相关装备,包含数据库类型,衔接串,用户名,暗码;取得查询成果的相关SQL查询句子和查询条件;数据守时收集的时刻;多条收集指令的优先级等。

  针对不同的数据库,依据装备条件或接纳的指令,查询数据库,生成查询成果记载集,系列化为二进制文件,运用高效紧缩算法对文件进行紧缩,依照文件命名规矩存贮于指定方位。

  依照装备条件或接纳到的指令,上传文件,包含需求的任何文件,如收集的二进制成果文件,日志记载文件等。

  前端收集体系首要包含装备服务、数据查询、文件上传、日志、错误处理、主动更新服务、安全服务、网络服务等模块,各模块首要功用如下:

  装备模块至少供给二类接口,一是本地装备接口,本地能够经过装备界面进行相关参数设置;二是长途装备接口,长途服务器能够经过此接口下达装备指令,完成长途装备,便利今后前端体系的保护。

  将各收集点,如医院,药店等数据库(或其它数据载体)中的数据依照必定的规矩提取,生成合适传输和存贮的文件,经过互联网将文件上传到服务器,服务器对数据进行剖析处理,并依照必定的装备条件进行数据告警处理,最终把数据存贮于数据库服务器中,供给给其它使用体系进行数据查阅。

  首要包含前端数据收集和后台数据存贮两大功用。前端收集担任把各种数据源中的数据按要求存为文件上传到后台服务器;后台服务首要将上传的文件进行剖析和存贮,如下图。

  供给日志记载功用,其它模块能够经过本模块供给的接口进行日志记载。以及日志查询功用。

  2.网络服务模块,供给socket衔接的服务端,为前端体系供给衔接服务。接纳前端体系发送的数据,解析数据,分发给其它模块;转发各种指令给前端收集体系。

  3.数据剖析处理模块,如更新服务恳求,招唤收集指令等的履行成果,文件传输。

  4.数据告警模块,告警模块供给各种告警服务,每种服务对自己关怀的数据进行告警;依据告警的优先级,第一流的告警服务先接纳数据剖析模块传来的数据,判别是否告警,然后传给下一级的告警服务,直到装备的所以告警类型悉数处理完毕。

  6.供给晋级更新服务的模块。为前端供给手动,主动,和强制晋级服务,包含晋级程序和装备。

上一篇:Log4j 缝隙不仅仅是修正更需求构建有用预警机制 下一篇:数据收集与预处理
分享到: