大数据平台在分布式服务中的应用

对大数据平台的一些理解

大数据是目前比较火的领域,它涉及的领域比较广泛,例如数据挖掘、机器学习等等;所有这些基于数据的操作能够正常工作的前提是:搭建相应的大数据收集平台,在该平台中能够通过主动和被动的方式收集到足够的数据;一般情况下,大数据平台里的数据来源主要有:

(1)  日志数据,相对于大数据平台,这是一种主动收集数据的方式;这种方式可能是大数据平台中最主要的数据来源,并且随着用户请求量、服务数量的增长,日志数据的数据将会成倍增长;此种方式收集的数据可能会有大量的无效数据(可能当前我们用不到这些数据),但是对于后续的数据挖掘会有较大的用处;

(2)  上报数据,相对于大数据平台,这是一种被动收集数据的方式,这种方式收集的数据针对性强,基本都是有效数据,而且格式比较统一,便于数据分析和处理;

我们为什么要做大数据平台?

这与我们采用的技术方案有关,我们在组建后台研发团队后做的第一个项目是:推送系统,要求支持千万级在线用户,显然它的潜在要求是支持高并发,高可靠性;另外,由于目前用量还不够多,因此整个系统要能够动态扩缩容;为了设计支持如此的需求,我们采用了分布式服务的架构(其实我们一直很避讳谈微服务,我认为的微服务就是分布式服务的更规范化、通用化、自动化的一种实现形式),这样我们的推送就被设计成了多个独立的子服务程序,服务之间采用rpc通信(rpc框架使用了我们最为熟悉的Thrift),这一切都很顺利,我们整个系统最小化的集群部署(每个服务都是一个实例运行)可以轻松超越1500qps,整个系统的容量、并发性也都能随着水平扩展而增加,基本上满足了需求;后续我们逐步新增加了类似设计思想的IM、VOIP等业务以及分布式ID生成器、通用评论系统等等一系列平台性服务。等到这些服务陆续上线的之后,我们面临的问题逐渐出现了(只列出一部分):

(1)  当使用过程中遇到问题时,我们就得找运维同事把全部相关子服务日志都弄下来,对于运维,需要挨个机子把这些服务的日志文件取下来,对于研发来说,我们需要从第一个服务程序开始,挨个查找每个服务的日志文件,不仅非常麻烦,而且不利于定位问题!

(2)  每个服务上的日志文件都有一定的保存期限,例如保留最近7天的日志文件,这样当我们想要分析7天之前的日志时可能就找不到了;

(3)  有时候,一些问题可能要跨越好几天的日志文件,我们也不知道到底该要哪一天的日志,这时就得对每个服务的每天的日志都进行分析,这个工作量太大了;

不过,好的一点是我们提前对后台业务的日志格式做了规定:

(1)  我们要求所有的日志输出都必须带日志索引;

(2)  日志索引必须在每条日志的特定位置以特殊形式加进来;

(3)  所有的接口函数必须在第一个参数提供日志索引,让调用方传递日志索引进来;

(4)  在服务的入口处,需要从我们自研的分布式ID生成器中获取一个唯一的日志ID;

这样一个请求进入到系统,它的所有日志输出都是使用同一个日志ID,只要我们找到了对应请求的日志ID,就可以寻找到这个请求在所有服务中的日志信息;只是,我们目前得拿着这个日志ID到每个服务的日志文件里面去寻找!

为了解决这个问题,我们决定搭建自己的大数据平台,其实对于这个问题,有很多公司采用了常用的ELK三件套来解决,我们则考虑了如下几点:

(1)  支撑各种日志的高效解析、处理和分析,我们未来的业务量可能会非常大,涉及到的新服务也会越来越多,我们就需要这个系统能够接受并解析各种日志;

(2)  随着后续业务的发展,这些日志数据不仅能被用来解决“查找日志难”的问题,还可以做更多的数据分析,因此我们不仅需要ES的数据检索功能,还需对全部原日志数据的存储功能,以便后续spark做更复杂的分析和处理;

(3)  ES中的数据存在也有冷热之分,越是近期的数据越有可能被访问,越是时间久的数据其热度月底,可能一个月之前的数据就不会被我们通过es来检索了。因此ES中的数据在一定时期内要定期清除,这时,我们就需要一个地方来存储全部的源日志数据,以便后续spark进行更为复杂的离线数据分析;

(4)  这套系统不仅应该能主动收集各服务的日志数据,还可以接受阁各种数据传入,即它是一个数据平台,而非一个日志分析工具;

我们如何构建自己的大数据平台?

针对我们当时的分析,并结合前几年曾经使用过的方案,最终决定采用如下方式:flume+Kafka+strom+ElasticSearch+Kibana+HDFS+Spark

这套新方案的大概思路为:

这里:

(1)  Flume agent部署在每个服务上,它读取每个服务的日志文件,并将读取的结果发送到kafka中;

(2)  数据上报服务是自研的服务中心,它主要用于接收所有的上报数据,包括客户端上报的数据以及部分业务服务上报的数据,主要用于后续的统计分析;

(3)  Kafka主要对来自各种数据源的数据进行汇总,当storm处理的速度大于这些数据上报的数据时,Kafka还可以对数据进行缓冲;

(4)  ES作为搜索引擎,它存储了最近一个月的数据,并对数据提供检索以及部分统计功能;

(5)  HDFS负责存储所有的数据,我们在storm处理中,几乎任何源数据都会存储在HDFS中一份;

(6)  Strom 集群中,是每个类型的业务数据一个topology,例如:尽管我们统一了后台各服务的日志格式,但是由于后台采用的语言不同,并且还有很多采用开源软件,对于这部分与我们规定不一样的日志格式,就需要特殊处理;另外,ES为了加快检索速度,需要对关键字段进行提取,并组装成json格式,这部分的处理工作也是有ES来完成;以日志处理为例:我们需要从日志中提取出来时间、服务名称、线程名、文件名、行号、类名、方法名、日志索引等检索关键词,然后将这些关键词以及源数据组装成json格式存储到ES里,并且还要将日志按照各服务名称存储到HDFS中;

(7)  Kibana是ES的展示界面,我们主要通过Kibana来对es中的数据进行检索;

(8)  Spark主要用于离线数据处理。

如何实施大数据平台?

大数据平台已经上线一年多了,期间遇到的各种问题也逐渐解决,系统已经进入稳定运营和使用阶段,回顾过去实施的经历,还是有不小感慨:小步慢跑,千万别急;大数据平台听着比较热,如果没有实际业务趋势,很难在公司里引起重视,并且实施下去,大家都是呼声高做起来难!这就要求我们在架构设计时要能够迭代,无论是搭建这样大数据平台,还是前期设计各种分布式服务的应用都是如此;我们在搭建这套服务的时候基本分为了这样几个过程:

(1)  预研并且搭建起来flume+kafka+storm,能够将数据收集过来并且传入到storm;

(2)  Storm对接es、Kibana,让整个流程跑通;

(3)  根据我们的业务,对storm的topology进行设计和分析,然后再进行topology的开发;

(4)  对上述业务上线运营;

(5)  新增全数据存储功能,引入HDFS;

(6)  扩展数据源,引入数据上报服务中各种的数据,当然这一步也要对应的storm的topology来进行处理;

 

在我们实践过程中遇到的问题以及解决办法:

(1)  flume多行日志合并收集;原生的flume是逐条从日志文件中收集日志数据,不支持多行日志的归并收集,这种场景主要针对java服务程序;例如:我们的java服务程序,在抛出异常时,要打印异常堆栈,这些堆栈信息都是每个调用占用一行,如此以来一条java异常日志内容将会被打印多行,flume现在无法处理这个问题:flume按行进行处理,它每收集一行日志就将之丢到kafka,Kafka会把每个丢过了的数据作为一个独立的整体,我们从storm中再也无法将这些多行的日志合并到了同一行中;

我们解决的办法是修改flume的源码:由于我们自研java程序都有日志规范,我们可以据此来识别出哪一行是日志的开始,哪一行不是!这样在flume进行日志手机的时候,进行延迟一条上报,即如果新读取的一行数据是一条新日志的开始,则将缓存的数据上交给kafaka,如果不是,则这条日志数据与本地缓存中的拼接起来;

(2)  flume 的断点续传;例如,当flume挂掉再重启的时候,要能够从上次读取到的位置继续读取,不能文件的开头读,这样会在日志系统中出现大量的重复日志数据;断点续传是flume本身就具备的功能,使用时进行相关配置即可;

(3)  storm连接es时,必须在topology中配置全部(或者尽可能多的)的es地址,不然,一旦所连接的es挂掉,es就会出现进程假死的问题。

 

 

已标记关键词 清除标记
相关推荐
<p> <b><span style="font-size:14px;"></span><span style="font-size:14px;background-color:#FFE500;">【Java面试宝典】</span></b><br /> <span style="font-size:14px;">1、68讲视频课,500道大厂Java常见面试题+100个Java面试技巧与答题公式+10万字核心知识解析+授课老师1对1面试指导+无限次回放</span><br /> <span style="font-size:14px;">2、这门课程基于胡书敏老师8年Java面试经验,调研近百家互联网公司及面试官的问题打造而成,从筛选简历和面试官角度,给出能帮助候选人能面试成功的面试技巧。</span><br /> <span style="font-size:14px;">3、通过学习这门课程,你能系统掌握Java核心、数据库、Java框架、分布式组件、Java简历准备、面试实战技巧等面试必考知识点。</span><br /> <span style="font-size:14px;">4、知识点+项目经验案例,每一个都能做为面试的作品展现。</span><br /> <span style="font-size:14px;">5、本课程已经在线下的培训课程中经过实际检验,老师每次培训结束后,都能帮助同学们运用面试技巧,成功找到更好的工作。</span><br /> <br /> <span style="font-size:14px;background-color:#FFE500;"><b>【超人气讲师】</b></span><br /> <span style="font-size:14px;">胡书敏 | 10年大厂工作经验,8年Java面试官经验,5年线下Java职业培训经验,5年架构师经验</span><br /> <br /> <span style="font-size:14px;background-color:#FFE500;"><b>【报名须知】</b></span><br /> <span style="font-size:14px;">上课模式是什么?</span><br /> <span style="font-size:14px;">课程采取录播模式,课程永久有效,可无限次观看</span><br /> <span style="font-size:14px;">课件、课程案例代码完全开放给你,你可以根据所学知识,自行修改、优化</span><br /> <br /> <br /> <span style="font-size:14px;background-color:#FFE500;"><strong>如何开始学习?</strong></span><br /> <span style="font-size:14px;">PC端:报名成功后可以直接进入课程学习</span><br /> <span style="font-size:14px;">移动端:<span style="font-family:Helvetica;font-size:14px;background-color:#FFFFFF;">CSDN 学院APP(注意不是CSDN APP哦)</span></span> </p>
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页