Flume-ng和Mysql整合开发

　　2014 Spark亚太峰会会议资料下载、《Hadoop从入门到上手企业开发视频下载[70集]》、《炼数成金-Spark大数据平台视频百度网盘免费下载》、《Spark 1.X 大数据平台V2百度网盘下载[完整版]》、《深入浅出Hive视频教程百度网盘免费下载》

　　我们知道，Flume可以与许多的系统进行整合，包括了Hadoop、Spark、Kafka、Hbase等;当然，Flume也是可以与Mysql进行整合，将分析好的日志存储到Mysql(你也可以存放到pg、oracle等等关系型数据库)。

　　其实，Flume与进行整合开发的过程，挺简单的。其代码如下所示：

             图1

　　pom文件中的依赖：

　　  图2

　　运行程序时，首先在Mysql中创建一个表

　　图3

　　接着在flume中创建以下配置

　                                 　图4

　　再用下面的命令就可以启动：

　                             　图5

　　看下Mysql中的情况：

　                                        　图6

　　到这里开发就完成了!上面的程序还可以改进，可以用Mybatis进行编写，将Flume处理逻辑与业务的处理逻辑分离开，这样下次只需要处理业务，Flume那块就都不需要我们去考虑了，大大降低了编程的难度。具体怎么开发我就不说了，有需要请线下讨论。