Facebook Scribe分布式日志系统如何实现高效数据收集？

本文共计1881个文字，预计阅读时间需要8分钟。

我的新浪微博：http://weibo.com/freshairbrucewoo。欢迎互动交流，共同提升技术。以下是我公司在内部分享的关于分布式日志收集系统的PPT内容，现与大家分享，希望对需要使用分布式日志收集系统的朋友有所帮助。

我的新浪微博：weibo.com/freshairbrucewoo。

欢迎大家相互交流，共同提高技术。

以下是我在公司内部分享的关于分布式日志收集系统的PPT内容，现在与大家分享，希望对于需要使用的人能够起到基本的入门作用或是了解！

1.分布式日志收集系统:背景介绍

许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：

（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；

（2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；

（3） 具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。

2.分布式日志收集系统：Facebook Scribe主要内容

（1）Scribe简介及系统架构

（2）Scribe技术架构

（3）Scribe部署结构

（4）Scribe主要功能和使用方案

（5）Scribe的具体应用实例

（6）Scribe的扩展

（7）Scribe研究体会

3.Scribe简介

Scribe是facebook开源的日志收集系统，在facebook内部已经得到大量的应用。 Scribe是基于一个使用非阻断C++服务器的thrift服务的实现。