ELKF与ES有何关联及区别？
- 内容介绍
- 文章标签
- 相关推荐
本文共计1969个文字，预计阅读时间需要8分钟。
（1）Elastic Stack简介：Elastic Stack是一种免费开源的日志分析技术栈，官方网址：https://www.elastic.co/cn。主要包括三大基础组件：Elasticsearch、Logstash、Kibana。但Elastic Stack的应用远不止于此。
1）：Elastic Stack简介↓↓↓
1.1：简介
ELK是一个免费开源的日志分析架构技术栈总称，官网www.elastic.co/cn。
包含三大基础组件，分别是 Elasticsearch、Logstash、Kibana。
但实际上ELK不仅仅适用于日志分析，它还可以支持其它任何数据搜索、分析和收集的场景，日志分析和收集只是更具有代表性。
并非唯一性。下面是ELK架构：↓
随着elk的发展，又有新成员Beats、elastic cloud的加入，所以就形成了Elastic Stack。
所以说，ELK是旧的称呼，Elastic Stack是新的名字。
1.2：特色
处理方式灵活：elasticsearch是目前最流行的准实时全文检索引擎，具有高速检索大数据的能力。
配置简单：安装elk的每个组件，仅需配置每个组件的一个配置文件即可。修改处不多，因为大量参数已经默认配在系统中，修改想要修改的选项即可。
接口简单：采用json形式RESTFUL API接受数据并响应，无关语言。
性能高效：elasticsearch基于优秀的全文搜索技术Lucene，采用倒排索引，可以轻易地在百亿级别数据量下，搜索出想要的内容，并且是秒级响应。
灵活扩展：elasticsearch和logstash都可以根据集群规模线性拓展，elasticsearch内部自动实现集群协作。
数据展现华丽：kibana作为前端展现工具，图表华丽，配置简单。
2.3：组件介绍
Elasticsearch↓
Elasticsearch 是使用java开发，基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。
它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
Logstash↓
Logstash 基于java开发，是一个数据抽取转化工具。
一般工作方式为c/s架构，client端安装在需要收集信息的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch或其他组件上去。
Kibana↓
Kibana 基于nodejs，也是一个开源和免费的可视化工具。
Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以汇总、分析和搜索重要数据日志。
Beats↓
Beats 平台集合了多种单一用途数据采集器。
它们从成百上千或成千上万台机器和系统向 Logstash 或 Elasticsearch 发送数据。
Beats由如下组成：↓
Packetbeat：
轻量型网络数据采集器，用于深挖网线上传输的数据，了解应用程序动态。Packetbeat 是一款轻量型网络数据包分析器，能够将数据发送至 Logstash 或 Elasticsearch。
其支 持ICMP (v4 and v6)、DNS、HTTP、Mysql、PostgreSQL、Redis、MongoDB、Memcache等协议。
Filebeat：
轻量型日志采集器。当您要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时，请告别 SSH 吧。
Filebeat 将为您提供一种轻量型方法，用于转发和汇总日志与文件，让简单的事情不再繁杂。
Metricbeat ：
轻量型指标采集器。Metricbeat 能够以一种轻量型的方式，输送各种系统和服务统计数据，从 CPU 到内存，从 Redis 到 Nginx，不一而足。
可定期获取外部系统的监控指标信息，其可以监控、收集 Apache www.elastic.co/cn/products/elasticsearch
2.5：Elasticsearch的功能 ？
2.5.1：分布式的 搜索引擎 和 数据分析引擎
搜索：互联网搜索、电商网站站内搜索、OA系统查询
数据分析：电商网站查询近一周哪些品类的图书销售前十；新闻网站，最近3天阅读量最高的十个关键词，舆情分析。
2.5.2：全文检索，结构化检索，数据分析
全文检索：搜索商品名称包含java的图书select * from books where book_name like "%java%"。
结构化检索：搜索商品分类为spring的图书都有哪些，select * from books where category_id='spring'
数据分析：分析每一个分类下有多少种图书，select category_id,count(*) from books group by category_id
2.5.3：对海量数据进行近实时的处理
分布式：ES自动可以将海量数据分散到多台服务器上去存储和检索,经行并行查询，提高搜索效率。相对的，Lucene是单机应用。
近实时：数据库上亿条数据查询，搜索一次耗时几个小时，是批处理（batch-processing）。而es只需秒级即可查询海量数据，所以叫近实时。秒级。
2.6：Elasticsearch 的使用场景
国外：
1、维基百科，类似百度百科，“网络七层协议”的维基百科，全文检索，高亮，搜索推荐
2、Stack Overflow（国外的程序讨论论坛），相当于程序员的贴吧。遇到it问题去上面发帖，热心网友下面回帖解答。
3、GitHub（开源代码管理），搜索上千亿行代码。
4、电商网站，检索商品
5、日志数据分析，logstash采集日志，ES进行复杂的数据分析（ELK技术，elasticsearch+logstash+kibana）
6、商品价格监控网站，用户设定某商品的价格阈值，当低于该阈值的时候，发送通知消息给用户，比如说订阅《java编程思想》的监控，如果价格低于27块钱，就通知我，我就去买。
7、BI系统，商业智能（Business Intelligence）。大型连锁超市，分析全国网点传回的数据，分析各个商品在什么季节的销售量最好、利润最高。
成本管理，店面租金、员工工资、负债等信息进行分析。从而部署下一个阶段的战略目标。
国内：
1、百度搜索，第一次查询，使用 es。
2、OA、ERP系统站内搜索。
2.7：Elasticsearch 的使用场景
可拓展性：
大型分布式集群（数百台服务器）技术，处理PB级数据，大公司可以使用。小公司数据量小，也可以部署在单机。大数据领域使用广泛。
技术整合：
将全文检索、数据分析、分布式相关技术整合在一起：lucene（全文检索），商用的数据分析软件（BI软件），分布式数据库（mycat）
部署简单：
开箱即用，很多默认配置不需关心，解压完成直接运行即可。拓展时，只需多部署几个实例即可，负载均衡、分片迁移集群内部自己实施。
接口简单：
使用restful api经行交互，跨语言。
功能强大：
Elasticsearch作为传统数据库的一个补充，提供了数据库所不不能提供的很多功能，如全文检索，同义词处理，相关度排名。
人生无常大肠包小肠
本文共计1969个文字，预计阅读时间需要8分钟。
（1）Elastic Stack简介：Elastic Stack是一种免费开源的日志分析技术栈，官方网址：https://www.elastic.co/cn。主要包括三大基础组件：Elasticsearch、Logstash、Kibana。但Elastic Stack的应用远不止于此。
1）：Elastic Stack简介↓↓↓
1.1：简介
ELK是一个免费开源的日志分析架构技术栈总称，官网www.elastic.co/cn。
包含三大基础组件，分别是 Elasticsearch、Logstash、Kibana。
但实际上ELK不仅仅适用于日志分析，它还可以支持其它任何数据搜索、分析和收集的场景，日志分析和收集只是更具有代表性。
并非唯一性。下面是ELK架构：↓
随着elk的发展，又有新成员Beats、elastic cloud的加入，所以就形成了Elastic Stack。
所以说，ELK是旧的称呼，Elastic Stack是新的名字。
1.2：特色
处理方式灵活：elasticsearch是目前最流行的准实时全文检索引擎，具有高速检索大数据的能力。
配置简单：安装elk的每个组件，仅需配置每个组件的一个配置文件即可。修改处不多，因为大量参数已经默认配在系统中，修改想要修改的选项即可。
接口简单：采用json形式RESTFUL API接受数据并响应，无关语言。
性能高效：elasticsearch基于优秀的全文搜索技术Lucene，采用倒排索引，可以轻易地在百亿级别数据量下，搜索出想要的内容，并且是秒级响应。
灵活扩展：elasticsearch和logstash都可以根据集群规模线性拓展，elasticsearch内部自动实现集群协作。
数据展现华丽：kibana作为前端展现工具，图表华丽，配置简单。
2.3：组件介绍
Elasticsearch↓
Elasticsearch 是使用java开发，基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。
它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
Logstash↓
Logstash 基于java开发，是一个数据抽取转化工具。
一般工作方式为c/s架构，client端安装在需要收集信息的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch或其他组件上去。
Kibana↓
Kibana 基于nodejs，也是一个开源和免费的可视化工具。
Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以汇总、分析和搜索重要数据日志。
Beats↓
Beats 平台集合了多种单一用途数据采集器。
它们从成百上千或成千上万台机器和系统向 Logstash 或 Elasticsearch 发送数据。
Beats由如下组成：↓
Packetbeat：
轻量型网络数据采集器，用于深挖网线上传输的数据，了解应用程序动态。Packetbeat 是一款轻量型网络数据包分析器，能够将数据发送至 Logstash 或 Elasticsearch。
其支 持ICMP (v4 and v6)、DNS、HTTP、Mysql、PostgreSQL、Redis、MongoDB、Memcache等协议。
Filebeat：
轻量型日志采集器。当您要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时，请告别 SSH 吧。
Filebeat 将为您提供一种轻量型方法，用于转发和汇总日志与文件，让简单的事情不再繁杂。
Metricbeat ：
轻量型指标采集器。Metricbeat 能够以一种轻量型的方式，输送各种系统和服务统计数据，从 CPU 到内存，从 Redis 到 Nginx，不一而足。
可定期获取外部系统的监控指标信息，其可以监控、收集 Apache www.elastic.co/cn/products/elasticsearch
2.5：Elasticsearch的功能 ？
2.5.1：分布式的 搜索引擎 和 数据分析引擎
搜索：互联网搜索、电商网站站内搜索、OA系统查询
数据分析：电商网站查询近一周哪些品类的图书销售前十；新闻网站，最近3天阅读量最高的十个关键词，舆情分析。
2.5.2：全文检索，结构化检索，数据分析
全文检索：搜索商品名称包含java的图书select * from books where book_name like "%java%"。
结构化检索：搜索商品分类为spring的图书都有哪些，select * from books where category_id='spring'
数据分析：分析每一个分类下有多少种图书，select category_id,count(*) from books group by category_id
2.5.3：对海量数据进行近实时的处理
分布式：ES自动可以将海量数据分散到多台服务器上去存储和检索,经行并行查询，提高搜索效率。相对的，Lucene是单机应用。
近实时：数据库上亿条数据查询，搜索一次耗时几个小时，是批处理（batch-processing）。而es只需秒级即可查询海量数据，所以叫近实时。秒级。
2.6：Elasticsearch 的使用场景
国外：
1、维基百科，类似百度百科，“网络七层协议”的维基百科，全文检索，高亮，搜索推荐
2、Stack Overflow（国外的程序讨论论坛），相当于程序员的贴吧。遇到it问题去上面发帖，热心网友下面回帖解答。
3、GitHub（开源代码管理），搜索上千亿行代码。
4、电商网站，检索商品
5、日志数据分析，logstash采集日志，ES进行复杂的数据分析（ELK技术，elasticsearch+logstash+kibana）
6、商品价格监控网站，用户设定某商品的价格阈值，当低于该阈值的时候，发送通知消息给用户，比如说订阅《java编程思想》的监控，如果价格低于27块钱，就通知我，我就去买。
7、BI系统，商业智能（Business Intelligence）。大型连锁超市，分析全国网点传回的数据，分析各个商品在什么季节的销售量最好、利润最高。
成本管理，店面租金、员工工资、负债等信息进行分析。从而部署下一个阶段的战略目标。
国内：
1、百度搜索，第一次查询，使用 es。
2、OA、ERP系统站内搜索。
2.7：Elasticsearch 的使用场景
可拓展性：
大型分布式集群（数百台服务器）技术，处理PB级数据，大公司可以使用。小公司数据量小，也可以部署在单机。大数据领域使用广泛。
技术整合：
将全文检索、数据分析、分布式相关技术整合在一起：lucene（全文检索），商用的数据分析软件（BI软件），分布式数据库（mycat）
部署简单：
开箱即用，很多默认配置不需关心，解压完成直接运行即可。拓展时，只需多部署几个实例即可，负载均衡、分片迁移集群内部自己实施。
接口简单：
使用restful api经行交互，跨语言。
功能强大：
Elasticsearch作为传统数据库的一个补充，提供了数据库所不不能提供的很多功能，如全文检索，同义词处理，相关度排名。
人生无常大肠包小肠