9款日记摘集amp;治理东西比照，选型必备！

关于日记治理当前收集上供给了大量的日记东西，今天就给各人阐发总结一下那些常用东西的特征，期看对你们在选型时有所搀扶帮助。

一、Filebeat

Filebeat是用于转发和集中日记数据的轻量级传送法式。做为办事器上的代办署理安拆，Filebeat监视您指定的日记文件或位置，搜集日记事务，并将它们转发到Elasticsearch或Logstash停止索引。

Filebeat的工做体例如下：启动Filebeat时，它将启动一个或多个输进，那些输进将在为日记数据指定的位置中查找。关于Filebeat所找到的每个日记，Filebeat城市启动搜集器。每个搜集器都读取一个日记以获取新内容，并将新日记数据发送到libbeat，libbeat会汇总事务并将汇总的数据发送到您为Filebeat设置装备摆设的输出。

1、次要特征

轻量级而且易利用

模块可用于常见用例（例如 Apache 拜候日记）。您能够利用它们来设置 Filebeat、Ingest 和 Kibana 仪表板，只需几个号令。

2、价格

免费开源

3、长处

资本利用率低

优良的性能

4、缺点

有限的解析和丰富功用

二、Graylog

Graylog是一个开源的日记聚合、阐发、审计、展示和预警东西。功用上和ELK类似，但又比ELK要简单，依靠着愈加简洁，高效，摆设利用简单的优势很快遭到许多人的喜爱。

展开全文

1、次要特征

一个包罗日记处置所有要素的软件包：搜集、解析、缓冲、索引、搜刮、阐发。

开源 ELK 仓库无法供给的其他功用，例如基于角色的拜候掌握和警报。

2、价格

免费和开源，不外也有企业版（根据要求供给价格）

3、长处

在一个软件包中称心大大都集中式日记治理用例的需求。

轻松扩展存储 (Elasticsearch) 和获取通道。

4、缺点

可视化才能是有限的，至少与ELK的Kibana比拟是如斯。

不克不及利用整个ELK生态系统，因为他们不克不及间接拜候Elasticsearch API。相反，Graylog有本身的API。

三、LogDNA

LogDNA是日记治理范畴的新成员。LogDNA可做为SaaS和内部利用，供给所有日记根底:通过syslog和)以及全文搜刮和可视化，供给基于代办署理和无代办署理的日记搜集，并供给清晰且具有合作力的价格。

1、次要特征

用于在组织外部共享日记的嵌进式视图

主动解析常用日记格局

2、价格

免费：无存储

收费：付费方案起价为每月每GB 1.50 美圆，保留 7 天

3、长处

用于搜刮日记的简单 UI，类似于 Papertrail

易于理解的方案

4、缺点

可视化才能有限

保留期取决于方案（从 7 天到 30 天）；用户数量也是如斯（更便宜的方案只容许 5 个）

四、ELK

1、次要特征

ELK仓库包罗了日记治理处理计划所需的大大都东西：

Log shippers：如Logstash和Filebeat

Elasticsearch是一个可扩展的搜刮引擎

Kibana做为搜刮日记或构建可视化的UI

它在集中日记方面十分时髦，有良多关于若何在收集上利用它的教程。有一个浩荡的东西生态系统，您能够在根本设置之上利用那些东西，通过警报、基于角色的拜候掌握等来加强它。我们将在那篇博文中详尽介绍那些额外的附加功用，我们将在此中讨论 Elastic Stack 功用的替代计划。

Elasticsearch默认情状下对每个字段停止索引，使搜刮速度更快

通过API和Kibana实现实时可视化

索引前的数据解析和充分

2、价格

免费和开源。一些公司供给托管 ELK 的形式，见上文。还有 Elastic Cloud，它是云中 ELK 的一种地道形式，您次要需要本身治理。

3、长处

可扩展的搜刮引擎做为日记存储

成熟的log shippers

Kibana 中的 Web UI 和可视化

4、缺点

在规模上，它可能变得难以庇护。那就是 Sematext 供给 ELK 仓库征询、消费撑持和培训的原因

ELK Stack 的开源版本贫乏一些功用，例如基于角色的拜候掌握和警报。您能够通过贸易“Elastic Stack 功用”或其替代品或 Visa Open Distro for Elasticsearch 获得那些功用。

五、Grafana Loki

Loki 及其生态系统是 ELK 仓库的替代计划，但它做出了差别的权衡。通过仅索引某些字段（标签），它能够具有完全差别的架构。

也就是说，次要的写进组件（Ingester）会将大量日记保留在内存中，从而使比来的查询速度更快。跟着块变老，它们被写进两个处所：用于标签的键值存储（例如 Cassandra）和用于块数据的对象存储（例如 Amazon S3）。当您添加数据时，它们都不需要后台庇护（例如 Elasticsearch/Solr 需要合并）。

假设您查询较旧的数据，您凡是会按标签和时间范畴停止过滤。那限造了必需从持久存储中检索的块的数量。

1、次要特征

统一 UI 中的日记和目标 (Grafana)

Loki 标签能够与 Prometheus 标签连结一致

2、价格

免费：免费开源

收费：还有Grafana Cloud，供给Loki的SaaS办事（也有内部摆设的选项）。价格从49美圆起，包罗100GB的日记存储(30天保留)和3000个度量系列。

3、长处

与 ELK 比拟，摄取速度更快：索引更少，无需合并

小存储占用：较小的索引，数据只写进一次到持久存储（凡是具有内置复造）

利用更廉价的存储（例如 AWS S3）

4、缺点

与 ELK 比拟，较长时间范畴内的查询和阐发速度较慢

与 ELK 比拟，log shippers选项更少（例如 Promtail 或 Fluentd）

不如 ELK 成熟（例如更难安拆）

六、Datadog

Datadog 是一种 SaaS，最后是做为监控 (APM) 东西，后来还添加了日记治理功用。

您能够通过 本身的代办署理发送日记。

它的特征是 Logging without Limits™，那是一把双刃剑：更难揣测和治理成本，但您能够获得即用即付订价（见下文）以及您能够存档和从存档中恢复的事实。

1、次要特征

用于解析和丰富日记的办事器端处置管道

主动检测常见的日记形式

能够将日记回档到 AWS/Azure/Google Cloud 存储并在以后从头利用它们

2、价格

处置起价为每月每GB 0.10 美圆。（例如 1GB 天天 3 美圆）

处置也适用于从档案中获取，虽然那里的数据是压缩的。

100 万个事务的存储起价为 1.59 美圆，为期 3 天。（例如，47.7 美圆，1GB/天，每个 1K，存储 3 天）

3、长处

随便搜刮，优良的主动完成（基于facet）

与DataDog目标和跟踪的集成

承担得起，特殊是关于短期保留和/或假设你依靠存档停止一些搜刮

4、缺点

现场不成用；一些用户抱怨成本失控（因为订价乖巧）；您能够设置每日处置配额

七、Logstash

Logstash 是一个日记搜集和处置引擎，它带有各类各样的插件，使您可以轻松地从各类来源摄取数据，将其转换并转发到定义的目标地。它与 Elasticsearch 和 Kibana 一路是 Elastic Stack 的一部门，那就是为什么它最常用于将数据传送到 Elasticsearch。

1、次要特征

许多内置的输进、过滤/转换和输出插件

乖巧的设置装备摆设格局:您能够添加内联脚本，包罗其他设置装备摆设文件等

2、价格

免费开源

3、长处

随便起头和挪动到复杂的设置装备摆设

乖巧：Logstash用于各类日记笔录用例，以至用于非日记笔录数据

写得很好的文档和大量的操做指南

4、缺点

与其改日志shippers比拟，资本利用率高

与替代品比拟，性能较差

八、Fluentd

做为一个很好的 Logstash 替代品，Fluentd 是 DevOps 的更爱，特殊是关于 Kubernetes 摆设，因为它具有丰富的插件库。与 Logstash 一样，它能够将数据构造化为 JSON，并涉及日记数据处置的所有方面：搜集、解析、缓冲和输出跨各类来源和目标地的数据。

1、次要特征

与库和Kubernetes的优良集成

大量的内置插件，很随便编写新的

2、价格

免费开源

3、长处

优良的性能和资本利用

优良的插件生态系统

易于利用的设置装备摆设

优良的文档

4、缺点

解析前没有缓冲，可能会招致日记管道呈现背压。

对转换数据的撑持有限，就像您能够利用 Logstash 的 mutate 过滤器或 rsyslog 的变量和模板一样。

九、Splunk

Splunk 是最早的贸易日记集中东西之一，也是更受欢迎的。虽然它也做为办事供给 (Splunk Cloud)，但典型的摆设是当地摆设 (Splunk Enterprise)。您能够将日记和目标发送到 Splunk 并一路阐发它们。

1、次要特征

用于搜刮和阐发的强大查询语言

搜刮时字段提取（在摄取时解析之外）

主动将经常拜候的数据挪动到快速存储，将不经常拜候的数据主动挪动到慢速存储。

2、价格

免费：天天 500MB 数据

付费方案可应要求供给，但常见问题解答定见 1GB 的起价为 150 美圆/月。

3、长处

成熟且功用丰富

关于大大都用例来说，优良的数据压缩（假设有有限的索引，正如选举的那样）

日记和度量在一个屋檐下

4、缺点

贵

关于较长的时间范畴，查询速度较慢（定见利用有限的索引）

用于度量存储的效率低于专注于监控的东西

做者丨徐传森

来源丨网址：

dbaplus社群欢送广阔手艺人员投稿，投稿邮箱：editor@dbaplus.cn

活动选举

第八届DAMS-中国数据智能治理峰会将于2023年3月31日在上海举办，与各人一路摸索大数据与云原生强强结合的体例、发掘由此激发的软件开展和手艺朝上进步。

领会详情：

演讲嘉宾所在单元：阿里、腾讯、京东、美团、华为云、字节、蚂蚁、网易、新浪、携程、哔哩哔哩、小红书、vivo、快狗打车、货拉拉、工商银行、建立银行、中国银行、安然银行、光大银行、汇丰银行、微寡银行、复旦大学等产学研界手艺领跑单元。

演讲议题聚焦：

大数据数据资产治理：数据治理丨存算别离丨云原生OLAP丨湖仓一体丨智能阐发

数据库：云原生散布式丨时间序列丨办事自治丨中间件丨跨云多活

运维：AIOps丨毛病阐发丨性能优化丨离在线混部丨高可用建立

金融科技：规模化监控丨实时数仓丨散布式革新丨国产化替代丨数字化转型丨混沌工程