ABP|ABP 使用ElasticSearch、Kibana、Docker 进行日志收集
ABP 使用ElasticSearch、Kibana、Docker 进行日志收集
后续会根据公司使用的技术，进行技术整理分享，都是干货哦别忘了关注我！！！
文章图片
最近领导想要我把项目日志进行一个统一收集，因为现在环境有什么报错信息都是看Logs文件夹的日志数据，如果只有一个项目那到无所谓，但是我们现在的服务进行了模块拆分，所以看日志需要一个一个的找不方便，之前我有接触过Seq、ElasticSearch进行日志收集统一查看。
技术点
- ElasticSearch
- Kibana
- Serilog
为什么用ElasticSearch（当然后面也会介绍Seq）
- 它是免费和开源
- RESTful API
- 易于查询
- 速度很快 - 非常快
- 它是可扩展
- 易于设置
Docker搭建Elasticsearch 和 Kibana环境
这里我们使用了docker-compose所以我们需要安装docker-compose然后创建一个 docker-compose.yml 文件。
mkdir -p home/docker/docker-compose
cd home/docker/docker-compose
创建一个名为 docker-compose.yml 的新文件
vi docker-compose.yml
docker-compose.yml文件内容
- 设置es内存,java程序一般很吃内存,根据服务器配置进行调优
- "ES_JAVA_OPTS=-Xms512m -Xmx512m" - kibana汉化(7.0以上版本),根据个人情况决定
- output.i18n.locale="zh-CN"
version: '3.1'
services:
elasticsearch:
container_name: elasticsearch
hostname: elasticsearch
image: docker.elastic.co/elasticsearch/elasticsearch:7.9.2
restart: always
ports:
- 9200:9200
- 9300:9300
volumes:
- elasticsearch-data:/usr/share/elasticsearch/data
environment:
- xpack.monitoring.enabled=true
- xpack.watcher.enabled=false
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
- discovery.type=single-node
kibana:
container_name: kibana
hostname: kibana
image: docker.elastic.co/kibana/kibana:7.9.2
restart: always
ports:
- 5601:5601
depends_on:
- elasticsearch
environment:
- ELASTICSEARCH_URL=http://localhost:9200
volumes:
elasticsearch-data:运行 docker-compose.yml 文件
容器启动之后需要等待一会，因为初始化需要一段时间
# 构建启动容器-d 后台运行
docker-compose up -d# 停止up 命令所启动的容器，并移除网络
docker-compose down
验证环境
- 验证 Elasticsearch 是否已启动并正在运行,我们可以访问
http://localhost:9200(就是我们刚才开放Elasticsearch的9200端口)
文章图片
- 验证 Kibana 是否已启动并正在运行,我们可以访问
http://localhost:5601(就是我们刚才开放Kibana的5601端口)
文章图片
使用Abp配合Serilog 记录日志到 Elasticsearch
- Serilog 包添加到项目中
- Serilog.AspNetCore
- Serilog.Enrichers.Environment
- Serilog.Sinks.Debug
- Serilog.Sinks.ElasticSearch
- Serilog.Exceptions
- appsettings.json 中添加 Serilog 日志和Elasticsearch地址
{
// Serilog 日志配置
"Serilog": {
"MinimumLevel": {
"Default": "Information",
"Override": {
"Microsoft": "Information",
"System": "Warning"
}
}
},
// Elasticsearch地址
"ElasticConfiguration": {
"Uri": "http://localhost:9200"
},
"AllowedHosts": "*"
}
在 Program.cs 中配置日志记录
接下来，通过添加以下 using 语句在 Program.cs 中配置日志记录：
using Microsoft.AspNetCore.Hosting;
using Microsoft.Extensions.Configuration;
using Microsoft.Extensions.Hosting;
using Serilog;
using Serilog.Sinks.Elasticsearch;
using System;
using System.Reflection;
using Serilog.Exceptions;
接下来，设置 main 方法。我们要做的是在创建主机之前设置日志记录。这样，如果主机无法启动，我们可以记录任何错误。
public static void Main(string[] args)
{
// 配置日志信息
ConfigureLogging();
// 然后创建主机，这样如果主机出现故障，我们就可以记录错误
CreateHost(args);
}
然后，在 program.cs 中添加 ConfigureLogging 和 ElasticsearchSinkOptions 方法
private static void ConfigureLogging()
{
var environment = Environment.GetEnvironmentVariable("ASPNETCORE_ENVIRONMENT");
var configuration = new ConfigurationBuilder()
.AddJsonFile("appsettings.json", optional: false, reloadOnChange: true)
.AddJsonFile(
$"appsettings.{Environment.GetEnvironmentVariable("ASPNETCORE_ENVIRONMENT")}.json",
optional: true)
.Build();
Log.Logger = new LoggerConfiguration()
.Enrich.FromLogContext()
.Enrich.WithExceptionDetails()
.Enrich.WithMachineName()
.WriteTo.Debug()
.WriteTo.Console()
.WriteTo.Elasticsearch(ConfigureElasticSink(configuration, environment))
.Enrich.WithProperty("Environment", environment)
.ReadFrom.Configuration(configuration)
.CreateLogger();
}private static ElasticsearchSinkOptions ConfigureElasticSink(IConfigurationRoot configuration, string environment)
{
return new ElasticsearchSinkOptions(new Uri(configuration["ElasticConfiguration:Uri"]))
{
// 自动创建模块
AutoRegisterTemplate = true,
// 创建索引（如果不设置默认就是logstash-2022.03.06这种时间格式的）
IndexFormat = $"{Assembly.GetExecutingAssembly().GetName().Name.ToLower().Replace(".", "-")}-{environment?.ToLower().Replace(".", "-")}"
};
}
最后，添加 CreateHost 和 CreateHostBuilder 方法。请注意 CreateHostBuilder 周围的 try/catch 块。
private static void CreateHost(string[] args)
{
try
{
CreateHostBuilder(args).Build().Run();
}
catch (System.Exception ex)
{
Log.Fatal($"Failed to start {Assembly.GetExecutingAssembly().GetName().Name}", ex);
throw;
}
}public static IHostBuilder CreateHostBuilder(string[] args) =>
Host.CreateDefaultBuilder(args)
.ConfigureWebHostDefaults(webBuilder =>
{
webBuilder.UseStartup();
})
.ConfigureAppConfiguration(configuration =>
{
configuration.AddJsonFile("appsettings.json", optional: false, reloadOnChange: true);
configuration.AddJsonFile(
$"appsettings.{Environment.GetEnvironmentVariable("ASPNETCORE_ENVIRONMENT")}.json",
optional: true);
})
.UseSerilog();
然后运行一次你的程序，让它自动创建好索引信息，后面我们就只需要配置了kibana配置信息
- 点击进入默认管理空间
文章图片
- 管理空间配置
文章图片
Kibana 目前还不会显示任何日志。您必须先指定索引，然后才能查看记录的数据。
这里就可以看到logstash就是我们创建的索引（我之前没有设置索引所以就默认是logstash-2022.03.06）
文章图片
输入你的索引模式。它将显示刚刚创建的索引模式。您可以键入整个索引，或使用通配符。
文章图片
在下一页上，选择 @timestamp 字段作为时间过滤器字段名称，然后单击创建索引模式按钮。
文章图片
您现在可以通过单击导航窗格中的 Discover 链接来查看日志。
文章图片
我们程序中打出来的日志就会被收集到这里，这里我就不演示怎么写打日志的代码了哈。（刚才上厕所尿劈叉了）
文章图片
配置日志过期策略
因为我们的日志信息一般都不需要保留很长的时间。（一般保存3天左右就够了,过期的日志将自动清除，这样也能减少我们日志内存的消耗）
文章图片
- 记得关掉热阶段的滚动更新
- 开启删除阶段，设置过期时间，快照可以不用
文章图片
关联索引策略模式
文章图片
选择我们刚才设置的策略模块，进行关联。（这样我们的日志就会自动释放啦）
【ABP|ABP 使用ElasticSearch、Kibana、Docker 进行日志收集】
文章图片
推荐阅读
- 在 Kubernetes 集群中使用 MetalLB 作为 LoadBalancer（下）- BGP
- C++|C++ 编译
- it|.Net Core之选项模式Options使用
- Python使用|python中 map、apply、applymap的区别
- C语言|strlen()函数--使用及模拟实现
- R语言向量下标和子集的使用
- C#异步编程由浅入深(二)之Async/Await的使用
- Git如何使用，操作流程
- VUE3|VUE3 之 使用标签实现动画与过渡效果（下） - 这个系列的教程通俗易懂，适合新手
- AntBlazor|AntBlazor Theme in ABP Framework