v2.1

v2.1
v2.0
v1.0
Express
  1. Release Notes
  1. 产品介绍
  1. 安装指南
    1. 安装说明
    1. 在 Linux 快速安装 KubeSphere
    1. 安装可插拔的功能组件
    1. 集群高可用配置安装
    1. 在 Kubernetes 安装 KubeSphere
    1. 相关工具与插件
    1. 认证与安全
    1. 运维指南
  1. 快速入门
  1. 管理员指南
    1. 多租户管理
    1. 平台管理
    1. 基础设施
    1. 监控中心
    1. 平台设置
    1. 工具箱
    1. 通用配置
    1. FAQ
  1. 用户指南
    1. 应用
    1. 工作负载
    1. 存储
    1. 网络与服务
    1. 监控告警
    1. 配置中心
    1. 项目设置
    1. DevOps 工程
  1. 开发者指南
    1. Helm 应用开发
  1. API 文档
  1. 常见问题
  1. 附录
KubeSphere®️ 2019 All Rights Reserved.

添加 Fluentd 作为日志接收者编辑此页面

KubeSphere 目前支持添加的日志接收者包括 Elasticsearch、Kafka 和 Fluentd,本文档演示如何在 KubeSphere 部署容器化的 Fluentd 并将其添加为日志接收者,展示 Fluentd 接收到日志数据后,输出到容器的 stdout 标准输出,最后可以通过查看 Fluentd 容器的日志,验证添加日志接收者的流程是否成功。

前提条件

已创建了企业空间、项目,若还未创建请参考 多租户管理快速入门。这里我们为本演示创建示例项目 test-fluentd

第一步:创建配置 (ConfigMap)

1、使用集群管理员账号登录 KubeSphere,进入企业空间下的项目 test-fluentd 中,选择「配置中心」 → 「配置」,点击 「创建配置」。

2、在基本信息中名称填写为 fluentd-config,点击下一步进行配置设置,键值对填写以下配置,完成后点击 「创建」。

# 键
fluent.conf

# 值
<source>
  @type forward
  port 24224
</source>

<filter **>
  @type grep
  <exclude>
    key $.kubernetes.namespace_name
    pattern /^test-fluentd$/
  </exclude>
</filter>

<match **>
  @type stdout
</match>

参数释义

  • source:Fluentd 在 24224 端口接受数据
  • filter:因为我们要把 Fluentd 接受到的日志输出至 stdout,为避免 Fluent Bit 与 FluentD 循环采集日志,这里过滤 Fluentd 所在项目 test-fluentd 下的日志
  • match:输出到标准输出

注意:本示例仅演示输出到标准输出。 Fluentd 支持多种第三方接收器转发,比如 S3, Mongodb, Cassandra, MySQL, syslog, Splunk 等。如需配置其他 Fluentd 支持的外部存储收集日志,请参考 FLuentd 官方文档

第二步:创建部署

1、选择 「工作负载」→ 「部署」,点击 「创建」。基本信息中名称可自定义,如 fluentd-logging

2、点击「下一步」进入容器组模板,在镜像中输入 fluent/fluentd:v1.4.2-2.0,点击「保存」然后点击「下一步」。

3、存储卷设置中,点击 「引用配置中心」,然后在配置中选择之前创建的 fluentd-config,挂载路径选择 只读,路径为 /fluentd/etc,然后点击保存。

4、点击「下一步」,标签保留默认值,点击「创建」。

第三步:创建服务

1、选择 「网络与服务」→「服务」,点击「创建」。在基本信息中名称可自定义,例如 fluentd-svc,点击「下一步」。

2、选择第一项 通过集群内部IP来访问服务 Virtual IP,点击指定工作负载,选择部署 fluentd-logging,端口名称 fluentd,默认 TCP 协议的端口和目标端口都设置为 24224,点击「下一步」然后点击「创建」。

3、可以看到 fluentd-svc 服务创建成功。

第四步:添加 Fluentd 作为日志接收者

1、点击「平台管理」 → 「平台设置」,选择「日志收集」,点击「添加日志接收者」。

2、在弹窗中选择 Fluentd,参考如下填写信息,点击确定保存信息。

  • 访问地址:格式参考 {$Fluentd 服务名}.{$Fluentd 所在的项目名}.svc,
  • 端口号:24224

3、可以看到日志状态显示收集中,说明添加成功。

说明:若需要对 Fluent Bit 转发 Fluentd 做个性化配置,可在日志接收者页面下进入 「Fluentd」 → 「更多操作」,点击 「编辑配置文件」 然后修改 parameters,可参看 Fluent Bit 官方文档 forward 插件支持的参数项。

第五步:验证日志输出

1、回到项目下的 「工作负载」 → 「部署」,进入 fluentd-logging,然后展开容器组点击进入容器日志。

2、在容器日志中,可以看到日志信息的实时数据在动态的输出,即说明 Fluentd 日志收集添加成功。