td-agent (fluentd) 設定、監視メモ

td-agent (fluentd) を導入する上での個人的なメモ

td-agent 設定まわり

• 全般
  • ntpd のインストール
  • Check ulimit
  • 参考: Before Installing
• イベント送信側
  • output forward
    • buffer 設定
    • secondary output
  • S3 へのバックアップ
    • buffer 設定
    • secondary output
    • 参考: Fluentd でアプリログを S3 へ
• イベント受信側
  • bigquery に送信する部分の buffer 設定
  • secondary output

td-agent 監視まわり

• td-agent
  • 監視 (zabbix でやりたい)
    • CPU/Memory
      • td-agent に限らない話なので何とでもなるはず
    • process
      • proc.num[ruby,,,td-agent] が 2 でなかったらエラー
      • 参考: Zabbix 3.2 で td-agent 用のテンプレートを作成する
    • port
      • td-agent に限らない話なので何とでもなるはず
      • 対象 port が LISTEN であることがわかれば良いなら net.tcp.listen
      • 参考: サービス監視について
    • buffer
• td-agent.log
  • 監視
    • 自分自身のログを match させてどこかに送ることができるのでそれを利用するのが良さそう
    • 参考: Logging of Fluentd
  • ローテーション
    • td-agent.logrotate で設定されていそう
    • 30 日間で rotate している感じか

fluent-logger

• 現在 fluent-logger-scala を使用しているが依存ライブラリやロガーが冗長になる部分があり少し微妙なことに
• fluency を検討したい

その他

• sigdump (JVM でいう SIGQUIT) によるスレッドダンプ取得ができる

参考

• Monitoring Fluentd
• Zabbix 3.2 で td-agent 用のテンプレートを作成する