Serf はじめての運用ツール〜インストールとエージェント起動

こんにちは、cloudpack の @dz_ こと大平かづみです。

Prologue – はじめに

cloudpackに在籍しておりますが、前職まではプログラマの私。
そんなインフラに憧れる一介のプログラマが、運用ツールに初挑戦のシリーズ第一弾！
（続くのでしょうか…！）

出会い

先日、「Code the Clouds Mix-up Vol.2」に参加してきました！
と言っても、駆け付けた時間は、LTの時間でした(汗)

そのLTは、「Serf / Consul 入門～仕事を楽しくしよう～」 by @zembutsu さん

これが運用ツールとの華麗なる出会いでありました☆

Serf と Consul

このcloudpack技術ブログでも、Serf や Consul の話題をよく見かけます。

どう便利なの？

Serf や Consul などの運用ツールは、なにを便利にしてくれるのでしょうか？

答え: 既存の業務フローを変更せずに省力化

確かに、携わる環境がすべて新規で構築できるとは限りません。既存のフローは変えずに手間を減らしていく、それを助けてくれるツールなら、ぜひ試してみたい！

でも…

「インフラ初心者の私でも、扱えるものなんだろうか？」

さっそく、LT発表された@zenbutsuさんに聞いてみました！

Serf を試すべき理由

今回LTのテーマに挙がった 2つの運用ツール Serf と Consul のうち、小規模で手軽に使い出すには、 Serf をお勧めしてもらいました。

機能が必要最小限で、シンプルに扱える
管理サーバが不要で、クラスタ構成が用意

その理由も含め、SerfとConsulの特徴や違いについて、スライド資料に書かれていました。

Serf / Consul 入門～仕事を楽しくしよう～ from Masahito Zembutsu

考えてるだけではわかりません、さっそく Serf を触ってみましょう！！

まずはドキュメントからわかること

Serfの特徴

主要なプラットフォームで利用可能(Linux, Mac OS X, Windows)
常駐メモリが小さく、軽量
UDPの通信

Serfの主な機能は3つ

メンバーシップの管理(ノード管理)
障害検知とリカバリ
イベントのカスタマイズ

gossipプロトコルを用いて、素早く効率的なノード管理ができます。サーバーが不要で、Serfをインストールしてエージェントを起動するだけで、クラスタの生成や参加ができます。

また、各ノードが定期的に通信して生存確認を行い続けるので、障害検知がすばやく、リカバリも早いとのこと。

ノードの参加や離脱、デプロイやプロセスのリスタートなどの任意のトリガでイベントやクエリを発行することもできます。

Serf トップページとイントロダクションについて訳したものを、こちらにまとめました。ご参考になれば幸いです。
「Getting Started: Serf ～ドキュメントを読んでみます – Qiita」

Serf をはじめよう

インストールは簡単

インストールは簡単、解凍して置くだけです！
こちらの「Downloads – Serf by HashiCorp」からパッケージを入手してください。
2014.12.16 現在、Serf のバージョンは 0.6.3 です。FreeBSD, Linux, Max OS X, OpenBSD, Windows 向けにビルドされたパッケージが用意されています。これ以外のディストリビューションの場合は「コンパイルについて(Developing Serf)」を参考に環境に合わせて準備してください。

以下は、Amazon Linux でインストールした際の手順メモです。

# - パッケージを取得する
[user@ip-xx-xx-xx-xx ~]$ wget https://dl.bintray.com/mitchellh/serf/0.6.3_linux_amd64.zip
--2014-12-15 22:28:06--  https://dl.bintray.com/mitchellh/serf/0.6.3_linux_amd64.zip
Resolving dl.bintray.com (dl.bintray.com)... 108.168.194.92, 108.168.194.91
  ... # 略
Saving to: ‘0.6.3_linux_amd64.zip’

0.6.3_linux_amd64.zip         100%[=================================================>]   2.86M   702KB/s   in 4.6s

2014-12-15 22:28:12 (638 KB/s) - ‘0.6.3_linux_amd64.zip’ saved [3002701/3002701]

[user@ip-xx-xx-xx-xx ~]$ ls
0.6.3_linux_amd64.zip

# - 解凍
[user@ip-xx-xx-xx-xx ~]$ unzip 0.6.3_linux_amd64.zip
Archive:  0.6.3_linux_amd64.zip
  inflating: serf
[user@ip-xx-xx-xx-xx ~]$ ls
0.6.3_linux_amd64.zip  serf

# - PATHが通っているディレクトリへコピー
[user@ip-xx-xx-xx-xx ~]$ sudo cp serf /usr/local/bin

# - 動作確認
[user@ip-xx-xx-xx-xx ~]$ serf
usage: serf [--version] [--help]  []

Available commands are:
    agent           Runs a Serf agent
    event           Send a custom event through the Serf cluster
    force-leave     Forces a member of the cluster to enter the "left" state
    info            Provides debugging information for operators
    join            Tell Serf agent to join cluster
    keygen          Generates a new encryption key
    keys            Manipulate the internal encryption keyring used by Serf
    leave           Gracefully leaves the Serf cluster and shuts down
    members         Lists the members of a Serf cluster
    monitor         Stream logs from a Serf agent
    query           Send a query to the Serf cluster
    reachability    Test network reachability
    tags            Modify tags of a running Serf agent
    version         Prints the Serf version

ちなみに、Mac OS では、homebrew を利用できるそうです。(cask プラグインが必要)
(執筆時では試してません。)

brew cask install serf

その他インストールについては、原文「Installing Serf – Serf by HashiCorp」をご参照下さい。

クラスタ最初の一歩、エージェントを起動してみる

ドキュメントに従って、エージェントを起動してみます。

以下のように、起動したまま待機状態になります。

# - エージェント起動
[user@ip-xx-xx-xx-xx ~]$ serf agent
==> Starting Serf agent...
==> Starting Serf agent RPC...
==> Serf agent running!
         Node name: 'ip-xx-xx-xx-xx'
         Bind addr: '0.0.0.0:7946'
          RPC addr: '127.0.0.1:7373'
         Encrypted: false
          Snapshot: false
           Profile: lan

==> Log data will now stream in as it occurs:

    2014/12/15 23:12:11 [INFO] agent: Serf agent starting
    2014/12/15 23:12:11 [INFO] serf: EventMemberJoin: ip-xx-xx-xx-xx xx.xx.xx.xx
    2014/12/15 23:12:12 [INFO] agent: Received event: member-join

この状態で、なにかイベントがあると、ログが追記されていきます。
起動した直後では、既に、以下のようなログが表示されています。

agent: Serf agent starting: このエージェントが起動
serf: EventMemberJoin: ip-xx-xx-xx-xx xx.xx.xx.xx: Serf側でメンバーの参加イベント
agent: Received event: member-join: エージェント側でメンバー参加イベントを受信

エージェントを終了するには、Ctrl + c を押下 (割り込みシグナルを発行) してください。
すると、エージェントへ割り込みが行われ、正常に終了処理を行い終了する様子が出力されます。

# - Ctrl + C 押下でエージェント終了
==> Caught signal: interrupt
==> Gracefully shutting down agent...
    2014/12/15 23:13:23 [INFO] agent: requesting graceful leave from Serf
    2014/12/15 23:13:23 [INFO] serf: EventMemberLeave: ip-xx-xx-xx-xx xx.xx.xx.xx
    2014/12/15 23:13:23 [INFO] agent: requesting serf shutdown
    2014/12/15 23:13:23 [INFO] agent: shutdown complete

正常に終了できました！

エージェント終了の2つのケース「離脱」と「障害」

さて、この終了処理でエージェントが何をしているかというと、クラスタのほかのメンバーに自身が離脱することを通知しているのです。
仮にエージェントプロセスを強制的に終了した場合は、この通知が行われないので、クラスタのメンバーたちは、そのノードは障害が起きたのだと検知するのだそうです。

実は、この2つの動作の違いがSerfでは重要な要素なんです。
なぜかというと、Serfは、障害が起きたノードに対しては自動的に再接続を試み、復帰してくることを許します。
一方で、意図的に離脱したノードに対してはもう通信はしないので、無駄な通信が抑えられます。

このことについては、次回に実際に確認してみたいです。

メンバーシップを実感してみる

さて、もっとエージェントの動きを見てみますしょう！
serf agent で再びエージェントを起動します。

[user@ip-xx-xx-xx-xx ~]$ serf agent
==> Starting Serf agent...
==> Starting Serf agent RPC...
==> Serf agent running!
         Node name: 'ip-172-31-1-18'
         Bind addr: '0.0.0.0:7946'
          RPC addr: '127.0.0.1:7373'
         Encrypted: false
          Snapshot: false
           Profile: lan

==> Log data will now stream in as it occurs:

    2014/12/18 13:15:05 [INFO] agent: Serf agent starting
    2014/12/18 13:15:05 [INFO] serf: EventMemberJoin: ip-xx-xx-xx-xx xx.xx.xx.xx
    2014/12/18 13:15:06 [INFO] agent: Received event: member-join

ここで、別のセッションで接続して、serf membersコマンドを実行してみます。
別セッションで接続するには、私は Windows で iceiv+putty を使ってアクセスしているので、もう一つウィンドウを立ち上げてアクセスしました。

[user@ip-xx-xx-xx-xx ~]$ serf members
ip-xx-xx-xx-xx  xx.xx.xx.xx:7946  alive

なんということでしょう！♪

[user@ip-xx-xx-xx-xx ~]$ serf agent
==> Starting Serf agent...
==> Starting Serf agent RPC...
==> Serf agent running!
         Node name: 'ip-xx-xx-xx-xx'
         Bind addr: '0.0.0.0:7946'
          RPC addr: '127.0.0.1:7373'
         Encrypted: false
          Snapshot: false
           Profile: lan

==> Log data will now stream in as it occurs:

    2014/12/18 13:15:05 [INFO] agent: Serf agent starting
    2014/12/18 13:15:05 [INFO] serf: EventMemberJoin: ip-xx-xx-xx-xx xx.xx.xx.xx
    2014/12/18 13:15:06 [INFO] agent: Received event: member-join
    2014/12/18 13:15:25 [INFO] agent.ipc: Accepted client: 127.0.0.1:53399    # <- serf members を実行した直後に、この1行が表示されました

最後の行が追加され、クラスタへのアクセスがちゃんと検知されたことがわかります。

ぱちぱちぱち！

複数ノードでガチャガチャしたい！

先走って「Join a Cluster　(クラスタへの参加)」に突入したのですが、Vagrantを使って、複数ノードのクラスタをシミュレートしていくようです。これを進めるとまた1週間くらいを要してしまいそうなので、本記事ではいったん一区切りとします。

すぐに試していきますけど！♪

Epilogue – おわりに

さて、初めて運用ツールに触れてみた感想です。
インフラは本業でないので、かなり手探り状態ですが、Serf について読んで触ってみて、運用のことが少しわかってきたような気がして楽しいです。
まだ準備ができただけで何も運用してません。複数ノードの動作を早く動かしたくてうずうずしています。

まだまだこれからです！
よろしくお願いします！

Serf はじめての運用ツール〜インストールとエージェント起動

Prologue – はじめに

出会い

Serf と Consul

どう便利なの？

Serf を試すべき理由

まずはドキュメントからわかること

Serfの特徴

Serfの主な機能は3つ

Serf をはじめよう

インストールは簡単

クラスタ最初の一歩、エージェントを起動してみる

エージェント終了の2つのケース「離脱」と「障害」

メンバーシップを実感してみる

複数ノードでガチャガチャしたい！

Epilogue – おわりに

IT健保「鮨一新」食レポ

X (旧 Twitter) を複数人で安全に運用する方法

Arduinoを初めて使う時のセットアップと実例集

日常生活におけるデータの重要性

BigQueryに大幅アップデート！コスト最適化の可能性あり

Serf はじめての運用ツール 〜 インストールとエージェント起動

Prologue – はじめに

出会い

Serf と Consul

どう便利なの？

Serf を試すべき理由

まずはドキュメントからわかること

Serfの特徴

Serfの主な機能は3つ

Serf をはじめよう

インストールは簡単

クラスタ最初の一歩、エージェントを起動してみる

エージェント終了の2つのケース「離脱」と「障害」

メンバーシップを実感してみる

複数ノードでガチャガチャしたい！

Epilogue – おわりに

関連記事Related Articles

真夜中にふと思いついて Serf のイベントハンドラを触ってみた 〜アニキと舎弟の上京物語〜

[AWS] AWS CLIでセキュリティグループのルールをコピーする

MariaDB Galera Clusterのバックアップ・リストア – EBS Snapshotパターン

手作業で構築した AWS リソースの管理には awspec が良いと思ったのでメモ

terraformでEC2を作ると同時にprivate_ipをRoute53 Internal DNSで俺の考えた最強にイケてるしやばい名前をつける方法

Serf はじめての運用ツール〜インストールとエージェント起動

真夜中にふと思いついて Serf のイベントハンドラを触ってみた〜アニキと舎弟の上京物語〜