Elasticsearch の Discovery について

2. Elasticsearch のインストール

Elasticsearch を EC2 インスタンスにインストールしていきます。 なお現在の Elasticsearch の最新版は 5.x ですが今回は事情によりバージョン 2.4.5 を使用します。

$ sudo rpm -i https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/rpm/elasticsearch/2.4.5/elasticsearch-2.4.5.rpm

/etc/elasticsearch/elasticsearch.yml にいくつか Elasticsearch の設定を行います。

# --- Cluster ---
# Specify the name of cluster which this node belongs to.
cluser.name: cluster-sample

# --- Node ---
# Specify node name. Here use hostname of the node
node.name: ${HOSTNAME}
# Specify whether this node is master node or not. Default is true.
# node.master: true
# Specify whether this node is dada node or not. Default is true.
# node.data: true

# --- Network ---
# Specify hostname of IP address used to communicate nodes within this host.
# '_site_' means private network such as '192.168.0.1'.
network.host: [_site_]

この中で重要なのは cluster.name で、cluster はここで設定したクラスタ名により識別されます。 新しく追加する node は同一のクラスタ名を持つ必要がありますし、逆に既存の cluster とは別の cluster を作りたい場合は cluster.name は別の値にするべきです。

次に cluster の状況を手軽に GUI で見るために head プラグインを使用します。 最新版では deprecated なのですが v2.4.5 では plugin install による手順を行います。

$ cd /usr/share/elasticsearch/
$ sudo bin/plugin install mobz/elasticsearch-head

インストール後、http://<ip_address>:9200/_plugin/head/ で head プラグインが提供する UI にアクセスできるようになります。

Elasticsearch を自動起動するサービスとして設定します。

$ sudo chkconfig --add elasticsearch

Elasticsearch を起動します。

$ sudo service elasticsearch start

適当に Cluster, Index を作ると以下のように sharding が行われている状態が確認できます。 sharding の設定はデフォルトのものを使用しているので、1 つの index に対し 5 つの shards が作られます。 また各 primary shard に replica が 1 つ作られるので、計 10 shards を作ろうとします。

ただ現時点では cluster に存在する node が 1 つのみであり、primary shards と replica shards は同一 node 上には置けないので、5 つの replica shards がいずれも配置できないという状態になっています。

# --- Discovery ---
# Specify the list of (at least some of) other nodes in the cluster.
discovery.zen.ping.unicast.hosts: ['10.0.0.36', '10.0.0.160']

$ sudo bin/plugin install cloud-aws

# Comment out
# discovery.zen.ping.unicast.hosts: ['10.0.0.1', '10.0.0.2']

# --- AWS Cloud Plugin ---
discovery.type: ec2
cloud.aws.region: 'ap-northeast-1'
cloud.node.auto_attributes: true
discovery.ec2.groups: sg-acc73fca

cluster.routing.allocation.awareness.attributes: aws_availability_zone
cluster.routing.allocation.awareness.force.aws_availability_zone.values: ap-northeast-1a, ap-northeast-1c