ELK搭徏

Mon, 20 Aug 2018 09:48:00 GMT

springboot配置
application.xml配置

# Logstath配置
logstash:
destination: 10.168.31.220:9601

logback-spring.xml配置

    <springProperty scope="context" name="logcenter" source="logstash.destination" />
    <springProperty scope="context" name="applicationName" source="spring.application.name" defaultValue="localhost"/>

    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>${logcenter}destination>
         <encoder charset="UTF-8"
            class="net.logstash.logback.encoder.LogstashEncoder" >
             <customFields>{"appname":"${applicationName}"}customFields>
        encoder>
    appender>

logstash配置

input {
       tcp {
        host => "0.0.0.0"
        port => 9601
    #模式选择为server
        mode => "server"
        tags => ["tags"]

    ##格式json
        codec => json_lines
    }
     file {
        type => "log"
        path => "/home/es/logs/*.log"
        start_position => "beginning"
    }
}
output {
  stdout {
   codec => rubydebug { }
  }
  elasticsearch {
    hosts => "10.168.31.223"
    index => "log-%{+YYYY.MM.dd}"
或者根据变�?br />

index => "logstash-%{[fields][appname]}-%{+YYYY.MM.dd}"

}
}

启动

./logstash -f ../config/logstash.conf

kibana配置

#配置es集群url
elasticsearch.url: "http://192.168.252.129:9200"

es安装

# 安装部��v�q�运�?Elasticsearch 2.3.0

## centos 7 安装jdk8

1. 卸蝲

> 查看已经安装的jdk

```

# rpm -qa|grep jdk

java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64

java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64

java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64

java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64

```

> 卸蝲命��o

```

# yum -y remove java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64

# yum -y remove java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64

# yum -y remove java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64

# yum -y remove java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64

```

> 卸蝲完成之后Java命��o不被识别

```

# java -version

bash: java: command not found...

```

2. 安装

> 官网下蝲jdk�Q�http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

解压到安装目�?/div>

```

# tar -zxvf jdk-8u101-linux-x64.tar.gz -C /usr/local/java/

```

>安装完毕之后�?etc/profile文�g末尾��d��

```

# vim /etc/profile

export JAVA_HOME=/usr/local/java/jdk1.8.0_101

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

```

> �?etc/profile生效

```

# source /etc/profile

```

> ��安装是否成�?/div>

```

# java -version

java version "1.8.0_101"

Java(TM) SE Runtime Environment (build 1.8.0_101-b13)

Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)

```

## centos 7.x 安装 Elasticsearch

1. 下蝲elasticsearch-2.3.0.rpm 安装包：

```

# wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/rpm/elasticsearch/2.3.0/elasticsearch-2.3.0.rpm

```

2. 直接解压安装

```

# rpm -ivh elasticsearch-2.3.0.rpm

# systemctl daemon-reloa

```

3. 启动�q�查看安装状�?/div>

```

# systemctl start elasticsearch

# systemctl status elasticsearch

```

4. 本地查看版本信息

```

# curl -XGET "127.0.0.1:9200"

{

"name" : "Centennial",

"cluster_name" : "elasticsearch",

"version" : {

"number" : "2.3.0",

"build_hash" : "8371be8d5fe5df7fb9c0516c474d77b9feddd888",

"build_timestamp" : "2016-03-29T07:54:48Z",

"build_snapshot" : false,

"lucene_version" : "5.5.0"

"tagline" : "You Know, for Search"

}

```

5. 查找elasticsearch 安装路径与配�|��\径，�q�且配置

```

# whereis elasticsearch

elasticsearch: /etc/elasticsearch /usr/share/elasticsearch

```

> 修改配置文�g

```

vi /etc/elasticsearch/elasticsearch.yml

# Set the bind address to a specific IP (IPv4 or IPv6):

network.host: 192.168.0.120

# Set a custom port for HTTP:

http.port: 9200

```

> 保存退出后重启elasticsearch

外部讉K��Q�http://192.168.0.120:9200/

6. 安装 elasticsearch-head

> ElasticSearch-Head 是一个与Elastic集群�Q�Cluster�Q�相交互的Web前台�?/div>

- 查找elasticsearch安装的bin目录

```

# rpm -ql elasticsearch

/etc/elasticsearch

/etc/elasticsearch/elasticsearch.yml

/etc/elasticsearch/logging.yml

/etc/elasticsearch/scripts

/etc/init.d/elasticsearch

/etc/sysconfig/elasticsearch

/usr/lib/sysctl.d

/usr/lib/sysctl.d/elasticsearch.conf

/usr/lib/systemd/system/elasticsearch.service

/usr/lib/tmpfiles.d

/usr/lib/tmpfiles.d/elasticsearch.conf

/usr/share/elasticsearch/LICENSE.txt

/usr/share/elasticsearch/NOTICE.txt

/usr/share/elasticsearch/README.textile

/usr/share/elasticsearch/bin

...

```

- 安装

```

/usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head

```

- 讉K��

> http://192.168.0.120:9200/_plugin/head/

7. 安装 ElasticSearch-Kopf

> Kopf是一个ElasticSearch的管理工��P��它也提供了对ES集群操作的API�?/div>

```

/usr/share/elasticsearch/plugin install lmenezes/elasticsearch-kopf/v2.1.1

```

- 讉K��

> http://192.168.0.120:9200/_plugin/kopf

---

# Elasticsearch压羃包安�?/div>

1. 讉K��Q�https://www.elastic.co/downloads/past-releases/elasticsearch-2-3-1

下蝲elasticsearch-2.3.1.zip

复制elasticsearch-2.3.1.zip到centos7指定目录

> 例如 �Q?/div>

```

[root@localhost local]# pwd elasticsearch-2.3.1.zip

/usr/local

```

2. 解压elasticsearch-2.3.1.zip

```

[root@localhost local]# unzip elasticsearch-2.3.1.zip

```

3. 修改文�g夹名�U?/div>

```

[root@localhost local]# mv elasticsearch-2.3.1 elasticsearch

```

4. 创徏elsearch用户�l�及elsearch用户

>�q�是��Z��pȝ��安全考虑讄��的条件。由于ElasticSearch可以接收用户输入的脚本�ƈ且执行，��Z��pȝ��安全考虑�Q?nbsp;

��创徏一个单独的用户用来�q�行ElasticSearch

```

groupadd elsearch

useradd elsearch -g elsearch -p elasticsearch

```

5. 更改elasticsearch文�g夹及内部文�g的所属用户及�l��ؓelsearch:elsearch

```

cd /opt

chown -R elsearch:elsearch elasticsearch

```

6. 切换到elsearch用户再启�?/div>

```

su elsearch

cd elasticsearch/bin

./elasticsearch

```

7. 后台�q�行

```

./elasticsearch -d

```

8. 增加中文分词

- 复制analysis-ik�?/usr/local/elasticsearch/plugins目录�?/div>

- 修改配置文�g

```

cat /usr/local/elasticsearch/config/elasticsearch.yml

----------------------------------- Memory -----------------------------------

# Lock the memory on startup:

# bootstrap.mlockall: true

# Make sure that the `ES_HEAP_SIZE` environment variable is set to about half the memory

# available on the system and that the owner of the process is allowed to use this limit.

# Elasticsearch performs poorly when the system is swapping the memory.

# ---------------------------------- Network -----------------------------------

# Set the bind address to a specific IP (IPv4 or IPv6):

network.host: 192.168.0.129

# Set a custom port for HTTP:

# http.port: 9200

# For more information, see the documentation at:

# --------------------------------- Discovery ----------------------------------

# Pass an initial list of hosts to perform discovery when new node is started:

# The default list of hosts is ["127.0.0.1", "[::1]"]

# discovery.zen.ping.unicast.hosts: ["host1", "host2"]

# Prevent the "split brain" by configuring the majority of nodes (total number of nodes / 2 + 1):

# discovery.zen.minimum_master_nodes: 3

# For more information, see the documentation at:

# ---------------------------------- Gateway -----------------------------------

# Block initial recovery after a full cluster restart until N nodes are started:

# gateway.recover_after_nodes: 3

# For more information, see the documentation at:

# ---------------------------------- Various -----------------------------------

# Disable starting multiple nodes on a single system:

# node.max_local_storage_nodes: 1

# Require explicit names when deleting indices:

# action.destructive_requires_name: true

index.analysis.analyzer.default.type: ik

```

9. 重启服务

```

./bin/elasticsearch

```

10. 安装ElasticSearch-head

```

bin/plugin install mobz/elasticsearch-head

```

- 讉K��

> http://192.168.0.120:9200/_plugin/head/

---

# windows10 安装 Elasticsearch

## 安装jdk�q�且讄��环境变量

> 详情参考：https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html

## 安装 Elasticsearch

> 讉K��Q�https://www.elastic.co/downloads/past-releases/elasticsearch-2-3-0 下蝲ZIP�?nbsp;

解压到目标目�?nbsp;

�q�入到elasticsearch目录

例如�Q�本机的安装目录为D:\worksoft\elasticsearch-2.3.0

用命令行�q�入到D:\worksoft\elasticsearch-2.3.0下边

- 安装服务

```

> D:\worksoft\elasticsearch-2.3.0\bin>service.bat install

```

- 删除服务

```

D:\worksoft\elasticsearch-2.3.0\bin>service.bat remove

```

- 启动服务

```

D:\worksoft\elasticsearch-2.3.0\bin>service.bat start

```

- 停止服务

```

D:\worksoft\elasticsearch-2.3.0\bin>service.bat stop

```

- 安装 elasticsearch-head

> �q�入到安装目录下的bin目录�?/div>

```

D:\worksoft\elasticsearch-2.3.0\bin>plugin install mobz/elasticsearch-head

-> Installing mobz/elasticsearch-head...

Trying https://github.com/mobz/elasticsearch-head/archive/master.zip ...

Verifying https://github.com/mobz/elasticsearch-head/archive/master.zip checksums if available ...

NOTE: Unable to verify checksum for downloaded plugin (unable to find .sha1 or .md5 file to verify)

Installed head into D:\worksoft\elasticsearch-2.3.0\plugins\head

```

>讉K��Q�http://localhost:9200/_plugin/head/

- 安装 ElasticSearch-Kopf

> �q�入到安装目录下的bin目录�?/div>

```

D:\worksoft\elasticsearch-2.3.0\bin>plugin install lmenezes/elasticsearch-kopf/v2.1.1

-> Installing lmenezes/elasticsearch-kopf/v2.1.1...

Trying https://download.elastic.co/lmenezes/elasticsearch-kopf/elasticsearch-kopf-v2.1.1.zip ...

Trying https://search.maven.org/remotecontent?filepath=lmenezes/elasticsearch-kopf/v2.1.1/elasticsearch-kopf-v2.1.1.zip ...

Trying https://oss.sonatype.org/service/local/repositories/releases/content/lmenezes/elasticsearch-kopf/v2.1.1/elasticsearch-kopf-v2.1.1.zip ...

Trying https://github.com/lmenezes/elasticsearch-kopf/archive/v2.1.1.zip ...

Downloading ................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................DONE

Verifying https://github.com/lmenezes/elasticsearch-kopf/archive/v2.1.1.zip checksums if available ...

NOTE: Unable to verify checksum for downloaded plugin (unable to find .sha1 or .md5 file to verify)

Installed kopf into D:\worksoft\elasticsearch-2.3.0\plugins\kopf

```

>讉K��Q�http://localhost:9200/_plugin/kopf/

# Elasticsearch 配置文�g详解

> centos 7 的配�|�文件目�?/etc/elasticsearch �Q�windows下的配置文�g目录 elasticsearch-2.3.0\config

## 配置文�gelasticsearch.yml

## 基本概念

### 接近实时�Q�NRT�Q?/div>

> Elasticsearch 是一个接�q�实时的搜烦�q�_��。这意味着�Q�从索引一个文档直到这个文档能够被搜烦到有一个很��的延迟�Q�通常�?1 �U�）�?/div>

### 集群�Q�cluster�Q?/div>

> 代表一个集��，集群中有多个节点�Q�node�Q�，其中有一个�ؓ主节点，�q�个主节�Ҏ��可以通过选�D产生的，��M��节点是对于集��内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点�Q�这是对于集��外部来说的�Q�因��Z��外部来看es集群�Q�在逻辑上是个整体，你与��M��一个节点的通信和与整个es集群通信是等��L��?/div>

### 索引�Q�index�Q?/div>

>ElasticSearch��它的数据存储在一个或多个索引�Q�index�Q�中。用SQL领域的术语来�c�L��Q�烦引就像数据库�Q�可以向索引写入文档或者从索引中读取文档，�q��过ElasticSearch内部使用Lucene��数据写入烦引或从烦引中��索数据�?/div>

### 文档�Q�document�Q?/div>

>文档�Q�document�Q�是ElasticSearch中的主要实体。对所有��用ElasticSearch的案例来��_��他们最�l�都可以归结为对文档的搜索。文档由字段构成�?/div>

### 映射�Q�mapping�Q?/div>

>所有文档写�q�烦引之前都会先�q�行分析�Q�如何将输入的文本分割�ؓ词条、哪些词条又会被�q��o�Q�这�U�行为叫做映��（mapping�Q�。一般由用户自己定义规则�?/div>

### �c�d��Q�type�Q?/div>

>每个文档都有与之对应的类型（type�Q�定义。这允许用户在一个烦引中存储多种文档�c�d��Q��ƈ��Z��同文档提供类型提供不同的映射�?/div>

### 分片�Q�shards�Q?/div>

>代表索引分片�Q�es可以把一个完整的索引分成多个分片�Q�这��L��好处是可以把一个大的烦引拆分成多个�Q�分布到不同的节点上。构成分布式搜烦。分片的数量只能在烦引创建前指定�Q��ƈ且烦引创建后不能更改�?.X默认不能通过配置文�g定义分片

### 副本�Q�replicas�Q?/div>

>代表索引副本�Q�es可以讄��多个索引的副本，副本的作用一是提高系�l�的定w��性，当个某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率，es会自动对搜烦��h��q�行负蝲均衡�?/div>

### 数据恢复�Q�recovery�Q?/div>

>代表数据恢复或叫数据重新分布�Q�es在有节点加入或退出时会根据机器的负蝲对烦引分片进行重新分配，挂掉的节炚w��新启动时也会�q�行数据恢复�?/div>

GET /_cat/health?v #可以看到集群状�?/div>

### 数据源（River�Q?/div>

>代表es的一个数据源�Q�也是其它存储方式（如：数据库）同步数据到es的一个方法。它是以插�g方式存在的一个es服务�Q�通过��d��river中的数据�q�把它烦引到es中，官方的river有couchDB的，RabbitMQ的，Twitter的，Wikipedia的，river�q�个功能��会在后面的文�g中重点说到�?/div>

### �|�关�Q�gateway�Q?/div>

>代表es索引的持久化存储方式�Q�es默认是先把烦引存攑ֈ�内存中，当内存满了时再持久化到硬盘。当�q�个es集群关闭再重新启动时��׃��从gateway中读取烦引数据。es支持多种�c�d��的gateway�Q�有本地文�g�pȝ��Q�默认）�Q�分布式文�g�pȝ��Q�Hadoop的HDFS和amazon的s3云存储服务�?/div>

### 自动发现�Q�discovery.zen�Q?/div>

>代表es的自动发现节�Ҏ��Ӟ��es是一个基于p2p的系�l�，它先通过�q�播��L��存在的节点，再通过多播协议来进行节点之间的通信�Q�同时也支持点对点的交互�?/div>

5.X关闭�q�播�Q�需要自定义

### 通信�Q�Transport�Q?/div>

>代表es内部节点或集��与客户端的交互方式�Q�默认内部是使用tcp协议�q�行交互�Q�同时它支持http协议�Q�json格式�Q�、thrift、servlet、memcached、zeroMQ�{�的传输协议�Q�通过插�g方式集成�Q��?/div>

节点间通信端口默认�Q?300-9400

分片和复�Ӟ��shards and replicas�Q?/div>

>　　一个烦引可以存储超出单个结点硬仉��制的大量数据。比如，一个具�?0亿文档的索引占据1TB的磁盘空��_��而�Q一节点可能没有�q�样大的��盘�I�间来存储或者单个节点处理搜索请求，响应会太慢�?/div>

>��Z��解决�q�个问题�Q�Elasticsearch提供了将索引划分成多片的能力�Q�这些片叫做分片。当你创��Z��个烦引的时候，你可以指定你惌��的分片的数量。每个分片本�w�也是一个功能完善�ƈ且独立的“索引”�Q�这�?#8220;索引” 可以被放�|�到集群中的��M��节点上�?/div>

>分片之所以重要，主要有两斚w��的原因：

允许你水�q�_��?扩展你的内容定w��

允许你在分片�Q�位于多个节点上�Q�之上进行分布式的、�ƈ行的操作�Q�进而提高性能/吞吐�?nbsp;

至于一个分片怎样分布�Q�它的文档怎样聚合回搜索请求，是完全由Elasticsearch��理的，对于作�ؓ用户的你来说�Q�这些都是透明的�?/div>

在一个网�l?云的环境里，��p�|随时都可能发生。在某个分片/节点因�ؓ某些原因处于��ȝ��状态或者消��q��情况下，故障转移机制是非常有用且强烈推荐的。�ؓ此， Elasticsearch允许你创建分片的一份或多䆾拯��Q�这些拷贝叫做复制分片，或者直接叫复制�?/div>

复制之所以重要，有两个主要原因：

在分�?节点��p�|的情况下�Q�复制提供了高可用性。复制分片不与原/主要分片�|�于同一节点上是非常重要的。因为搜索可以在所有的复制上�ƈ行运行，复制可以扩展你的搜烦�?吞吐�?/div>

��M��Q�每个烦引可以被分成多个分片。一个烦引也可以被复�?�ơ（��x��有复�Ӟ�� 或多�ơ。一旦复制了�Q�每个烦引就有了��d��片（作�ؓ复制源的分片�Q�和复制分片�Q�主分片的拷贝）�?/div>

分片和复制的数量可以在烦引创建的时候指定。在索引创徏之后�Q�你可以在�Q何时候动态地改变复制的数量，但是你不能再改变分片的数量�?/div>

5.X默认5:1 5个主分片�Q?个复制分�?/div>

默认情况下，Elasticsearch中的每个索引分配5个主分片�?个复制。这意味着�Q�如果你的集��中臛_��有两个节点，你的索引��会�?个主分片和另�?个复制分片（1个完全拷贝）�Q�这��h��个烦引��d��有10个分片�?/div>

## Elasticsearch . yml 详解

```

##################### Elasticsearch Configuration Example #####################

# 只是挑些重要的配�|�选项�q�行注释,其实自带的已�l�有非常�l�致的英文注释了!

# https://www.elastic.co/guide/en/elasticsearch/reference/current/modules.html

################################### Cluster ###################################

# 代表一个集��?集群中有多个节点,其中有一个�ؓ主节�?�q�个主节�Ҏ��可以通过选�D产生�?��M��节点是对于集��内部来说的.

# es的一个概念就是去中心�?字面上理解就是无中心节点,�q�是对于集群外部来说�?因�ؓ从外部来看es集群,在逻辑上是个整�?你与��M��一个节点的通信和与整个es集群通信是等��L��?nbsp;

# cluster.name可以��定你的集群名称,当你的elasticsearch集群在同一个网�D�中elasticsearch会自动的扑ֈ��h��相同cluster.name的elasticsearch服务.

# 所以当同一个网�D�具有多个elasticsearch集群时cluster.name��成为同一个集��的标识.

# cluster.name: elasticsearch

#################################### Node #####################################

# https://www.elastic.co/guide/en/elasticsearch/reference/5.1/modules-node.html#master-node

# 节点名称同理,可自动生成也可手动配�|?

# node.name: node-1

# 允许一个节�Ҏ��否可以成��Z��个master节点,es是默认集��中的第一台机器�ؓmaster,如果�q�台机器停止��׃��重新选�Dmaster.

# node.master: true

# 允许该节点存储数�?默认开�?

# node.data: true

# 配置文�g中给��Z��三种配置高性能集群拓扑�l�构的模�?如下�Q?nbsp;

# 1. 如果你想让节点从不选�D��Z��节点,只用来存储数�?可作��载器

# node.master: false

# node.data: true

# node.ingest: true #默认true

# 2. 如果惌��节点成�ؓ主节�?且不存储��M��数据,�q�保有空闲资�?可作为协调器

# node.master: true

# node.data: false

# node.ingest: true

# 3. 如果惌��节点既不�U�Cؓ主节�?又不成�ؓ数据节点,那么可将他作为搜索器,从节点中获取数据,生成搜烦�l�果�{?nbsp;

# node.master: false

# node.data: false

# node.ingest: true

# 4. 仅作为协调器

# node.master: false

# node.data: false

# node.ingest: false

# 监控集群状态有一下插件和API可以使用:

# Use the Cluster Health API [http://localhost:9200/_cluster/health], the

# Node Info API [http://localhost:9200/_nodes] or GUI tools # such as ,

# A node can have generic attributes associated with it, which can later be used

# for customized shard allocation filtering, or allocation awareness. An attribute

# is a simple key value pair, similar to node.key: value, here is an example:

# 每个节点都可以定义一些与之关联的通用属性，用于后期集群�q�行��片分配时的�q��o

# node.rack: rack314

# 默认情况下，多个节点可以在同一个安装�\径启动，如果你想让你的es只启动一个节点，可以�q�行如下讄��

# node.max_local_storage_nodes: 1

#################################### Index ####################################

# 讄��索引的分片数,默认�?

#index.number_of_shards: 5

# 讄��索引的副本数,默认�?:

#index.number_of_replicas: 1

# 配置文�g中提到的最佛_��跉|��,如果服务器够�?可以��分片提�?��量��数据��^均分布到大集��中�?/div>

# 同时,如果增加副本数量可以有效的提高搜索性能

# 需要注意的�?"number_of_shards" 是烦引创建后一�ơ生成的,后箋不可更改讄��

# "number_of_replicas" 是可以通过API��d��时修改设�|�的

#################################### Paths ####################################

# 配置文�g存储位置

# path.conf: /path/to/conf

# 数据存储位置(单个目录讄��)

# path.data: /path/to/data

# 多个数据存储位置,有利于性能提升

# path.data: /path/to/data1,/path/to/data2

# 临时文�g的�\�?nbsp;

# path.work: /path/to/work

# 日志文�g的�\�?nbsp;

# path.logs: /path/to/logs

# 插�g安装路径

# path.plugins: /path/to/plugins

#################################### Plugin ###################################

# 讄��插�g作�ؓ启动条�g,如果一下插件没有安�?则该节点服务不会启动

# plugin.mandatory: mapper-attachments,lang-groovy

################################### Memory ####################################

# 当JVM开始写入交换空间时�Q�swapping�Q�ElasticSearch性能会低�?你应该保证它不会写入交换�I�间

# 讄��q�个属性�ؓtrue来锁定内�?同时也要允许elasticsearch的进�E�可以锁住内�?linux下可以通过 `ulimit -l unlimited` 命��o

# bootstrap.mlockall: true

# ��保 ES_MIN_MEM �?ES_MAX_MEM 环境变量讄��为相同的�?以及机器有��够的内存分配�l�Elasticsearch

# 注意:内存也不是越大越�?一�?4位机�?最大分配内存别才超�q?2G

############################## Network And HTTP ###############################

# 讄��l�定的ip地址,可以是ipv4或ipv6�?默认�?.0.0.0

# network.bind_host: 192.168.0.1 #只有本机可以讉K��http接口

# 讄��其它节点和该节点交互的ip地址,如果不设�|�它会自动设�|?值必��L��个真实的ip地址

# network.publish_host: 192.168.0.1

# 同时讄��bind_host和publish_host上面两个参数

# network.host: 192.168.0.1 #�l�定监听IP

# 讄��节点间交互的tcp端口,默认�?300

# transport.tcp.port: 9300

# 讄��是否压羃tcp传输时的数据�Q�默认�ؓfalse,不压�~?/div>

# transport.tcp.compress: true

# 讄��对外服务的http端口,默认�?200

# http.port: 9200

# 讄��h��内容的最大容�?默认100mb

# http.max_content_length: 100mb

# 使用http协议对外提供服务,默认为true,开�?nbsp;

# http.enabled: false

###################### 使用head�{�插件监控集��信息，需要打开以下配置��?###########

# http.cors.enabled: true

# http.cors.allow-origin: "*"

# http.cors.allow-credentials: true

################################### Gateway ###################################

# gateway的类�?默认为local即�ؓ本地文�g�pȝ��,可以讄��为本地文件系�l?nbsp;

# gateway.type: local

# 下面的配�|�控制怎样以及何时启动一整个集群重启的初始化恢复�q�程

# (当��用shard gateway�?是�ؓ了尽可能的重用local data(本地数据))

# 一个集��中的N个节点启动后,才允许进行恢复处�?nbsp;

# gateway.recover_after_nodes: 1

# 讄��初始化恢复过�E�的��时旉��,��时旉��从上一个配�|�中配置的N个节点启动后��v

# gateway.recover_after_time: 5m

# 讄��q�个集群中期望有多少个节�?一旦这N个节点启�?�q�且recover_after_nodes也符�?,

# 立即开始恢复过�E?不等待recover_after_time��时)

# gateway.expected_nodes: 2

############################# Recovery Throttling #############################

# 下面�q�些配置允许在初始化恢复,副本分配,再��^�?或者添加和删除节点时控制节炚w��的分片分�?nbsp;

# 讄��一个节点的�q�行恢复�?nbsp;

# 1.初始化数据恢复时,�q�发恢复�U�程的个�?默认�?

# cluster.routing.allocation.node_initial_primaries_recoveries: 4

# 2.��d��删除节点或负载均衡时�q�发恢复�U�程的个�?默认�?

# cluster.routing.allocation.node_concurrent_recoveries: 2

# 讄��恢复时的吞吐�?例如:100mb,默认�?无限�?如果机器�q�有其他业务在跑的话�q�是限制一下的�?

# indices.recovery.max_bytes_per_sec: 20mb

# 讄��来限制从其它分片恢复数据时最大同时打开�q�发��的个数,默认�?

# indices.recovery.concurrent_streams: 5

# 注意: 合理的设�|�以上参数能有效的提高集��节点的数据恢复以及初始化速度

################################## Discovery ##################################

# 讄��q�个参数来保证集��中的节点可以知道其它N个有master资格的节�?默认�?,对于大的集群来说,可以讄��大一点的�?2-4)

# discovery.zen.minimum_master_nodes: 1

# 探查的超时时�?默认3�U?提高一点以应对�|�络不好的时�?防止脑裂

# discovery.zen.ping.timeout: 3s

# For more information, see

# 讄��是否打开多播发现节点.默认是true.

# 当多播不可用或者集��跨�|�段的时候集��通信�q�是用单播吧

# discovery.zen.ping.multicast.enabled: false

# �q�是一个集��中的主节点的初始列�?当节�?主节�Ҏ��者数据节�?启动时��用这个列表进行探��?nbsp;

# discovery.zen.ping.unicast.hosts: ["host1", "host2:port"]

# Slow Log部分与GC log部分�?不过可以通过相关日志优化搜烦查询速度

################ X-Pack ###########################################

# 官方插�g 相关讄��h��看此�?/div>

# https://www.elastic.co/guide/en/x-pack/current/xpack-settings.html

############## Memory(重点需要调优的部分) ################

# Cache部分:

# es有很多种方式来缓存其内部与烦引有关的数据.其中包括filter cache

# filter cache部分:

# filter cache是用来缓存filters的结果的.默认的cache type是node type.node type的机制是所有的索引内部的分片共享filter cache.node type采用的方式是LRU方式.�?当缓存达��C��某个临界��g��后，es会将最�q�没有��用的数据清除出filter cache.使让新的数据�q�入es.

# �q�个临界值的讄��Ҏ��如下�Q�indices.cache.filter.size 值类型：eg.:512mb 20%。默认的值是10%�?nbsp;

# out of memory错误避免�q�于频繁的查询时集群假死

# 1.讄��es的缓存类型�ؓSoft Reference,它的主要特点是据有较强的引用功能.只有当内存不够的时�?才进行回收这�c�d��?因此在内存��够的时�?它们通常不被回收.另外,�q�些引用对象�q�能保证在Java抛出OutOfMemory异常之前,被设�|��ؓnull.它可以用于实��C��些常用图片的�~�存,实现Cache的功�?保证最大限度的使用内存而不引�vOutOfMemory.在es的配�|�文件加上index.cache.field.type: soft卛_��.

# 2.讄��es最大缓存数据条数和�~�存失效旉��,通过讄��index.cache.field.max_size: 50000来把�~�存field的最大��D��|��ؓ50000,讄��index.cache.field.expire: 10m把过期时间设�|�成10分钟.

# index.cache.field.max_size: 50000

# index.cache.field.expire: 10m

# index.cache.field.type: soft

# field data部分&&circuit breaker部分�Q?nbsp;

# 用于fielddata�~�存的内存数�?主要用于当��用排�?faceting操作�?elasticsearch会将一些热�Ҏ��据加载到内存中来提供�l�客��L��讉K��,但是�q�种�~�存是比较珍�늚�,所以对它进行合理的讄��.

# 可以使用��|��eg:50mb 或�?30�Q?节点 node heap内存�?,默认是：unbounded #indices.fielddata.cache.size�Q?unbounded

# field的超时时�?默认�?1,可以讄��的值类�? 5m #indices.fielddata.cache.expire: -1

# circuit breaker部分:

# 断�\器是elasticsearch��Z��防止内存溢出的一�U�操�?每一�U�circuit breaker都可以指定一个内存界限触发此操作,�q�种circuit breaker的设定有一个最高��别的讑֮�:indices.breaker.total.limit 默认值是JVM heap�?0%.当内存达到这个数量的时候会触发内存回收

# 另外�q�有两组子设�|�：

#indices.breaker.fielddata.limit:当系�l�发现fielddata的数量达��C��定数量时会触发内存回�?默认值是JVM heap�?0%

#indices.breaker.fielddata.overhead:在系�l�要加蝲fielddata时会�q�行预先估计,当系�l�发现要加蝲�q�内存的��D��q�limit * overhead时会�q�行�q�行内存回收.默认�?.03

#indices.breaker.request.limit:�q�种断�\器是elasticsearch��Z��防止OOM(内存溢出),在每�ơ请求数据时讑֮�了一个固定的内存数量.默认值是40%

#indices.breaker.request.overhead:同上,也是elasticsearch在发送请求时讑֮�的一个预估系�?用来防止内存溢出.默认值是1

# Translog部分:

# 每一个分�?shard)都有一个transaction log或者是与它有关的预写日�?(write log),在es�q�行索引(index)或者删�?delete)操作时会��没有提交的数据记录在translog之中,当进行flush 操作的时候会��tranlog中的数据发送给Lucene�q�行相关的操�?一�ơflush操作的发生基于如下的几个配置

#index.translog.flush_threshold_ops:当发生多��次操作时进行一�ơflush.默认�?unlimited #index.translog.flush_threshold_size:当translog的大��达到此值时会进行一�ơflush操作.默认�?12mb

#index.translog.flush_threshold_period:在指定的旉��间隔内如果没有进行flush操作,会进行一�ơ强制flush操作.默认�?0m #index.translog.interval:多少旉��间隔内会��查一�ơtranslog,来进行一�ơflush操作.es会随机的在这个值到�q�个值的2倍大��之间进行一�ơ操�?默认�?s

#index.gateway.local.sync:多少旉��q�行一�ơ的写磁盘操�?默认�?s

```

# HEAD 使用

> elasticsearch-head是一个elasticsearch的集��管理工��P��它是完全由html5�~�写的独立网��늨�序，你可以通过插�g把它集成到es

## 1.打开http://localhost:9200/_plugin/head/

> 在地址栏输入es服务器的ip地址和端口点connect��可以连接到集群。下面是�q�接后的视图。这是主界面�Q�在�q�里可以看到es集群的基本信息（如：节点情况�Q�烦引情况）�?/div>

![image](http://img.my.csdn.net/uploads/201211/17/1353133910_8134.jpg)

>��d��片与副本的区别是�_�细�Ҏ��

界面的右�Ҏ��些按钮，如：node stats�Q?cluster nodes�Q�这些是直接��h��es的相关状态的api�Q�返回结果�ؓjson�Q�如下图�Q?/div>

![image](http://img.my.csdn.net/uploads/201211/17/1353133911_9624.jpg)

>在烦引下面有info和action两个按钮。info是可以查看烦引的状态和mapping的定义。action是对索引�q�行操作�Q�如�Q�添加别名、刷新、关闭烦引，删除索引�{��?nbsp;

![image](http://img.my.csdn.net/uploads/201211/17/1353134135_5729.jpg)![image](http://img.my.csdn.net/uploads/201211/17/1353134135_7264.jpg)

> browser��览界面�Q�这个界面可以同时查看多个烦引的数据�Q�也可以查询指定字段的数�?nbsp;

![image](http://img.my.csdn.net/uploads/201211/17/1353133911_8912.jpg)

> Structured Query查询界面�Q�这个界面可以对某个索引�q�行一些复杂查询，如下面这个例子是查询product索引�Q�构造boolquery�Q�title字段里查�?#8220;产品”关键词，price范围�?0�?00的记录�?nbsp;

![image](http://img.my.csdn.net/uploads/201211/17/1353133912_7352.jpg)

> Any Request��L��h��界面�Q�这个界面可以说是个rest的客��L��Q�可以通过它来对es�q�行一些请求操作或��试api接口�Q�下面这个例子是把product索引的副本数讄��?�Q�更多的api可以到es官网查询�?/div>

![image](http://img.my.csdn.net/uploads/201211/17/1353133912_7587.jpg)

大田�?/a> 2018-08-20 17:48 发表评论

亚洲欧美在线x视频,久久久久亚洲精品成人网小说,亚洲国产成人精品无码区在线观看

ELK搭徏