arthas 解决cpu高

发表于 2019-07-01 | 分类于 java ， jvm ， arthas

现象

win7下，OCR服务 tesseract-ocr 运行3个小时以上时，稳定出现CPU过高。但其实此时并没有请求，也就是说服务本身没什么负载

jvisualvm观察

可以看到 GC 非常是频繁，推测是GC导致 CPU高

jmap分析

查看整个JVM内存状态
jmap -heap [pid]
要注意的是在使用CMS GC 情况下，jmap -heap的执行有可能会导致JAVA 进程挂起

查看JVM堆中对象详细占用情况
jmap -histo [pid]

导出整个JVM 中内存信息
jmap -dump:format=b,file=文件名 [pid]

jhat是sun 1.6及以上版本中自带的一个用于分析JVM 堆DUMP 文件的工具，基于此工具可分析JVM HEAP 中对象的内存占用情况
jhat -J-Xmx1024M [file]
执行后等待console 中输入start HTTP server on port 7000 即可使用浏览器访问 IP：7000

eclipse Memory Analyzer
Eclipse 提供的一个用于分析JVM 堆Dump文件的插件。借助这个插件可查看对象的内存占用状况，引用关系，分析内存泄露等。
http://www.eclipse.org/mat/

1	jmap -histo:live 7304 > aaaa.log

可以看到是一个 Collection 占用内存高

1 2	jmap -dump:format=b,file=dumpocr.dump 16800 jhat -J-Xmx2048M dumpocr.dump

arthas分析

此时有观测到是两个线程各占50%的CPU，并没有GC线程，所以根源是这两个线程导致 CPU高，而不是 GC导致的。

"http-nio-16080-BlockPoller" Id=17 cpuUsage=50% RUNNABLE
    at sun.nio.ch.WindowsSelectorImpl$SubSelector.poll0(Native Method)
    at sun.nio.ch.WindowsSelectorImpl$SubSelector.poll(WindowsSelectorImpl.java:296)
    at sun.nio.ch.WindowsSelectorImpl$SubSelector.access$400(WindowsSelectorImpl.java:278)
    at sun.nio.ch.WindowsSelectorImpl.doSelect(WindowsSelectorImpl.java:159)
    at sun.nio.ch.SelectorImpl.lockAndDoSelect(SelectorImpl.java:86)
    -  locked sun.nio.ch.Util$2@41003c41
    -  locked java.util.Collections$UnmodifiableSet@453fa0b9
    -  locked sun.nio.ch.WindowsSelectorImpl@3d367a
    at sun.nio.ch.SelectorImpl.select(SelectorImpl.java:97)
    at org.apache.tomcat.util.net.NioBlockingSelector$BlockPoller.run(NioBlockingSelector.java:313)


"http-nio-16080-ClientPoller" Id=28 cpuUsage=50% RUNNABLE
    at sun.nio.ch.WindowsSelectorImpl$SubSelector.poll0(Native Method)
    at sun.nio.ch.WindowsSelectorImpl$SubSelector.poll(WindowsSelectorImpl.java:296)
    at sun.nio.ch.WindowsSelectorImpl$SubSelector.access$400(WindowsSelectorImpl.java:278)
    at sun.nio.ch.WindowsSelectorImpl.doSelect(WindowsSelectorImpl.java:159)
    at sun.nio.ch.SelectorImpl.lockAndDoSelect(SelectorImpl.java:86)
    -  locked sun.nio.ch.Util$2@71d53c37
    -  locked java.util.Collections$UnmodifiableSet@31f7f478
    -  locked sun.nio.ch.WindowsSelectorImpl@9f5a097
    at sun.nio.ch.SelectorImpl.select(SelectorImpl.java:97)
    at org.apache.tomcat.util.net.NioEndpoint$Poller.run(NioEndpoint.java:708)
    at java.lang.Thread.run(Thread.java:745)

查看tomcat源码

NioEndpoint$Poller.run(NioEndpoint.java:708)

@Override
public void run() {
    // Loop until destroy() is called
    while (true) {

        boolean hasEvents = false;

        try {
            if (!close) {
                hasEvents = events();
                if (wakeupCounter.getAndSet(-1) > 0) {
                    //if we are here, means we have other stuff to do
                    //do a non blocking select
                    keyCount = selector.selectNow();
                } else {
                    keyCount = selector.select(selectorTimeout);
                }
                wakeupCounter.set(0);
            }
            if (close) {
                events();
                timeout(0, false);
                try {
                    selector.close();
                } catch (IOException ioe) {
                    log.error(sm.getString("endpoint.nio.selectorCloseFail"), ioe);
                }
                break;
            }
        } catch (Throwable x) {
            ExceptionUtils.handleThrowable(x);
            log.error("",x);
            continue;
        }
    }
}

然后调用 keyCount = selector.select(selectorTimeout);

结果跟踪到了 jdk 中的调用，赶脚碰上了jdk nio selector空轮询导致cpu 100%问题

C:/Program Files/Java/jdk1.8.0_65/jre/lib/rt.jar!/sun/nio/ch/SelectorImpl.class

private int lockAndDoSelect(long var1) throws IOException {
    synchronized(this) {
        if(!this.isOpen()) {
            throw new ClosedSelectorException();
        } else {
            Set var4 = this.publicKeys;
            int var10000;
            synchronized(this.publicKeys) {
                Set var5 = this.publicSelectedKeys;
                synchronized(this.publicSelectedKeys) {
                    var10000 = this.doSelect(var1);
                }
            }

            return var10000;
        }
    }
}

跟踪到了native方法，再看就需要找到c的实现去看

抬头看看网友

https://stackoverflow.com/questions/36284833/spring-boot-application-starts-using-all-cpu

优化tomcat

使用NIO2

package com.jzsec.tesseractocr.config;

import lombok.extern.slf4j.Slf4j;
import org.apache.catalina.connector.Connector;
import org.apache.coyote.ProtocolHandler;
import org.apache.coyote.http11.AbstractHttp11Protocol;
import org.springframework.boot.web.embedded.tomcat.TomcatConnectorCustomizer;
import org.springframework.boot.web.embedded.tomcat.TomcatServletWebServerFactory;
import org.springframework.boot.web.server.WebServerFactoryCustomizer;
import org.springframework.boot.web.servlet.server.ConfigurableServletWebServerFactory;
import org.springframework.stereotype.Component;

@Component
@Slf4j
public class MyTomcatConnectorCustomizer implements WebServerFactoryCustomizer<ConfigurableServletWebServerFactory> {

    @Override
    public void customize(ConfigurableServletWebServerFactory factory) {
        ((TomcatServletWebServerFactory) factory).setProtocol("org.apache.coyote.http11.Http11Nio2Protocol");
        ((TomcatServletWebServerFactory) factory).addConnectorCustomizers(new TomcatConnectorCustomizer() {
            @Override
            public void customize(Connector connector) {
                ProtocolHandler protocol = connector.getProtocolHandler();

                log.info("Tomcat({})  -- MaxConnection:{};MaxThreads:{};MinSpareThreads:{}", //
                        protocol.getClass().getName(), //
                        ((AbstractHttp11Protocol<?>) protocol).getMaxConnections(), //
                        ((AbstractHttp11Protocol<?>) protocol).getMaxThreads(), //
                        ((AbstractHttp11Protocol<?>) protocol).getMinSpareThreads());

            }
        });
    }
}

后续观察

持续运行一条后，没有再复现，也不再有 http-nio-16080-BlockPoller 和 http-nio-16080-ClientPoller 线程

oracle-jdk收费和 openjdk下载

发表于 2019-06-20 | 分类于 java

oracle-jdk License变更

oracle-jdk 从 jdk 8u111更新开始收费

可以看到Oracle对于个人使用还是免费，不过商业版就要收费；

此外，还提供了openjdk的下载地址（https://jdk.java.net/）；

openjdk 下载

https://jdk.java.net/java-se-ri/8

Rancher2.x 一键式部署 Prometheus + Grafana 监控 Kubernetes 集群

发表于 2019-06-12 | 分类于 devops ， rancher

11、Elasticsearch For Hadoop

发表于 2019-06-10 | 分类于 elastic ， elasticsearch

11.1、单机版Hadoop安装

11.2、ES-Hadoop安装

11.3、从 HDFS 到 Elasticsearch

11.4、从Elasticsearch 到 HDFS

-—————————————————–

11.1、单机版Hadoop安装

hadoop分为单机模式、伪分布式模式、完全分布式模式

1、ssh免密登录

vi /etc/ssh/ssh_config

文件尾添加：

1 2	StrictHostKeyChecking no UserKnownHostsFile /dev/null

2、hadoop下载安装

[root@localhost data]# mkdir -p /data/hadoop

[root@localhost data]# cd /data/hadoop

[root@localhost hadoop]# wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

3、haoop 单机模式

[root@localhost hadoop]# tar -zxf hadoop-2.7.7.tar.gz

[root@localhost hadoop]# mkdir input

[root@localhost hadoop]# echo “hello world” > input/file1.txt

[root@localhost hadoop]# echo “hello hadoop” > input/file2.txt

[root@localhost hadoop]# ./hadoop-2.7.7/bin/hadoop jar ./hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /data/hadoop/input/ /data/hadoop/output

[root@localhost hadoop]# cat output/part-r-00000

4、hadoop 伪分布式模式

[root@localhost hadoop]# vi hadoop-2.7.7/etc/hadoop/hadoop-env.sh

修改JAVA_HOME 为：
export JAVA_HOME=/data/tools/jdk1.8.0_65

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"
改为：
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="

[root@localhost hadoop]# mkdir -p /data/hadoop/hdfs/tmp

[root@localhost hadoop]# vi hadoop-2.7.7/etc/hadoop/core-site.xml

<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/data/hadoop/hdfs/tmp</value>
                <description>A base for other temporary directories</description>
        </property>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

hadoop.tmp.dir 可以自定义；

fs.default.name 保存了NameNode的位置，HDFS和MapReduce组件都需要用到它；

[root@localhost hadoop]# vi hadoop-2.7.7/etc/hadoop/mapred-site.xml.template

<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>localhost:9010</value>
        </property>
<tconfiguration>

mapred.job.tracker 保存JobTracker的位置，只有MapReduce需要知道；

[root@localhost hadoop]# vi hadoop-2.7.7/etc/hadoop/hdfs-site.xml

配置HDFS数据库的复制次数：

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

以上就配置完了，接下来格式化 namenode：

[root@localhost hadoop]# ./hadoop-2.7.7/bin/hadoop namenode -format

启动hadoop：

[root@localhost hadoop]# ./hadoop-2.7.7/sbin/start-all.sh

启动成功；

添加hadoop到环境变量：

[root@localhost hadoop-2.7.7]# vi /etc/profile

1 2	export HADOOP_HOME=/data/hadoop/hadoop-2.7.7 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[root@localhost hadoop-2.7.7]# source /etc/profile

5、HDFS常用操作

开放 50070 端口

[root@localhost hadoop-2.7.7]# firewall-cmd –permanent –add-port=50070/tcp

success

[root@localhost hadoop-2.7.7]# firewall-cmd –reload

success

[root@localhost hadoop-2.7.7]# firewall-cmd –query-port=50070/tcp

yes

访问hdfs：http://172.18.1.51:50070/

[root@localhost hadoop]# hadoop fs -ls /

[root@localhost hadoop]# hadoop fs -mkdir /work

[root@localhost hadoop]# touch aa.txt

[root@localhost hadoop]# hadoop fs -put aa.txt /work

[root@localhost hadoop]# hadoop fs -test -e /work/aa.txt

[root@localhost hadoop]# echo $?

[root@localhost hadoop]# echo “hello hdfs” > aa.txt

[root@localhost hadoop]# hadoop fs -appendToFile aa.txt /work/aa.txt

[root@localhost hadoop]# hadoop fs -cat /work/aa.txt

hello hdfs

[root@localhost hadoop]# hadoop fs -rm /work/aa.txt

19/06/10 05:04:30 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.

Deleted /work/aa.txt

[root@localhost hadoop]# hadoop fs -rmr /work/a

rmr: DEPRECATED: Please use ‘rm -r’ instead.

rmr: `/work/a’: No such file or directory

[root@localhost hadoop]# hadoop dfsadmin -report

[root@localhost hadoop]#

11.2、引入ES-Hadoop依赖

<dependencies>
    <dependency>
        <groupId>org.elasticsearch</groupId>
        <artifactId>elasticsearch</artifactId>
        <version>7.0.0</version>
    </dependency>
    <dependency>
        <groupId>org.elasticsearch.client</groupId>
        <artifactId>elasticsearch-rest-client</artifactId>
        <version>7.0.0</version>
    </dependency>
    <dependency>
        <groupId>org.elasticsearch.client</groupId>
        <artifactId>elasticsearch-rest-high-level-client</artifactId>
        <version>7.0.0</version>
    </dependency>
    <dependency>
        <groupId>org.elasticsearch</groupId>
        <artifactId>elasticsearch-hadoop</artifactId>
        <version>7.0.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.7.7</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-common</artifactId>
        <version>2.7.7</version>
    </dependency>

11.3、从 HDFS 到 Elasticsearch

准备json文档，上传到HDFS中

vi blog.json

1
2
3

{"id":5,"title":"JavaScript高级程序设计","language":"javascript","author":"NicholasC.Zakas","price":66.4,"publish_time":"2012-03-02","desc":"JavaScript技术经典名著。"}
{"id":3,"title":"Python科学计算","language":"python","author":"张若愚","price":81.4,"publish_time":"2014-01-02","desc":"零基础学python，光盘中坐着度假开发winPython运行环境，涵盖了Python各个扩展库。"}
{"id":4,"title":"Python基础教程","language":"python","author":"Helant","price":54.5,"publish_time":"2014-03-02","desc":"经典的python入门教程，层次鲜明，结构严谨，内容详实。"}

[root@localhost hadoop]# hadoop fs -put blog.json /work

编写代码，从 hdfs 读取数据，写入到 Elasticsearch：

package com.learn.eshdoop;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
import org.elasticsearch.hadoop.mr.EsOutputFormat;

import java.io.IOException;

/**
 * 读取 HDFS 上的内容然后写入 Elasticsearch
 */
public class HdfsToEs {

	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
		conf.setBoolean("mapred.map.tasks.speculative.execution", false);
		conf.setBoolean("mapred.reduce.tasks.speculative.execution", false);
		conf.set("es.nodes", "10.10.139.42");
		conf.set("es.port", "9200");
		conf.set("es.nodes.wan.only", "true");
		conf.set("es.resource", "blog/_doc");
		conf.set("es.mapping.id", "id");
		conf.set("es.input.json", "yes");
		Job job = Job.getInstance(conf, "EmrToES");
		job.setJarByClass(HdfsToEs.class);
		job.setMapperClass(MyMapper.class);
		job.setInputFormatClass(TextInputFormat.class);
		job.setOutputFormatClass(EsOutputFormat.class);
		job.setMapOutputKeyClass(NullWritable.class);
		job.setMapOutputValueClass(Text.class);
		FileInputFormat.setInputPaths(job, new Path(otherArgs[0]));
		System.exit(job.waitForCompletion(true) ? 0 : 1);

	}

	public static class MyMapper extends Mapper<Object, Text, NullWritable, Text> {
		private Text line = new Text();

		@Override
		protected void map(Object key, Text value, Context context) throws IOException, InterruptedException {
			if (value.getLength() > 0) {
				line.set(value);
				context.write(NullWritable.get(), line);
			}
		}
	}
}

pom中指定主类：

<build>
    <plugins>
        <plugin>
            <artifactId>maven-assembly-plugin</artifactId>
            <configuration>
                <archive>
                    <manifest>
                        <mainClass>com.learn.eshdoop.HdfsToEs</mainClass>
                    </manifest>
                </archive>
                <descriptorRefs>
                    <descriptorRef>jar-with-dependencies</descriptorRef>
                </descriptorRefs>
            </configuration>
            <executions>
                <execution>
                    <id>make-assembly</id>
                    <phase>package</phase>
                    <goals>
                        <goal>single</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>3.0.0</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals><goal>shade</goal></goals>
                    <configuration>
                        <transformers>
                            <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                <mainClass>com.learn.eshdoop.HdfsToEs</mainClass>
                            </transformer>
                            <transformer implementation="org.apache.maven.plugins.shade.resource.ApacheLicenseResourceTransformer">
                            </transformer>
                        </transformers>
                    </configuration>
                </execution>
            </executions>
        </plugin>

    </plugins>
</build>

运行：mvn clean package 生成对应的jar 包

[root@localhost hadoop]# mv es-hadoop-learn-1.0-SNAPSHOT-jar-with-dependencies.jar HdfsToEs.jar

[root@localhost hadoop]# hadoop jar HdfsToEs.jar /work/blog.json

1566720615487

在Kibana 中查看

GET blog/_mapping

GET blog/_search

11.4、从Elasticsearch 到 HDFS

1、将索引 blog 保存到 hdfs

添加Java类：

package com.learn.eshdoop;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.Writable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
import org.elasticsearch.hadoop.mr.EsInputFormat;

import java.io.IOException;

/**
 * 查询 Elasticsearch 索引然后将结果写入 HDFS
 */
public class EsToHdfs {

	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
		conf.set("es.nodes", "10.10.139.42");
		conf.set("es.port", "9200");
		conf.set("es.resource", "blog/_doc");
		conf.set("es.output.json", "true");
		Job job = Job.getInstance(conf, "hadoop es write test");
		job.setMapperClass(MyMapper.class);
		job.setNumReduceTasks(1);
		job.setMapOutputKeyClass(NullWritable.class);
		job.setMapOutputValueClass(Text.class);
		job.setInputFormatClass(EsInputFormat.class);
		FileOutputFormat.setOutputPath(job, new Path(otherArgs[0]));
		job.waitForCompletion(true);
	}

	public static class MyMapper extends Mapper<Writable, Writable, NullWritable, Text> {
		@Override
		protected void map(Writable key, Writable value, Context context) throws IOException, InterruptedException {
			Text text = new Text();
			text.set(value.toString());
			context.write(NullWritable.get(), text);
		}
	}

}

修改pom.xml中的主类为：com.learn.eshdoop.EsToHdfs。

mvn clean package 重新打包

上传以后执行：

[root@localhost hadoop]# mv es-hadoop-learn-1.0-SNAPSHOT-jar-with-dependencies.jar EsIndexToHdfs.jar

[root@localhost hadoop]# hadoop jar EsIndexToHdfs.jar /work/blog_mapping

[root@localhost hadoop]# hadoop fs -cat /work/blog_mapping/part-r-00000

2、将带条件查询 blog 的数据保存到 hdfs

package com.learn.eshdoop;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.Writable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
import org.elasticsearch.hadoop.mr.EsInputFormat;

import java.io.IOException;

/**
 * 查询 Elasticsearch 数据 然后将结果写入 HDFS
 */
public class EsQueryToHdfs {

	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
		conf.set("es.nodes", "10.10.139.42");
		conf.set("es.port", "9200");
		conf.set("es.resource", "blog/_doc");
		conf.set("es.output.json", "true");
		conf.set("es.query", "?q=title:python");
		Job job = Job.getInstance(conf, "query es to HDFS");
		job.setMapperClass(EsToHdfs.MyMapper.class);
		job.setNumReduceTasks(1);
		job.setMapOutputKeyClass(NullWritable.class);
		job.setMapOutputValueClass(Text.class);
		job.setInputFormatClass(EsInputFormat.class);
		FileOutputFormat.setOutputPath(job, new Path(otherArgs[0]));
		job.waitForCompletion(true);
	}

	public static class MyMapper extends Mapper<Writable, Writable, NullWritable, Text> {
		@Override
		protected void map(Writable key, Writable value, Context context) throws IOException, InterruptedException {
			Text text = new Text();
			text.set(value.toString());
			context.write(NullWritable.get(), text);
		}
	}
}

在pom.xml中修改主类名称为：com.learn.eshdoop.EsQueryToHdfs；

mvn clean package 重新打包，然后上传；

[root@localhost hadoop]# mv es-hadoop-learn-1.0-SNAPSHOT-jar-with-dependencies.jar EsQueryToHdfs.jar

[root@localhost hadoop]# hadoop jar EsQueryToHdfs.jar /work/EsQueryToHdfs

[root@localhost hadoop]# hadoop fs -cat /work/EsQueryToHdfs/part-r-00000

常用微服务组件

发表于 2019-06-09

注册中心

nacos、eureka、zookeeper、redis、consul、etcd3

配置中心

shardingSphere 之分布式事务

发表于 2019-06-05

强一致性事务XA

2PC

3PC

缺点：协调者或参与者故障以后，会出现数据不一致的问题、3PC虽然比2PC有所改善，但并没有从根本上解决问题

市面上有关于2PC模型的实现，没有3PC模型的实现

基于2PC的模型：TCC、Seata

sharding-shere 通过SPI实现的XA事务的组件：

bitronix
narayana
atomickos

柔性事务BASE -> Seata(AT模型)

其他事务

通过SPI自己实现

TCC

XA 和 TCC 的去别：XA 是基于资源的，代码不用改；TCC是基于应用的，比较复杂

TCC：try() ==> 预留资源

ByteTCC
TinyTCC
transactionTCC

Saga

应用场景：长事务（整个事务运行时间比较长）

实现方式：MQ，ZK

拆分成，多个子事务

事件编排

命令协调

Seata

AT模式

工作流程

使用示例

Seata

XA Atomikos
TCC 业务实现TCC过程，由TM去调度 => 本地状态表
Saga 正向和反向，编排+命令 => MQ/ZK
AT 本地事务表
MQ

JTA（Java Transaction API）

轻量级事务：XA

重量级事务：容器事务Weblogic JBoss

数据编排治理

配置中心：如果修改了配置，不需要重启应用

注册中心：运行时让DB动态上下线（熔断）

元数据中心：

数据库结构

zk做配置中心和注册中心

元数据中心

工程结构

gradle编译springboot的jar包中，so库被修改

发表于 2019-06-04 | 分类于 gradle

最近将maven工程修改为gradle工程

打包后jni调用直接crash。通过和maven打出的jar包对比，发现.so库发生了签名发生了变更

解决方案：

将so库放在resources之外的文件夹中

修改 build.gradle ，添加如下指令

bootJar {
    from("src/main/assets") {
        into "BOOT-INF/classes"
    }
}

Elasticsearch性能优化专题

发表于 2019-05-27 | 分类于 elastic ， elasticsearch

写入性能优化

1、用bulk批量写入

你如果要往es里面灌入数据的话，那么根据你的业务场景来，如果你的业务场景可以支持让你将一批数据聚合起来，一次性写入es，那么就尽量采用bulk的方式，每次批量写个几百条这样子。

bulk批量写入的性能比你一条一条写入大量的document的性能要好很多。但是如果要知道一个bulk请求最佳的大小，需要对单个es node的单个shard做压测。先bulk写入100个document，然后200个，400个，以此类推，每次都将bulk size加倍一次。如果bulk写入性能开始变平缓的时候，那么这个就是最佳的bulk大小。并不是bulk size越大越好，而是根据你的集群等环境具体要测试出来的，因为越大的bulk size会导致内存压力过大，因此最好一个请求不要发送超过10mb的数据量。

先确定一个是bulk size，此时就尽量是单线程，一个es node，一个shard，进行测试。看看单线程最多一次性写多少条数据，性能是比较好的。

2、使用多线程将数据写入es

单线程发送bulk请求是无法最大化es集群写入的吞吐量的。如果要利用集群的所有资源，就需要使用多线程并发将数据bulk写入集群中。为了更好的利用集群的资源，这样多线程并发写入，可以减少每次底层磁盘fsync的次数和开销。首先对单个es节点的单个shard做压测，比如说，先是2个线程，然后是4个线程，然后是8个线程，16个，每次线程数量倍增。一旦发现es返回了TOO_MANY_REQUESTS的错误，JavaClient也就是EsRejectedExecutionException。此时那么就说明es是说已经到了一个并发写入的最大瓶颈了，此时我们就知道最多只能支撑这么高的并发写入了。

3、增加refresh间隔

默认的refresh间隔是1s，用index.refresh_interval参数可以设置，这样会其强迫es每秒中都将内存中的数据写入磁盘中，创建一个新的segment file。正是这个间隔，让我们每次写入数据后，1s以后才能看到。但是如果我们将这个间隔调大，比如30s，可以接受写入的数据30s后才看到，那么我们就可以获取更大的写入吞吐量，因为30s内都是写内存的，每隔30s才会创建一个segment file。

4、禁止refresh和replia

如果我们要一次性加载大批量的数据进es，可以先禁止refresh和replia复制，将index.refresh_interval设置为-1，将index.number_of_replicas设置为0即可。这可能会导致我们的数据丢失，因为没有refresh和replica机制了。但是不需要创建segment file，也不需要将数据replica复制到其他的replica shasrd上面去。此时写入的速度会非常快，一旦写完之后，可以将refresh和replica修改回正常的状态。

5、禁止swapping交换内存

如果要将es jvm内存交换到磁盘，再交换回内存，大量磁盘IO，性能很差

6、给filesystem cache更多的内存

filesystem cache被用来执行更多的IO操作，如果我们能给filesystemcache更多的内存资源，那么es的写入性能会好很多。

7、使用自动生成的id

如果我们要手动给es document设置一个id，那么es需要每次都去确认一下那个id是否存在，这个过程是比较耗费时间的。如果我们使用自动生成的id，那么es就可以跳过这个步骤，写入性能会更好。对于你的业务中的表id，可以作为es document的一个field。

8、用性能更好的硬件

我们可以给filesystem cache更多的内存，也可以使用SSD替代机械硬盘，避免使用NAS等网络存储，考虑使用RAID 0来条带化存储提升磁盘并行读写效率，等等。

9、index buffer

如果我们要进行非常重的高并发写入操作，那么最好将index buffer调大一些，indices.memory.index_buffer_size，这个可以调节大一些，设置的这个index buffer大小，是所有的shard公用的，但是如果除以shard数量以后，算出来平均每个shard可以使用的内存大小，一般建议，但是对于每个shard来说，最多给512mb，因为再大性能就没什么提升了。es会将这个设置作为每个shard共享的index buffer，那些特别活跃的shard会更多的使用这个buffer。默认这个参数的值是10%，也就是jvm heap的10%，如果我们给jvmheap分配10gb内存，那么这个index buffer就有1gb，对于两个shard共享来说，是足够的了。

查询性能优化

jenkins 使用 jenkinsfile 集成 rancher2

发表于 2019-05-21 | 分类于 devops ， jenkins

环境

rancher v2.4.5

ELK单节点集群搭建

发表于 2019-05-02 | 分类于 elastic ， elasticsearch

安装 jdk（jdk7+）

tar -zxf jdk-8u65-linux-x64.tar.gz -C /data/carloz/tools/
设置java环境变量
vim /etc/profile

export JAVA_HOME=/carloz/tools/jdk1.8.0_65
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:/JAVA_HOME/lib:$JAVA_HOME/jre/lib

source /etc/profile
java -version

安装 Elasticsearch

tar -zxf elasticsearch-7.0.0-linux-x86_64.tar.gz -C /data/carloz/tools/
cd elasticsearch-7.0.0/

./bin/elasticsearch

这是出于系统安全考虑设置的条件。由于ElasticSearch可以接收用户输入的脚本并且执行，为了系统安全考虑。
创建elsearch用户组及elsearch用户
groupadd elsearch
useradd elsearch -g elsearch -p elasticsearch
cd /data/carloz/tools/
chown -R elsearch:elsearch elasticsearch-7.0.0/
su elsearch
cd elasticsearch-7.0.0/
./bin/elasticsearch -d

一个警告，操作系统内核版本太低，忽略即可

netstat -nltp | grep 9200

ps aux | grep elastic*

curl ‘http://127.0.0.1:9200'
如下代表启动成功：

配置Elasticsearch

su elsearch
cd /data/carloz/tools/elasticsearch-7.0.0
vi config/elasticsearch.yml
grep -v ^# config/elasticsearch.yml

集群监控
curl -XGET ‘http://localhost:9200/_cluster/health?pretty=true'

安装 Logstash

su root
cd /carloz/download
tar -zxf logstash-7.0.0.tar.gz -C /data/carloz/tools/
cd /data/carloz/tools/logstash-7.0.0/

定义一个叫 stdin 的数据源，和一个叫stdout的输出目标，无论我们输入什么，都会输出到标准命令行：
./bin/logstash -e ‘input { stdin { } } output { stdout {} }’
等待启动成功之后，输入 hello logastsh

1、Logstash 输入源
2、Logstash 输出目标
3、Logstash 过滤器

定义输入源，输出目标：

mkdir -p myconf
vi myconf/jyweb-nginx.conf

input{
    file{
      path => ["/opt/software/nginx/logs/*.log"]
    }
}
output{
   elasticsearch{
       hosts => ["localhost:9200"]
       index => "jyweb_nginx_log"
  }
}

启动logstash
./bin/logstash -f myconf/jyweb-nginx.conf &

安装 Kibana

tar -zxf /carloz/download/kibana-7.0.0-linux-x86_64.tar.gz -C /data/carloz/tools/
cd /data/carloz/tools/kibana-7.0.0-linux-x86_64

修改配置文件，指向Elasticsearch服务器
vi config/kibana.yml

server.port: 5601
server.host: "0.0.0.0"
server.name: "logs-server"
elasticsearch.hosts: ["http://localhost:9200"]

启动
./bin/kibana

访问：http://10.10.139.42:5601

现象

jvisualvm观察

jmap分析

arthas分析

查看tomcat源码

抬头看看网友

优化tomcat

后续观察

oracle-jdk License变更

openjdk 下载

11.1、单机版Hadoop安装

1、ssh免密登录

2、hadoop下载安装

3、haoop 单机模式

4、hadoop 伪分布式模式

5、HDFS常用操作

11.2、引入ES-Hadoop依赖

11.3、从 HDFS 到 Elasticsearch

11.4、从Elasticsearch 到 HDFS

1、将索引 blog 保存到 hdfs

2、将带条件查询 blog 的 数据 保存到 hdfs

注册中心

配置中心

强一致性事务XA

2PC

3PC

柔性事务BASE -> Seata(AT模型)

其他事务

TCC

Saga

事件编排

命令协调

Seata

AT模式

工作流程

使用示例

JTA（Java Transaction API）

数据编排治理

写入性能优化

1、用bulk批量写入

2、使用多线程将数据写入es

3、增加refresh间隔

4、禁止refresh和replia

5、禁止swapping交换内存

6、给filesystem cache更多的内存

7、使用自动生成的id

8、用性能更好的硬件

9、index buffer

查询性能优化

安装 jdk（jdk7+）

安装 Elasticsearch

配置Elasticsearch

安装 Logstash

安装 Kibana

2、将带条件查询 blog 的数据保存到 hdfs