课程表 III

发表于 2018-05-05

算法：贪心算法

题目

url：https://leetcode-cn.com/problems/course-schedule-iii

这里有 n 门不同的在线课程，他们按从 1 到 n 编号。每一门课程有一定的持续上课时间（课程时间）t 以及关闭时间第 d 天。一门课要持续学习 t 天直到第 d 天时要完成，你将会从第 1 天开始。

给出 n 个在线课程用 (t, d) 对表示。你的任务是找出最多可以修几门课。

示例：

输入: [[100, 200], [200, 1300], [1000, 1250], [2000, 3200]]
输出: 3
解释: 
这里一共有 4 门课程, 但是你最多可以修 3 门:
首先, 修第一门课时, 它要耗费 100 天，你会在第 100 天完成, 在第 101 天准备下门课。
第二, 修第三门课时, 它会耗费 1000 天，所以你将在第 1100 天的时候完成它, 以及在第 1101 天开始准备下门课程。
第三, 修第二门课时, 它会耗时 200 天，所以你将会在第 1300 天时完成它。
第四门课现在不能修，因为你将会在第 3300 天完成它，这已经超出了关闭日期。

提示:

整数 1 <= d, t, n <= 10,000 。
你不能同时修两门课程。

分析

按照结束时间对课程进行排序;
使用一个大顶堆来储存已经选择的课程的长度;
一旦发现安排了当前课程之后，其结束时间超过了最晚结束时间，那么就从已经安排的课程中，取消掉一门最耗时的

Java解法

class Solution {
	public int scheduleCourse(int[][] courses) {
		Arrays.sort(courses, (a, b) -> a[1] - b[1]);
		PriorityQueue<Integer> queue = new PriorityQueue<>((a, b) -> b - a);

		int time = 0;
		for (int[] c: courses) {
			 if(c[0] > c[1]) continue;
			if (time + c[0] <= c[1]) {
				queue.offer(c[0]);
				time += c[0];
			} else {
				if(!queue.isEmpty() && queue.peek() > c[0]){
					time += c[0] - queue.poll();
					queue.offer(c[0]);
				}
			}
		}
		return queue.size();
	}
}
public class App {
	public static void main(String[] args) {
		//int[][] courses = new int[][] {{100, 200}, {200, 1300}, {1000, 1250}, {2000, 3200}};
		int[][] courses = new int[][] {{914,9927},{333,712},{163,5455},{835,5040},{905,8433},{417,8249},{921,9553},{913,7394},{303,7525},{582,8658},{86,957},{40,9152},{600,6941},{466,5775},{718,8485},{34,3903},{380,9996},{316,7755}};
		int ret = new Solution().scheduleCourse(courses);
		String out = String.valueOf(ret);
		System.out.print(out);
	}
}

docker和 docker-compose安装配置

发表于 2018-04-19 | 分类于 devops ， docker

docker环境安装

安装yum-utils：

1	yum install -y yum-utils device-mapper-persistent-data lvm2

为yum源添加docker仓库位置：

1	yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

安装docker：
1
yum install docker-ce
启动docker：
1
systemctl start docker

docker 源更新

vi /etc/docker/daemon.json
{
  "registry-mirrors" : [
    "http://hub-mirror.c.163.com"
  ],
  "debug" : true,
  "experimental" : true
}

systemctl restart docker

docker engine升级

一、前言
　　docker的版本分为社区版docker-ce和企业版dokcer-ee，社区版是免费提供给个人开发者和小型团体使用的，企业版会提供额外的收费服务，比如经过官方测试认证过的基础设施、容器、插件,当然docker的版本更新比较快，截止2018.12最新版本是18.09，如果你的机器上安装了老版本的docker，那么就需要卸载，本文介绍如何完全的卸载老版本以及安装新版本docker。

二、删除老版本

停止docker服务

1	systemctl stop docker

查看当前版本

1	rpm -qa \| grep docker

卸载软件包

yum erase docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-selinux \
                  docker-engine-selinux \
                  docker-engine \
                  docker-ce

删除相关配置文件

find /etc/systemd -name '*docker*' -exec rm -f {} \;
find /etc/systemd -name '*docker*' -exec rm -f {} \;
find /lib/systemd -name '*docker*' -exec rm -f {} \;
rm -rf /var/lib/docker   #删除以前已有的镜像和容器,非必要
rm -rf /var/run/docker

三、安装新版本
软件包安装

1	yum install -y yum-utils device-mapper-persistent-data lvm2

添加yum源

1	yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

查看可安装的版本

1	yum list docker-ce --showduplicates \| sort -r

安装到指定版本

1	yum install docker-ce-18.06.3.ce-3.el7 -y

启动并开机自启

1 2	systemctl start docker systemctl enable docker

查看docker版本

1	docker version

验证docker

1	docker run hello-world

参考https://docs.docker.com/install/linux/docker-ce/centos/

docker compose

Compose file format	Docker Engine
1	1.9.0+
2.0	1.10.0+
2.1	1.12.0+
2.2, 3.0, 3.1, 3.2	1.13.0+
2.3, 3.3, 3.4, 3.5	17.06.0+
2.4	17.12.0+
3.6	18.02.0+
3.7	18.06.0+

Linux 上我们可以从 Github 上下载它的二进制包来使用，最新发行的版本地址：https://github.com/docker/compose/releases。

运行以下命令以下载 Docker Compose 的当前稳定版本：

1	$ curl -L https://get.daocloud.io/docker/compose/releases/download/1.24.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose

要安装其他版本的 Compose，请替换 1.24.1。

将可执行权限应用于二进制文件：

1	$ sudo chmod +x /usr/local/bin/docker-compose

创建软链：

1	$ sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

测试是否安装成功：

1 2	$ docker-compose --version cker-compose version 1.24.1, build 4667896b

注意：对于 alpine，需要以下依赖包： py-pip，python-dev，libffi-dev，openssl-dev，gcc，libc-dev，和 make。

使用jenkins自动化部署mall-swarm

发表于 2018-04-19 | 分类于 jenkins

在微服务架构中，随着服务越来越多，服务的打包部署就会成为一个相当麻烦的事情。比如说我的mall-swarm项目目前就有8个服务需要部署，有没有什么办法让我们部署一次之后，只要点击执行就可以自动部署呢？当然有！下面我们使用Jenkins来完成一个微服务架构中的自动化部署工作。

1、基础环境部署

mall-swarm运行需要的系统组件如下，Docker容器中安装这些组件的方法直接参考该文章即可：mall在Linux环境下的部署（基于Docker容器）。

组件	版本号
JDK	1.8
Mysql	5.7
Redis	3.2
Elasticsearch	6.4.0
MongoDb	3.2
RabbitMq	3.7.15
Nginx	1.10

1.1、运行配置要求

CenterOS7.6版本，推荐4G以上内存

1.2、部署相关文件

数据库脚本mall.sql：https://gitee.com/macrozheng/mall-swarm/blob/master/document/sql/mall.sql
nginx配置文件nginx.conf：https://gitee.com/macrozheng/mall-swarm/blob/master/document/docker/nginx.conf
docker-compose-env.yml：https://gitee.com/macrozheng/mall-swarm/tree/master/document/docker/docker-compose-env.yml
docker-compose-app.yml：https://gitee.com/macrozheng/mall-swarm/tree/master/document/docker/docker-compose-app.yml

1.3、部署前准备

1）下载所有需要安装的Docker镜像

设置docker源(https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors)

sudo mkdir -p /etc/docker
vi /etc/docker/daemon.json
{
  "registry-mirrors": ["https://k8spv7nq.mirror.aliyuncs.com"]
}

sudo systemctl daemon-reload
sudo systemctl restart docker

docker pull mysql:5.7
docker pull redis:3.2
docker pull nginx:1.10
docker pull rabbitmq:3.7.15-management
docker pull elasticsearch:6.4.0
docker pull kibana:6.4.0
docker pull mongo:3.2

2）elasticsearch

需要设置系统内核参数，否则会因为内存不足无法启动。

# 改变设置
sysctl -w vm.max_map_count=262144
# 使之立即生效
sysctl -p

需要创建/carloz/data/elasticsearch/data目录并设置权限，否则会因为无权限访问而启动失败。

# 创建目录
mkdir -p /carloz/data/elasticsearch/data/
# 创建并改变该目录权限
chmod 777 /carloz/data/elasticsearch/data

3）nginx

需要拷贝nginx配置文件，否则挂载时会因为没有配置文件而启动失败。

# 创建目录之后将nginx.conf文件上传到该目录下面
mkdir -p /carloz/data/nginx/

docker run -p 80:80 --name nginx \
-v /carloz/data/nginx/html:/usr/share/nginx/html \
-v /carloz/data/nginx/logs:/var/log/nginx  \
-d nginx:1.10
docker container cp nginx:/etc/nginx/nginx.conf /carloz/data/nginx/
docker rm -f nginx

1.4、执行docker-compose-env.yml脚本

将该文件上传的linux服务器上，执行docker-compose up命令即可启动mall所依赖的所有服务。

version: '3'
services:
  mysql:
    image: mysql:5.7
    container_name: mysql
    command: mysqld --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci
    restart: always
    environment:
      MYSQL_ROOT_PASSWORD: root #设置root帐号密码
    ports:
      - 3306:3306
    volumes:
      - /carloz/data/mysql/data/db:/var/lib/mysql #数据文件挂载
      - /carloz/data/mysql/data/conf:/etc/mysql/conf.d #配置文件挂载
      - /carloz/data/mysql/log:/var/log/mysql #日志文件挂载
  redis:
    image: redis:3.2
    container_name: redis
    command: redis-server --appendonly yes
    volumes:
      - /carloz/data/redis/data:/data #数据文件挂载
    ports:
      - 6379:6379
  nginx:
    image: nginx:1.10
    container_name: nginx
    volumes:
      - /carloz/data/nginx/nginx.conf:/etc/nginx/nginx.conf #配置文件挂载
      - /carloz/data/nginx/html:/usr/share/nginx/html #静态资源根目录挂载
      - /carloz/data/nginx/log:/var/log/nginx #日志文件挂载
    ports:
      - 80:80
  rabbitmq:
    image: rabbitmq:3.7.15-management
    container_name: rabbitmq
    volumes:
      - /carloz/data/rabbitmq/data:/var/lib/rabbitmq #数据文件挂载
      - /carloz/data/rabbitmq/log:/var/log/rabbitmq #日志文件挂载
    ports:
      - 5672:5672
      - 15672:15672
  elasticsearch:
    image: elasticsearch:6.4.0
    container_name: elasticsearch
    environment:
      - "cluster.name=elasticsearch" #设置集群名称为elasticsearch
      - "discovery.type=single-node" #以单一节点模式启动
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m" #设置使用jvm内存大小
    volumes:
      - /carloz/data/elasticsearch/plugins:/usr/share/elasticsearch/plugins #插件文件挂载
      - /carloz/data/elasticsearch/data:/usr/share/elasticsearch/data #数据文件挂载
    ports:
      - 9200:9200
  kibana:
    image: kibana:6.4.0
    container_name: kibana
    links:
      - elasticsearch:es #可以用es这个域名访问elasticsearch服务
    depends_on:
      - elasticsearch #kibana在elasticsearch启动之后再启动
    environment:
      - "elasticsearch.hosts=http://es:9200" #设置访问elasticsearch的地址
    ports:
      - 5601:5601
  mongo:
    image: mongo:3.2
    container_name: mongo
    volumes:
      - /carloz/data/mongo/db:/data/db #数据文件挂载
    ports:
      - 27017:27017

上传完后在当前目录下执行如下命令：

# Create and start containers
docker-compose -f /carloz/data/docker-compose-env.yml up -d
# Stop and remove containers, networks, images, and volumes
docker-compose -f /carloz/data/docker-compose-env.yml down
# stop
docker-compose -f /carloz/data/docker-compose-env.yml stop
# start
docker-compose -f /carloz/data/docker-compose-env.yml start

1.5、对依赖服务进行以下设置

当所有依赖服务启动完成后，需要对以下服务进行一些设置。

1）mysql

需要创建mall数据库并创建一个可以远程访问的对象reader。

将mall.sql文件拷贝到mysql容器的/目录下：

1
2
3

vim /carloz/data/mall.sql
# 下载文件：https://gitee.com/macrozheng/mall-swarm/blob/master/document/sql/mall.sql
docker cp /carloz/data/mall.sql mysql:/

进入mysql容器并执行如下操作：

#进入mysql容器
docker exec -it mysql /bin/bash
#连接到mysql服务
mysql -uroot -proot --default-character-set=utf8
#创建远程访问用户
grant all privileges on *.* to 'reader' @'%' identified by '123456';
#创建mall数据库
create database mall character set utf8;
#使用mall数据库
use mall;
#导入mall.sql脚本
source /mall.sql;

2）elasticsearch

需要安装中文分词器IKAnalyzer，并重新启动。

# 手动下载ik分词器，上传到docker中/usr/share/elasticsearch/plugins目录下
cd /carloz/data/elasticsearch/plugins
wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.4.0/elasticsearch-analysis-ik-6.4.0.zip

tar -zxf elasticsearch-analysis-ik-v6.4.0.tar.gz
rm -f elasticsearch-analysis-ik-v6.4.0.tar.gz

docker exec -it elasticsearch /bin/bash
# 检查 /usr/share/elasticsearch/plugins 目录下的ik分词器是否存在
docker restart elasticsearch
docker logs -f elasticsearch

3）rabbitmq

需要创建一个mall用户并设置虚拟host为/mall。

访问管理页面地址：http://192.168.145.137:15672/
输入账号密码并登录：guest guest
创建帐号并设置其角色为管理员：mall mall
创建一个新的虚拟host为：/mall
点击mall用户进入用户配置页面
给mall用户配置该虚拟host的权限

2、可视化管理工具portainer

Portainer 是一款轻量级的应用，它提供了图形化界面，用于方便的管理Docker环境，包括单机环境和集群环境，下面我们将用Portainer来管理Docker容器中的应用。

官网地址：https://github.com/portainer/portainer
获取Docker镜像文件：

1	docker pull portainer/portainer

使用docker容器运行Portainer：

docker run -p 9000:9000 -p 8000:8000 --name portainer \
--restart=always \
-v /var/run/docker.sock:/var/run/docker.sock \
-v /carloz/data/portainer/data:/data \
-d portainer/portainer

开放端口

1
2
3

firewall-cmd --permanent --add-port=9000/tcp
firewall-cmd --permanent --add-port=8000/tcp
firewall-cmd --reload

修改客户端host

C:\Windows\System32\drivers\etc\
hosts
# 文件改为读写
192.168.145.137     czportainer.com
# 文件改为只读

查看Portainer的DashBoard信息：

http://czportainer.com:9000

admin/admin123

3、jenkins安装配置

使用gitee代替gitlab；

kubernetes集群（暂时不用）, 使用shell脚本拉取部署镜像

3.1、宿主机软件安装

jdk

1 2	[root@centos7cz tools]# whereis java java: /usr/bin/java /carloz/tools/jdk1.8.0_231/bin/java

maven

下载解压

cd /carloz/tools/
wget https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz
tar -zxf apache-maven-3.6.3-bin.tar.gz
mv apache-maven-3.6.3 maven-3.6.3
cd maven-3.6.3/
pwd
/carloz/tools/maven-3.6.3

配置环境变量

vi /etc/profile
MAVEN_HOME=/carloz/tools/maven-3.6.3
export PATH=${MAVEN_HOME}/bin:${PATH}

source /etc/profile

查看结果

mvn -v

替换阿里源

1	vi /carloz/tools/maven-3.6.3/conf/settings.xml

找到<mirrors></mirrors>标签对，添加一下代码：

<mirror>
     <id>alimaven</id>
     <name>aliyun maven</name>
     <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
     <mirrorOf>central</mirrorOf>
</mirror>

指定下载资源位置

1
2
3

mkdir -p /data/maven-repo
vi /carloz/tools/maven-3.6.3/conf/settings.xml
<localRepository>/data/maven-repo</localRepository>

指定jdk版本

vi /carloz/tools/maven-3.6.3/conf/settings.xml

<profile>
	 <id>jdk-1.8</id>
	 <activation>
		 <activeByDefault>true</activeByDefault>
		 <jdk>1.8</jdk>
	 </activation>
	 <properties>
		 <maven.compiler.source>1.8</maven.compiler.source>
		 <maven.compiler.target>1.8</maven.compiler.target>
		 <maven.compiler.compilerVersion>1.8</maven.compiler.compilerVersion>
	 </properties>
</profile>

git

[root@centos7cz ~]# yum install -y git
[root@centos7cz ~]# whereis git
git: /usr/bin/git /usr/share/man/man1/git.1.gz
[root@centos7cz ~]# git --version
git version 1.8.3.1
[root@centos7cz ~]#

3.2、安装jenkins

https://carlo-z.com/devops/jenkins/jenkins-centos7-setup/

3.3、jenkins做常规配置

点击系统管理->插件管理，进行一些自定义的插件安装：

角色管理权限插件

Role-based Authorization Strategy

ssh

安装ssh插件

配置公钥凭证

在系统管理->系统配置中添加全局ssh的配置，这样Jenkins使用ssh就可以执行远程的linux脚本了：

jdk

路径：系统管理 -> 全局工具配置 -> JDK

maven

通过系统管理->全局工具配置来进行全局工具的配置，比如maven的配置

git

安装插件：

Build With Parameters
Git Parameter

git可执行文件配置

gitee

在线安装

前往 Manage Jenkins -> Manage Plugins -> Available
右侧 Filter 输入： Gitee
下方可选列表中勾选 Gitee（如列表中不存在 Gitee，则点击 Check now 更新插件列表）
点击 Download now and install after restart

添加码云链接配置

前往 Jenkins -> Manage Jenkins -> Configure System -> Gitee Configuration -> Gitee connections
在 Connection name 中输入 Gitee 或者你想要的名字
Gitee host URL 中输入码云完整 URL地址： https://gitee.com （码云私有化客户输入部署的域名）
Credentials 中如还未配置码云 APIV5 私人令牌，点击Add- > Jenkins
1. Domain 选择 Global credentials
2. Kind 选择 Gitee API Token
3. Scope 选择你需要的范围
4. Gitee API Token 输入你的码云私人令牌，获取地址：https://gitee.com/profile/personal_access_tokens
5. ID, Descripiton 中输入你想要的 ID 和描述即可。
Credentials 选择配置好的 Gitee APIV5 Token
点击 Advanced ，可配置是否忽略 SSL 错误（适您的Jenkins环境是否支持），并可设置链接测超时时间（适您的网络环境而定）
点击 Test Connection 测试链接是否成功，如失败请检查以上 3，5，6 步骤。

配置成功后如图所示：

4、mall-swarm部署

4.1、在harbor中新建仓库

harbor安装：https://carlo-z.com/devops/docker/harbor-setup/

4.2、配置springboot部署参数

1、maven配置harbor登录密码

vi /carloz/tools/maven-3.6.3/conf/settings.xml
    <server>
        <id>docker-harbor</id>
        <username>admin</username>
        <password>123456</password>
        <configuration>
            <email>iceleader@126.com</email>
        </configuration>
    </server>

2、修改pom.xml

<properties>
    ...
	<docker.repostory>czharbor.com</docker.repostory>
	<docker.registry.name>mall</docker.registry.name>
</properties>
<build>
	<plugins>
		<plugin>
			<groupId>com.spotify</groupId>
			<artifactId>docker-maven-plugin</artifactId>
			<version>1.0.0</version>
			<configuration>
				<imageName>${docker.repostory}/${docker.registry.name}/${project.artifactId}:${project.version}</imageName>
				<!-- 指定Dockerfile所在的路径 -->
				<dockerDirectory>${project.basedir}/src/main/docker</dockerDirectory>
				<resources>
					<resource>
						<targetPath>/</targetPath>
						<directory>${project.build.directory}</directory>
						<include>${project.build.finalName}.jar</include>
					</resource>
				</resources>
				<serverId>docker-harbor</serverId>
				<registryUrl>${docker.repostory}</registryUrl>
				<pushImage>true</pushImage>
			</configuration>
		</plugin>
	</plugins>
</build>

4.3、执行脚本准备

首先我们先把需要远程执行的脚本准备好。

脚本文件都存放在了mall-swarm项目的/document/sh目录下

上传脚本前在IDEA中修改所有脚本文件的换行符格式为LF，否则脚本会无法执行；

将所有脚本文件上传到指定目录，这里我们上传到/malldata/sh目录下；

mkdir -p /malldata/sh

# 将所有脚本文件都修改为可执行文件:
chmod +x /malldata/sh/mall-*

4.4、Jenkins中创建任务

接下来我们将通过在Jenkins中创建任务来实现自动化部署。由于我们的mall-swarm是个多模块的项目，部署上面和曾经的单模块项目还是有所区别的

mall-registry

由于各个模块的执行任务的创建都大同小异，下面将详细讲解mall-admin模块任务的创建，其他模块将简略讲解。

首先我们选择构建一个自由风格的软件项目，然后输入任务名称为mall-admin，配置其Git仓库地址，这里我直接使用了Gitee上面的地址：

指定代码仓库

点击添加，创建gitee登录凭据

之后我们创建一个构建，构建mall-swarm项目中的依赖模块，否则当构建可运行的服务模块时会因为无法找到这些模块而构建失败；

1 2	# 只install mall-common,mall-mbg,mall-security三个模块 clean install -pl mall-common,mall-mbg,mall-security -am

依赖项目构建示意图：
再创建一个构建，单独构建并打包${WORKSPACE}/mall-registry/pom.xml：

添加一个构建来通过SSH去执行远程任务，用于执行mall-registry的运行脚本：

点击保存，完成mall-registry的执行任务创建

mall-admin

mall-admin和其他模块与mall-registry创建任务方式基本一致，只需修改构建模块时的pom.xml文件位置和执行脚本位置即可。

我们可以直接从mall-registry模块的任务复制一个过来创建：

修改第二个构建中的pom.xml文件位置，改为：${WORKSPACE}/mall-admin/pom.xml

修改第三个构建中的SSH执行脚本文件位置，改为：/malldata/sh/mall-registry.sh

点击保存，完成mall-admin的执行任务创建。
尝试构建 mall-admin 模块，如果构建成功，再创建其他模块的构建任务

其他模块

其他模块的执行任务创建，参考mall-registry和mall-admin的创建即可。

模块启动顺序问题

关于各个模块的启动顺序问题，mall-registry模块必须第一个启动，mall-config模块必须第二个启动，其他模块没有启动顺序限制。

推荐启动顺序：

mall-registry
mall-config
mall-monitor
mall-gateway
mall-admin
mall-portal
mall-search
mall-demo

docker start mall-registry
docker start mall-config
docker start mall-monitor
docker start mall-gateway
docker start mall-admin
docker start mall-portal
docker start mall-search
docker start mall-demo

4.5、使用jenkins编译

4.6、容器网络问题

docker network create -d bridge mall-network

docker network disconnect data_default mysql
docker network disconnect data_default redis
docker network disconnect data_default nginx
docker network disconnect data_default rabbitmq
docker network disconnect data_default elasticsearch
docker network disconnect data_default kibana
docker network disconnect data_default mongo

docker network inspect data_default


docker network disconnect bridge mall-registry
docker network disconnect bridge mall-config
docker network disconnect bridge mall-monitor
docker network disconnect bridge mall-gateway
docker network disconnect bridge mall-admin
docker network disconnect bridge mall-portal
docker network disconnect bridge mall-search
docker network disconnect bridge mall-demo

docker network inspect bridge

docker network connect mall-network mysql
docker network connect mall-network redis
docker network connect mall-network nginx
docker network connect mall-network rabbitmq
docker network connect mall-network elasticsearch
docker network connect mall-network kibana
docker network connect mall-network mongo
docker network connect mall-network mall-registry
docker network connect mall-network mall-config
docker network connect mall-network mall-monitor
docker network connect mall-network mall-gateway
docker network connect mall-network mall-admin
docker network connect mall-network mall-portal
docker network connect mall-network mall-search
docker network connect mall-network mall-demo


docker network ls
docker network inspect mall-network
docker inspect mysql | grep Network
docker inspect mall-registry | grep Network
docker inspect mall-admin | grep Network

5、mall-admin-web前端

http://www.macrozheng.com/#/deploy/mall_deploy_web

git clone https://gitee.com/carloz/mall-admin-web.git

$ npm config set registry http://registry.npm.taobao.org/
$ npm info underscore
$ rm -rf node_modules
$ npm install
$ npm run dev

http://localhost:8090/

1	$ npm run build

centos7下安装jenkins

发表于 2018-04-15 | 分类于 devops ， jenkins

文档：https://jenkins.io/zh/doc/pipeline/tour/getting-started/

重要经验：

版本一定要下载最新版，历史版本插件支持不完善，很难下载

使用主机安装可以在线升级，使用docker安装不能升级

安装jdk

注意：一定要oraclejdk，openjdk 有 ssl 问题，解决比较麻烦

# 下载
https://www.oracle.com/cn/java/technologies/javase-jdk8-downloads.html
# 解压

# 配置环境变量
vi /etc/profile
export JAVA_HOME=/carloz/tools/jdk1.8.0_231
export JAVA_BIN=$JAVA_HOME/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile
java -version

安装jenkins

重要经验：版本一定要下载最新版，历史版本插件支持不完善，很难下载

1
2
3

sudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat/jenkins.repo
sudo rpm --import https://pkg.jenkins.io/redhat/jenkins.io.key
yum install jenkins -y

配置jenkins

1
2
3

vim /etc/sysconfig/jenkins
JENKINS_PORT="9090"
JENKINS_USER="root"

修改目录权限

1
2
3

chown -R root:root /var/lib/jenkins
chown -R root:root /var/cache/jenkins
chown -R root:root /var/log/jenkins

启动

ln -s /carloz/tools/jdk1.8.0_231/bin/java /usr/bin/java
service jenkins start

cat /var/lib/jenkins/secrets/initialAdminPassword
b01d765d389a46d6a1f187b493fdb5b7

此安装向导会引导您完成几个快速“一次性”步骤来解锁Jenkins，使用插件对其进行自定义，并创建第一个可以继续访问Jenkins的管理员用户。

解锁 Jenkins

当您第一次访问新的Jenkins实例时，系统会要求您使用自动生成的密码对其进行解锁。

浏览到 http://192.168.145.137:9090/（或安装时为Jenkins配置的任何端口），并等待 解锁 Jenkins 页面出现

插件安装

修改源

http://192.168.145.137:9090/pluginManager/advanced
# 修改为：
http://mirror.serverion.com/jenkins/updates/update-center.json
https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json
http://mirror.esuni.jp/jenkins/updates/update-center.json
http://mirror.xmission.com/jenkins/updates/update-center.json

重新加载配置

1	http://192.168.145.137:9090/reload

安装推荐的插件

1	http://192.168.145.137:9090/

修改admin用户的密码为 admin

通过web操作jenkins

http://192.168.145.137:9090/restart
http://192.168.145.137:9090/reload
http://192.168.145.137:9090/exit

mongodb 核心设计和集群运维

发表于 2018-04-15 | 分类于 mongodb

引擎

索引

部署

复制

分片

19、MongoDB存储引擎

MongoDB从3.0开始引入可插拔存储引擎的概念。目前主要有MMAPv1、WiredTiger 存储引擎可供选择。3.2之前，MMAPv1是默认存储引擎，它采用linux的内存映射技术，但一直饱受诟病；3.4以上版本默认的存储引擎是 WiredTiger，相对于MMAPv1其具有如下优势：

读写性能更好，WiredTiger能更好的发挥多核系统的处理能力；
MMAPv1殷勤使用表级锁，WiredTiger使用文档级锁；
相比MMAPv1存储，索引时WiredTiger使用前缀压缩，更节省对内存的损耗；
提供压缩算法，可以大大降低对硬盘资源的消耗，节省60%以上的硬盘资源；

WiredTiger存储引擎

Concurrency 并发，文档级别
Snapshots and Checkpoints 快照和检查点
Journal 在检查点之间把操作以日志的方式写入journal，用来恢复检查点之间的数据
Compression 压缩算法，节约硬盘
Memory Use 使用内存

Journal

恢复检查点之间的数据，默认压缩算法snappy 最小的记录文件128B 如果内容小于128B不会采用压缩算法

压缩算法

消耗CPU资源进行计算，来减少存储空间的消耗

分块压缩 -> 压缩collection集合的数据 -> snappy压缩算法 -> 索引（前缀压缩）

设置collection压缩算法：storage.wiredTiger.collectionConfig.blockCompressor

设置index压缩算法：storage.wiredTiger.indexConfig.prefixCompression

设置可用内存大小：storage.wiredTiger.engineConfig.cacheSizeGB

MMAPv1存储引擎

Journal
- 每60s从journal写入磁盘一次
- storage.syncPeriodSecs 设置写Journal文件的时间间隔
- storage.journal.commitIntervalMs 设置写Journal文件的时间间隔
- 这些是理论值，实际可能更快更频繁的刷新数据
Record Storage
- MongoDB在磁盘中都是连续的存储，如果数据的修改使得空间变大或变小，就不得不移动数据，非常消耗资源
Memory Use

InMemory存储引擎

Concurrency
Memory Use

20、Journal工作原理

mongodb 开发

发表于 2018-04-14 | 分类于 mongodb

5、MongoDB数据类型

mongodb 入门

发表于 2018-04-13 | 分类于 mongodb

1、为什么要NoSQL

关系型数据库难以克服的问题

High performance 高并发读写
Huge Storge 海量数据的高效率存储于访问
High Scalability && High Availability 高可扩展性和高可用性

关系型数据库的约束

数据库事务一致性需求
数据库的写实时性和读实时性
对复杂的 sql查询，特别是多表关联查询的需求

Nosql的特点

优点

处理超大量的数据
运行在便宜的PC服务器集群上
打破性能瓶颈
操作简单
开源支持

缺点

不支持事务
表之间关联查询很难实现
运维的门槛比较高

2、MongoDB简介

介于关系型DB 和非关系型DB 之间的一个产品，是非关系型DB中功能最丰富的，最像关系型DB的。它支持的结果非常松散，类似 JSON 的 BSON格式，因此可以存储比较复杂的数据类型。它最大的特点是它支持的查询语言非常强大，其语法类似于面向对象语言的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。他是一个面向集合的、模式自由的文档型数据库；

特点

面向集合文档的存储；
模式自由（自动可以增减）；
强大的查询能力；
支持索引与查询计划；
支持索引与查询计划；
支持自动复制和自动故障转移；
支持二进制数据集大型对象（文件）的高效存储；

3、应用场景

经典应用案例：

游戏场景：存储用户信息、装备、积分等；
物流场景：订单信息，订单信息在运输过程中不断更新，以MongoDB内嵌数组的形式来存储，一次查询就能将订单的所有变更读取出来；
社交场景：使用MongoDB存储用户信息，以及用户发表的朋友圈信息，通过地理位置索引实现附近的人，地理位置索引等信息；
物联网场景：存储所有接入的只能设备信息，以及设备上传的日志信息，并对这些信息进行多维度分析
视频直播：存储用户信息、礼物信息等；

不适用的场景：

高度事务性系统（eg：财务系统）；
传统商业智能应用（eg：复杂的关联查询）；
使用SQL更方便的时候；

Flink 文档汇总

发表于 2018-04-05 | 分类于 flink

开发资料、企业实践：https://ververica.cn/developers-resources

redis 布隆过滤器

发表于 2018-04-03 | 分类于 redis

1、安装bloomfiler插件

2、用法

[root@dn1 ~]# redis-cli -a 123456
127.0.0.1:6379> bf.add cz zhang
127.0.0.1:6379> bf.add cz wang
127.0.0.1:6379> bf.add cz li

127.0.0.1:6379> bf.exists cz wang
127.0.0.1:6379> bf.mexists cz wang li

布隆过滤器下载安装

首先我们使用布隆过滤器那么我们需要下载布隆过滤器:

下载地址:https://github.com/RedisBloom/RedisBloom

注意:

需要选择和你redis版本适配的版本
下载之后解压即可

启动redis 时加载该模块:

1 2	# 启动redisserver 使用配置文件使用模型模型文件位置 redis-server redis.conf --loadmodule ../redisbloom.so

布隆过滤器全自动安装启动

#创建文件并编辑文件
vim redisbloom-install.sh
#添加内容
cd
cd /usr/local/redis1
wget https://github.com/RedisLabsModules/rebloom/archive/v1.1.1.tar.gz
cd /usr/local/redis1
tar zxvf v1.1.1.tar.gz
cd /usr/local/redis1/RedisBloom-1.1.1
make
cd
cd /usr/local/redis1
./redis-5.0.4/src/redis-server redis-5.0.4/redis.conf --loadmodule RedisBloom-1.1.1/rebloom.so
#保存文件变更为可执行文件即可
chmod +x  redisbloom-install.sh
#运行(已经包含启动redis的命令了他会自己启动没必要去管了)
./redisbloom-install.sh

什么是布隆过滤器

布隆过滤器可以理解为一个不怎么精确的 set 结构，当你使用它的 contains 方法判断某个对象是否存在时，它可能会误判。但是布隆过滤器也不是特别不精确，只要参数设置的合理，它的精确度可以控制的相对足够精确，只会有小小的误判概率

布隆过滤器的基本使用

布隆过滤器有二个基本指令，bf.add 添加元素，bf.exists 查询元素是否存在，如果想要一次添加多个，就需要用到 bf.madd 指令。同样如果需要一次查询多个元素是否存在，就需要用到 bf.mexists 指令。

布隆过滤器的进阶

上面的例子中使用的布隆过滤器只是默认参数的布隆过滤器，它在我们第一次使用bf.add 命令时自动创建的。Redis还提供了自定义参数的布隆过滤器，想要尽量减少布隆过滤器的误判，就要设置合理的参数。

在使用bf.add 命令添加元素之前，使用bf.reserve命令创建一个自定义的布隆过滤器。bf.reserve命令有三个参数，分别是：

key：键
error_rate：期望错误率，期望错误率越低，需要的空间就越大。
capacity：初始容量，当实际元素的数量超过这个初始化容量时，误判率上升。

如果对应的key已经存在时，在执行bf.reserve命令就会报错。如果不使用bf.reserve命令创建，而是使用Redis自动创建的布隆过滤器，默认的error_rate是 0.001，capacity是 100。

1	$ bf.reserve text 0.0001 1000000 #示例设置 text 精度 0.0001 空间 1000000

布隆过滤器的error_rate越小，需要的存储空间就越大，对于不需要过于精确的场景，error_rate设置稍大一点也可以。布隆过滤器的capacity设置的过大，会浪费存储空间，设置的过小，就会影响准确率，所以在使用之前一定要尽可能地精确估计好元素数量，还需要加上一定的冗余空间以避免实际元素可能会意外高出设置值很多。总之，error_rate和 capacity都需要设置一个合适的数值。

布隆过滤器的原理

Redis中布隆过滤器的数据结构就是一个很大的位数组和几个不一样的无偏哈希函数（能把元素的哈希值算得比较平均，能让元素被哈希到位数组中的位置比较随机）。如下图，A、B、C就是三个这样的哈希函数，分别对“yunxitext”和“云析学院”这两个元素进行哈希，位数组的对应位置则被设置为1：

向布隆过滤器中添加元素时，会使用多个无偏哈希函数对元素进行哈希，算出一个整数索引值，然后对位数组长度进行取模运算得到一个位置，每个无偏哈希函数都会得到一个不同的位置。再把位数组的这几个位置都设置为1，这就完成了bf.add命令的操作。

向布隆过滤器查询元素是否存在时，和添加元素一样，也会把哈希的几个位置算出来，然后看看位数组中对应的几个位置是否都为1，只要有一个位为0，那么就说明布隆过滤器里不存在这个元素。如果这几个位置都为1，并不能完全说明这个元素就一定存在其中，有可能这些位置为1是因为其他元素的存在，这就是布隆过滤器会出现误判的原因。

布隆过滤器的应用

解决缓存击穿的问题

一般情况下，先查询缓存是否有该条数据，缓存中没有时，再查询数据库。当数据库也不存在该条数据时，每次查询都要访问数据库，这就是缓存击穿。缓存击穿带来的问题是，当有大量请求查询数据库不存在的数据时，就会给数据库带来压力，甚至会拖垮数据库。

可以使用布隆过滤器解决缓存击穿的问题，把已存在数据的key存在布隆过滤器中。当有新的请求时，先到布隆过滤器中查询是否存在，如果不存在该条数据直接返回；如果存在该条数据再查询缓存查询数据库。

黑名单校验

发现存在黑名单中的，就执行特定操作。比如：识别垃圾邮件，只要是邮箱在黑名单中的邮件，就识别为垃圾邮件。假设黑名单的数量是数以亿计的，存放起来就是非常耗费存储空间的，布隆过滤器则是一个较好的解决方案。把所有黑名单都放在布隆过滤器中，再收到邮件时，判断邮件地址是否在布隆过滤器中即可。

未命名

发表于 2018-04-03 | 分类于 redis

redis配置解读

优化方向

文件编码方式

持久化方式