所有文章

我们来说恢复的第二种情况，就是需要从binlog中指定位置恢复 binlog如何设置不说了，我们假设上次用mysqldump做过一次全量备份。 mysqldump -uroot -p -h 192.168.1.35 -P3306 --opt --triggers -R --hex-blob --single-transaction --flush-logs --master-data=2 -B 库名 > 库名.sql 由于我们在备份中使用了参数–flush-logs –master-data=2，所以 库名.sql 中会有binglog的信息供我们使用。 一、用mysqlbinlog来恢复 我们首先要查到随后的binlog文件是那个，从那时候起又生成多少个binglog文件。 然后去库里查询： show master logs; show master status; 我们要分析一下SQL # show binlog events [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count]; show binlog events in 'javaboy_logbin.000002' limit 5,10; 我们来翻看日志： 可以看到是从 764–>865 ，发生了删除，那么回放到这个764这个position前即可，764不会执行 mysqlbinlog /var/lib/mysql/mysql-bin.000204 --stop-position=764 --database=bbb | mysql -uroot -p –start-position指定从哪里开始恢复，如果不指定，就会从binlog文件开头的position开始 mysqlbinlog /var/lib/mysql/mysql-bin.000204 --start-position=205 --stop-position=764 --database=bbb | mysql -uroot -p 二、用binglog2sql来恢复 binlog2sql 是大众点评公司的DBA 开发的一款基于通过解析binlog将delete 恢复为insert,update 的值 set 字段和where条件做对调的原理来恢复数据的。 使用限制 MySQL的binlog format 必须是row 安装 ...

喜大普奔，干了一个月的MySQL DBA的工作，又学到了一部分知识。 记录一下，以备不时只需 mysqldump 的备份其实很麻烦，要考虑很多因素 备份时候不能锁表 恢复的时候要快 有二进制数据的话需要备份二进制数据 有触发器、存储过程的都备份 通常 mysqldump 是做每天的fullbackup，要为之后的 binlog 做好准备，万一要恢复要提前做好准备 我们一点一点来说： 一、备份时不能锁表 --single-transaction 通过将导出操作封装在一个事务内来使得导出的数据是一个一致性快照 该选项在导出数据之前提交一个BEGIN SQL语句，BEGIN不会阻塞任何应用程序且能保证导出时数据库的一致性状态。 它只适用于InnoDB存储引擎。 本选项和--lock-tables选项是互斥的，因为LOCK TABLES会使任何挂起的事务隐含提交。 二、恢复时要尽量快 --opt 等同于--add-drop-table, --add-locks, --create-options, --quick, --extended-insert, --lock-tables, --set-charset, --disable-keys 该选项默认开启, 可以用--skip-opt禁用. --extended-insert, -e --extended-insert=false 使用具有多个VALUES列的INSERT语法。这样使导出文件更小，并加速导入时的速度。 默认为打开状态，使用--skip-extended-insert取消选项。 三、有二进制的按二进制备份 --hex-blob 使用十六进制格式导出二进制字符串字段。如果有二进制数据就必须使用该选项。影响到的字段类型有BINARY、VARBINARY、BLOB。 四、有触发器、存储过程的都备份 --triggers 导出触发器。该选项默认启用，用--skip-triggers禁用它。 --routines, -R 导出存储过程以及自定义函数 五、为之后如果要做binlog恢复提前做好准备 --flush-logs 开始导出之前刷新binlog日志。 请注意：假如一次导出多个数据库(使用选项--databases或者--all-databases)，将会逐个数据库刷新日志。 除非使用--lock-all-tables或者--master-data外。在这种情况下，日志将会被刷新一次，相应的所以表同时被锁定。 因此，如果打算同时导出和刷新日志应该使用--lock-all-tables 或者--master-data 和--flush-logs --master-data 在导出的时候同时生成binlog文件名和位置在导出的文件开头。 这个非常重要。binlog 的文件和位置可以从这里拿到。 例如： -- CHANGE MASTER TO MASTER_LOG_FILE='binlog.000001', MASTER_LOG_POS=157; 该选项将binlog的位置和文件名追加到输出文件中。 如果为1，将会输出CHANGE MASTER 命令； 如果为2，输出的CHANGE MASTER命令前添加注释信息。 该选项将打开--lock-all-tables 选项，除非--single-transaction也被指定（在这种情况下，全局读锁在开始导出时获得很短的时间；其他内容参考下面的--single-transaction选项）。 该选项自动关闭--lock-tables选项。 mysqldump -uroot -p --host=localhost --all-databases --master-data=1; mysqldump -uroot -p --host=localhost --all-databases --master-data=2; 那么综上所述，总结一行非常使用的备份语句： ...

公司用的 OpenVPN ，研发部门和普通员工的权限不一样，技术部门需要访问服务器，普通员工则不需要 这样的话就需要根据用户定制路由了，技术部门推送特定的路由，普通员工不推送。 那么做法如下，在 server.conf 做如下设定： ifconfig-pool-persist /etc/openvpn/conf/ipp.txt client-config-dir /etc/openvpn/conf/static 第一行是指定记录 ip 地址的文件，作用是如果服务器进程重启了，重启后会读取这个文件，客户端重新拨号后获得的 IP 就不会变，还是重启前的 IP。 第二行是指定了客户端的单独配置 我们假设一个用户是 zhangranrui，那么就去 /etc/openvpn/conf/static 下建立一个 zhangranrui 的文本文件，内容如下： # 前面是客户端固定IP地址，后面是网关地址 ifconfig-push 172.18.0.10 172.18.0.9 # 推送路由，后面是掩码 push "route 10.10.0.0 255.255.0.0" # 重定向客户端的所有流量，否则访问服务端内网要像上面一样推送路由 # push "redirect-gateway def1" # 推送给客户端的DNS解析地址 # push "dhcp-option DNS 223.5.5.5" # push "dhcp-option DNS 114.114.114.114" 上面我们固定了IP，也推送了特定路由，那么怎么知道一个客户的 ip 呢，去看 ipp 文件： cat /etc/openvpn/conf/ipp.txt zhangranrui,172.18.0.8 注意，上面文件里的 172.18.0.8 不是 ip ，是 网段 地址 172.18.0.9 是网关地址，172.18.0.10才是真正的 IP 地址，所以不要搞错了 ...

面试 infosys 的时候是一个印度老哥做考官，他问我的问题我是一句都听不懂的，确实是听不懂。 然后他把问题在 webex 中打出来我回答的。 其中有一个问题是：如何用CLI查出系统中内存占用最高的5个进程 ps aux --sort=-%mem | head -n 5 上面一句如何用英语表达出来呢，不好说啊 所以记录一下，以备将来不时之需 ． period 句号 ， comma 逗号 ： colon 冒号 ； semicolon 分号 ！ exclamation 惊叹号 ？ question 问号 - hyphen 连字符 * asterisk 星号 ' apostrophe 所有格符号，单词内部的省略 — dash 破折号 _ underscore ‘ ’ single quotation marks 单引号 “ ” double quotation marks 双引号 ( ) round brackets 圆括号 [ ] square brackets 方括号 <> Angle brackets 尖括号 {} curly brackets or braces 大括号 《 》French quotes 法文引号；书名号 ... ellipsis 省略号 ¨ tandem colon 双点号 " ditto 同上 ‖ parallel 双线号 ／ slash 斜线号 ＆ ampersand = and ～ tilde 波浪号 § section; division 分节号 → arrow 箭号；参见号 | vertical bar 竖线 backslash 反斜线 % percent 百分号

现在也开始搞起桌面运维了，其实还感觉蛮有意思的。 公司的主路由器是锐捷的NBR6205-E，作为IPSec的服务端，而阿里云作为客户端。 首先先普及一下IPSec的知识，IPSec目前只支持IPv4单播： 密钥安全有 IKE 负责；数据安全方面，有 IPSec 负责。 但是IKE也是 IPSec 的 一 部分，不能独立存在。存在两个SA分别为 ISAKMP Security Association（IKE SA） IPsec Security Association（IPsec SA） 在这里注意一点就是IKE SA=ISAKMP SA IKE SA的 lifetime 默认为 86400 秒，即一天，默认没有volume limit。 用户的数据流量真正是在 IPsec SA 上传递的，而不是在IKE SA； IPsec SA直接为用户数据流服务，IPsec SA中的所有安全策略都是为了用户数据流的安全。 IPsec SA的 lifetime 默认为3600 秒，即1小时；默认volume limit为4608000 Kbytes，即4.608 Gbyte。 因为SA有两个，分为IKE SA和IPsec SA，两个SA分别定义了如何保护密钥以及如何保护数据，其实这两个SA都是由IKE建立起来的，所以将IKE的整个运行过程分成了两个Phase（阶段），即 ： IKE Phase Two IKE Phase One 一、IKE Phase One第一阶段 IKE Phase One的主要工作就是建立IKE SA（ISAKMP SA），IKE SA的服务对象并不是用户数据，而是密钥流量，以及为IPsec SA服务的；IKE SA的协商阶段被称为main mode（主模式）还有 aggressive 野蛮模式，IKE也是需要保护自己的流量安全的（这些流量并非用户流量），所以IKE SA之间也需要协商出一整套安全策略，否则后续的密钥和IPsec SA的建立就不能得到安全保证； ...

这是个很奇怪的事情，应聘了一家搞 CDN 的公司，结果上去看了一下根本不对路。就立刻辞了，但是发现它给员工开的 L2TP VPN 确实非常好用。 于是就自己也搭一个，方便自用。下面记录一下安装过程，环境是CentOS 7 一、装L2TP # yum install epel-release # yum install xl2tpd libreswan 二、修改核心参数 # vi /etc/sysctl.conf vm.swappiness = 0 net.ipv4.neigh.default.gc_stale_time=120 net.ipv4.conf.all.rp_filter=0 net.ipv4.conf.default.rp_filter=0 net.ipv4.conf.default.arp_announce = 2 net.ipv4.conf.all.arp_announce=2 net.ipv4.tcp_max_tw_buckets = 5000 net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_max_syn_backlog = 1024 net.ipv4.tcp_synack_retries = 2 net.ipv4.conf.lo.arp_announce=2 net.ipv4.ip_forward = 1 net.ipv4.conf.default.accept_redirects = 0 net.ipv4.conf.default.send_redirects = 0 net.ipv4.conf.default.accept_source_route = 0 # sysctl -p 三、配置 IPSEC # vi /etc/ipsec.d/l2tp_psk.conf conn L2TP-PSK-NAT rightsubnet=vhost:%priv also=L2TP-PSK-noNAT conn L2TP-PSK-noNAT authby=secret pfs=no auto=add keyingtries=3 dpddelay=30 dpdtimeout=120 dpdaction=clear rekey=no ikelifetime=8h keylife=1h type=transport left=192.168.10.232 leftprotoport=17/1701 right=%any rightprotoport=17/%any 注意上面的 left=192.168.10.232，这是服务器的ip地址，要更换为自己服务器的地址（如果在防火墙后，写内网地址，非映射后的公网IP） ...

生产环境要用到kafka，记录一下安装过程，其实最重要的不是安装，而是使用。 时间节点是2022年7月10日，zookeeper的版本是3.4.14： wget https://mirrors.cnnic.cn/apache/zookeeper/stable/zookeeper-3.4.14.tar.gz kafka的版本是3.2，注意前面的2.13是scala的版本 wget http://archive.apache.org/dist/kafka/3.2.0/kafka_2.13-3.2.0.tgz 软件都下载好以后，找三台服务器，软件都放到 /usr/local 路径下： 服务器的ip是： 172.18.31.50 172.18.31.51 172.18.31.52 移动软件： tar zxvf zookeeper-3.4.14.tar.gz mv apache-zookeeper-3.6.3-bin /usr/local tar zxvf kafka_2.13-3.2.0.tgz mv kafka_2.13-3.2.0 /usr/local 然后得装 java 了，centos 版本 yum -y install epel-release yum -y install java-11-openjdk-devel 首先去编辑zookeeper的配置文件，然后启动 cp /usr/local/apache-zookeeper-3.6.3-bin/conf/zoo_sample.cfg /usr/local/apache-zookeeper-3.6.3-bin/conf/zoo.cfg 编辑zoo.cfg，增加几行 dataDir=/data/zookeeper metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider metricsProvider.httpPort=7000 metricsProvider.exportJvmInfo=true server.0=172.18.31.50:20881:30881 server.1=172.18.31.51:20881:30881 server.2=172.18.31.52:20881:30881 注意上面，我们的数据目录是在/data/zookeeper，所以要先建立好目录结构 然后有三台服务器么，把各自的id放到文件中，然后20881是三台服务器之间的通讯端口，30881是选举端口 mkdir /data/zookeeper -p echo 0 >/data/zookeeper/myid 三台服务器分别启动 /usr/local/apache-zookeeper-3.6.3-bin/bin/zkServer.sh start 验证一下 /usr/local/apache-zookeeper-3.6.3-bin/bin/zkCli.sh [zk: localhost:2181(CONNECTED) 1] ls / [admin, brokers, cluster, config, consumers, controller, controller_epoch, feature, isr_change_notification, latest_producer_id_block, log_dir_event_notification, zookeeper] 看看 / 下有东西就行了，上面是已经装好了 kafka 和 cruisecontrol的情形，东西就比较多了 ...

其实本身自己是比较喜欢 javascripts 的，但是 Python 也是必须掌握的一项技能。 干 devops ansible 跟 python 也脱不了干系，所以准备用 django 开发一个自动上线的系统。 先准备一下 Python 以及 Django 的环境好了。 一、准备 Python 秘籍，不要用什么 venv 之类的东西，污染环境。直接下载源代码编译安装，然后把 py 封到自己的密闭是王道，最后引用一下 $PATH ，想用哪个就用哪个。 注意以下的步骤，先装 gcc 的编译环境，然后装 openssl 的高版本，并且配置好 ldconfig，否则 py 的 ssl 会报错。 最后下载 python 3.8.15 编译安装，生产环境，最好采用最新版本往后错两个版本。 编译安装到 /export/servers/python3目录 yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-devel wget https://www.openssl.org/source/openssl-1.1.1q.tar.gz ./config --prefix=/export/servers/openssl vi /etc/ld.so.conf /export/servers/openssl/lib ldconfig -v wget https://www.python.org/ftp/python/3.8.15/Python-3.8.15.tgz ./configure --prefix=/export/servers/python3 --with-openssl=/export/servers/openssl --with-ssl-default-suites=openssl 最后一步： ...

Gitlab 和 Jenkins 一样，都是很流行的 CI/CD 工具，当然，本站之前推过国人自产的东西 onedev，那个也相当不错，但是用的人毕竟还是少，这回还是用大家都耳熟能详的东西。 本篇就是 Giblab 在生产环境打包发布的一个全流程。 解释一下上图： 首先有两套Git，一套是程序员的Code仓库，另一套是运维的操作代码，里面是一些yaml啊，一些ansible脚本啊 然后流程就是先取出程序员的Code，build出来jar，然后打成镜像推到仓库，然后再取出运维的代码，进行合并，生成k8s的yaml文件，最后推到 kubernetes 中去，这样整个 GitOPS 的流程就完备了 在 gitlab 中非常简单，就是编辑 .gitlab-ci.yaml 文件 image: docker:19.03.12 variables: DOCKER_DRIVER: overlay2 DOCKER_TLS_CERTDIR: "" MAVEN_OPTS: "-Dmaven.repo.local=.m2/repository" TIMEZONE: "Asia/Shanghai" http_proxy: "" https_proxy: "" no_proxy: "" cache: paths: - .m2/repository/ - target/ stages: - build - push - deploy Build: stage: build image: maven:3.5-jdk-8-alpine before_script: - export COMMIT_TIME=$(TZ=CST-8 date +%F-%H-%M) - echo $COMMIT_TIME - echo "COMMIT_TIME=$COMMIT_TIME" >> build.env script: - ./mvnw package artifacts: reports: dotenv: build.env tags: - yunwei Push: stage: push before_script: - docker info || true - echo "$HARBOR_REGISTRY $HARBOR_USERNAME $HARBOR_PASSWORD" - echo "echo Dingfangwen | docker login 172.18.31.28 -u dingfangwen --password-stdin" - echo -n $HARBOR_PASSWORD | docker login $HARBOR_REGISTRY -u $HARBOR_USERNAME --password-stdin script: - docker pull $HARBOR_REGISTRY_IMAGE:latest || true - > docker build --cache-from $HARBOR_REGISTRY_IMAGE:latest --build-arg http_proxy=$http_proxy --build-arg https_proxy=$https_proxy --build-arg no_proxy=$no_proxy --cache-from HARBOR_REGISTRY_IMAGE:latest --tag $HARBOR_REGISTRY_IMAGE:$COMMIT_TIME --tag $HARBOR_REGISTRY_IMAGE:latest . - docker push $HARBOR_REGISTRY_IMAGE:$COMMIT_TIME - docker push $HARBOR_REGISTRY_IMAGE:latest - docker logout $HARBOR_REGISTRY dependencies: - Build tags: - yunwei Deploy: stage: deploy cache: {} image: cnych/kustomize:v1.0 script: - echo $COMMIT_TIME - git config --global user.email "gitlab@git.k8s.local" - git config --global user.name "GitLab CI/CD" - git clone git://172.18.31.50:30000/test-k8s.git - cd test-k8s/prod - kustomize edit set image $HARBOR_REGISTRY_IMAGE:$COMMIT_TIME - cat kustomization.yaml - git commit -am 'PROD image update' - git push origin master dependencies: - Build tags: - yunwei only: - master when: manual 先不着急看这个文件，再普及一下 gitlab 的运行机制，它是通过 gitlab-runner 来执行cd的过程的。配置gitlab runner其实也是一项非常复杂的工作，里面可以配的东西太多了，不是本篇的范畴。我们这里简单来说，runner就是一个Docker容器。更准确的说，就是Docker in Docker。 ...

sed 和 awk 以及 cut 算是常用工具了，sed的高级用法也需要知道一下 sed 里面有2个空间，一个是pattern space，一个是hold space，默认都是空的 开始处理的时候，就从文件里一行一行读入 pattern space ，进行处理，hold space 只在你需要用到它的时候才会出现： d ： 清空pattern space中的内容，立即开始下个循环(意思是跳过默认的输出pattern space内容的阶段？？？不知理解的对不对) h ： 用pattern space中的内容替换hold pattern中的内容 H ： 在hold space中的内容后面追加一个换行，把pattern space中的内容追加到hold space中 g ： 用hold space中的内容替换pattern space中的内容 G ： 在pattern space中的内容后面追加一个换行，把hold space中的内容追加到pattern space中 h, g会替换（可以理解为先清空，再复制）, H, G是追加。 hH是放过去，gG是拿过来，小写是替换，大写是追加 分析一下经典的将文件内容反向打印 cat 1.txt 1 2 3 cat 1.txt | sed -n '1!G;h;$p' 3 2 1 ‘1!G;h;$p’ 分析一下，1!G就是说第一行不执行G，从第二行开始执行G；然后h是每行都执行，最后一行的时候执行p input | pattern | hold | command | pattern | hold | command | pattern | hold 1 | 1 | 空行 | | 1 | 空行 | h | 1 | 1 2 | 2 | 1 | G | 21 | 1 | h | 21 | 21 3 | 3 | 21 | G | 321 | 21 | h | 321 | 321 ...