Freelancer之aws

客户发了一个需求如下: 用shell 或者python3 控制aws去获取新IP、绑定IP到实例 这个就非常简单了,因为本身aws就提供python的工具,一切都可以api化的 做法如下: #安装aws的工具 cd /tmp curl -kL "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip" unzip awscliv2.zip sudo ./aws/install aws --version #配置aws key aws configure #查看配置 aws configure list ---------------------------- #申请一个新IP并且打tag aws ec2 allocate-address --region $Region |tee /tmp/eip.log eip_id=$(jq -r ".AllocationId" /tmp/eip.log) aws ec2 create-tags --resources ${eip_id} --tags Key=Name,Value=eip-01 eip=$(jq -r ".PublicIp" /tmp/eip.log) #给ec2赋ip,前提是知道ec2_id aws ec2 associate-address --instance-id ${ec2_id} --allocation-id ${eip_id} ---------------------------- #启动新ec2的方法: #启动ec2 aws ec2 run-instances \ --region $Region --count 1 \ --instance-type t2.micro \ --subnet-id ${lan_a_public_id} \ --security-group-ids $gid \ --key-name MySshKey \ --image-id ami-04ff9e9b51c1f62ca \ |tee /tmp/ec2.log ec2_id=$(jq -r ".Instances[0].InstanceId" /tmp/ec2.log) 参考: https://www.cnblogs.com/elvi/p/16542406.html

2022年11月23日 · 1 分钟 · 95 字 · 八戒

Freelancer之QRCode

客户发了一个需求如下: TODO: 在sortFiles中,获取最新的域名,生成二维码,覆盖QRCodePath图片 TODO:将QRCodePath图片上传到阿里云0S根目录,重复则覆盖 又具体询问了一下细节,是一个 csharp 的程序 var sortFiles = Directory.GetFiles(zipPath, "*.zip").Select(fn => new FileInfo(fn)).OrderBy(f => f.LastAccessTime); // TODO: 在sortFiles中,获取最新的域名(文件名去掉.zip就是域名),结合logoUrl生成二维码,覆盖QRCodePath图片 // TODO: 将QRCodePath图片上传到阿里云OOS根目录,重复则覆盖, 看了一下,觉得思路如下,这是个管道流,无论徒手写代码生成QRCODE(还有个logo图需要放到二维码中央),还是集成OSS的SDK都麻烦 最快速方法是直接调用外部成程序做这两步,第一步用Go写个程序生成二维码,第二步用阿里的ossutil64工具上传 一、Go程序Gen出QRCode go 有很多库,我们直接拿来用好了,但是基本上都是老代码,所以需要下载 go1.13.15 来用 # 下载go 1.13.15,解压到E:\go,并建立一个E:\go\go-work目录,下载的模块会放到这里 https://dl.google.com/go/go1.13.15.windows-amd64.zip # 设置三个变量 GOROOT=E:\go GOPATH=E:\go\go-work PATH中增加好E:\go\bin的目录 # 设置一下代理,有时候模块拉不下来 go env -w GOPROXY=https://goproxy.cn,direct 然后就准备gen qrcode的程序,main.go package main import ( "flag" "image" "image/draw" "image/jpeg" _ "image/png" "os" "path/filepath" "github.com/LyricTian/logger" "github.com/nfnt/resize" "github.com/skip2/go-qrcode" ) var ( text string logo string percent int size int out string ) func init() { flag.StringVar(&text, "t", "", "二维码内容") flag.StringVar(&logo, "l", "", "二维码Logo(png)") flag.IntVar(&percent, "p", 15, "二维码Logo的显示比例(默认15%)") flag.IntVar(&size, "s", 256, "二维码的大小(默认256)") flag.StringVar(&out, "o", "", "输出文件") } func main() { flag.Parse() if text == "" { logger.Fatalf("请指定二维码的生成内容") } if out == "" { logger.Fatalf("请指定输出文件") } if exists, err := checkFile(out); err != nil { logger.Fatalf("检查输出文件发生错误:%s", err.Error()) } else if exists { logger.Fatalf("输出文件已经存在,请重新指定") } code, err := qrcode.New(text, qrcode.Highest) if err != nil { logger.Fatalf("创建二维码发生错误:%s", err.Error()) } srcImage := code.Image(size) if logo != "" { logoSize := float64(size) * float64(percent) / 100 srcImage, err = addLogo(srcImage, logo, int(logoSize)) if err != nil { logger.Fatalf("增加Logo发生错误:%s", err.Error()) } } outAbs, err := filepath.Abs(out) if err != nil { logger.Fatalf("获取输出文件绝对路径发生错误:%s", err.Error()) } os.MkdirAll(filepath.Dir(outAbs), 0777) outFile, err := os.Create(outAbs) if err != nil { logger.Fatalf("创建输出文件发生错误:%s", err.Error()) } defer outFile.Close() jpeg.Encode(outFile, srcImage, &jpeg.Options{Quality: 100}) logger.Infof("二维码生成成功,文件路径:%s", outAbs) } func checkFile(name string) (bool, error) { _, err := os.Stat(name) if err != nil { if os.IsNotExist(err) { return false, nil } return false, err } return true, nil } func resizeLogo(logo string, size uint) (image.Image, error) { file, err := os.Open(logo) if err != nil { return nil, err } defer file.Close() img, _, err := image.Decode(file) if err != nil { return nil, err } img = resize.Resize(size, size, img, resize.Lanczos3) return img, nil } func addLogo(srcImage image.Image, logo string, size int) (image.Image, error) { logoImage, err := resizeLogo(logo, uint(size)) if err != nil { return nil, err } offset := image.Pt((srcImage.Bounds().Dx()-logoImage.Bounds().Dx())/2, (srcImage.Bounds().Dy()-logoImage.Bounds().Dy())/2) b := srcImage.Bounds() m := image.NewNRGBA(b) draw.Draw(m, b, srcImage, image.ZP, draw.Src) draw.Draw(m, logoImage.Bounds().Add(offset), logoImage, image.ZP, draw.Over) return m, nil } 上面很简单,用到了别人的三个模块,需要安装一下 ...

2022年11月23日 · 3 分钟 · 567 字 · 八戒

MySQL数据库的备份和恢复之二

我们来说恢复的第二种情况,就是需要从binlog中指定位置恢复 binlog如何设置不说了,我们假设上次用mysqldump做过一次全量备份。 mysqldump -uroot -p -h 192.168.1.35 -P3306 --opt --triggers -R --hex-blob --single-transaction --flush-logs --master-data=2 -B 库名 > 库名.sql 由于我们在备份中使用了参数–flush-logs –master-data=2,所以 库名.sql 中会有binglog的信息供我们使用。 一、用mysqlbinlog来恢复 我们首先要查到随后的binlog文件是那个,从那时候起又生成多少个binglog文件。 然后去库里查询: show master logs; show master status; 我们要分析一下SQL # show binlog events [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count]; show binlog events in 'javaboy_logbin.000002' limit 5,10; 我们来翻看日志: 可以看到是从 764–>865 ,发生了删除,那么回放到这个764这个position前即可,764不会执行 mysqlbinlog /var/lib/mysql/mysql-bin.000204 --stop-position=764 --database=bbb | mysql -uroot -p –start-position指定从哪里开始恢复,如果不指定,就会从binlog文件开头的position开始 mysqlbinlog /var/lib/mysql/mysql-bin.000204 --start-position=205 --stop-position=764 --database=bbb | mysql -uroot -p 二、用binglog2sql来恢复 binlog2sql 是大众点评公司的DBA 开发的一款基于通过解析binlog将delete 恢复为insert,update 的值 set 字段和where条件做对调的原理来恢复数据的。 使用限制 MySQL的binlog format 必须是row 安装 ...

2022年11月22日 · 1 分钟 · 113 字 · 八戒

MySQL数据库的备份和恢复之一

喜大普奔,干了一个月的MySQL DBA的工作,又学到了一部分知识。 记录一下,以备不时只需 mysqldump 的备份其实很麻烦,要考虑很多因素 备份时候不能锁表 恢复的时候要快 有二进制数据的话需要备份二进制数据 有触发器、存储过程的都备份 通常 mysqldump 是做每天的fullbackup,要为之后的 binlog 做好准备,万一要恢复要提前做好准备 我们一点一点来说: 一、备份时不能锁表 --single-transaction 通过将导出操作封装在一个事务内来使得导出的数据是一个一致性快照 该选项在导出数据之前提交一个BEGIN SQL语句,BEGIN不会阻塞任何应用程序且能保证导出时数据库的一致性状态。 它只适用于InnoDB存储引擎。 本选项和--lock-tables选项是互斥的,因为LOCK TABLES会使任何挂起的事务隐含提交。 二、恢复时要尽量快 --opt 等同于--add-drop-table, --add-locks, --create-options, --quick, --extended-insert, --lock-tables, --set-charset, --disable-keys 该选项默认开启, 可以用--skip-opt禁用. --extended-insert, -e --extended-insert=false 使用具有多个VALUES列的INSERT语法。这样使导出文件更小,并加速导入时的速度。 默认为打开状态,使用--skip-extended-insert取消选项。 三、有二进制的按二进制备份 --hex-blob 使用十六进制格式导出二进制字符串字段。如果有二进制数据就必须使用该选项。影响到的字段类型有BINARY、VARBINARY、BLOB。 四、有触发器、存储过程的都备份 --triggers 导出触发器。该选项默认启用,用--skip-triggers禁用它。 --routines, -R 导出存储过程以及自定义函数 五、为之后如果要做binlog恢复提前做好准备 --flush-logs 开始导出之前刷新binlog日志。 请注意:假如一次导出多个数据库(使用选项--databases或者--all-databases),将会逐个数据库刷新日志。 除非使用--lock-all-tables或者--master-data外。在这种情况下,日志将会被刷新一次,相应的所以表同时被锁定。 因此,如果打算同时导出和刷新日志应该使用--lock-all-tables 或者--master-data 和--flush-logs --master-data 在导出的时候同时生成binlog文件名和位置在导出的文件开头。 这个非常重要。binlog 的文件和位置可以从这里拿到。 例如: -- CHANGE MASTER TO MASTER_LOG_FILE='binlog.000001', MASTER_LOG_POS=157; 该选项将binlog的位置和文件名追加到输出文件中。 如果为1,将会输出CHANGE MASTER 命令; 如果为2,输出的CHANGE MASTER命令前添加注释信息。 该选项将打开--lock-all-tables 选项,除非--single-transaction也被指定(在这种情况下,全局读锁在开始导出时获得很短的时间;其他内容参考下面的--single-transaction选项)。 该选项自动关闭--lock-tables选项。 mysqldump -uroot -p --host=localhost --all-databases --master-data=1; mysqldump -uroot -p --host=localhost --all-databases --master-data=2; 那么综上所述,总结一行非常使用的备份语句: ...

2022年11月21日 · 1 分钟 · 107 字 · 八戒

OpenVPN客户端定制IP和路由

公司用的 OpenVPN ,研发部门和普通员工的权限不一样,技术部门需要访问服务器,普通员工则不需要 这样的话就需要根据用户定制路由了,技术部门推送特定的路由,普通员工不推送。 那么做法如下,在 server.conf 做如下设定: ifconfig-pool-persist /etc/openvpn/conf/ipp.txt client-config-dir /etc/openvpn/conf/static 第一行是指定记录 ip 地址的文件,作用是如果服务器进程重启了,重启后会读取这个文件,客户端重新拨号后获得的 IP 就不会变,还是重启前的 IP。 第二行是指定了客户端的单独配置 我们假设一个用户是 zhangranrui,那么就去 /etc/openvpn/conf/static 下建立一个 zhangranrui 的文本文件,内容如下: # 前面是客户端固定IP地址,后面是网关地址 ifconfig-push 172.18.0.10 172.18.0.9 # 推送路由,后面是掩码 push "route 10.10.0.0 255.255.0.0" # 重定向客户端的所有流量,否则访问服务端内网要像上面一样推送路由 # push "redirect-gateway def1" # 推送给客户端的DNS解析地址 # push "dhcp-option DNS 223.5.5.5" # push "dhcp-option DNS 114.114.114.114" 上面我们固定了IP,也推送了特定路由,那么怎么知道一个客户的 ip 呢,去看 ipp 文件: cat /etc/openvpn/conf/ipp.txt zhangranrui,172.18.0.8 注意,上面文件里的 172.18.0.8 不是 ip ,是 网段 地址 172.18.0.9 是网关地址,172.18.0.10才是真正的 IP 地址,所以不要搞错了 ...

2022年11月19日 · 1 分钟 · 73 字 · 八戒

英语的符号表达

面试 infosys 的时候是一个印度老哥做考官,他问我的问题我是一句都听不懂的,确实是听不懂。 然后他把问题在 webex 中打出来我回答的。 其中有一个问题是:如何用CLI查出系统中内存占用最高的5个进程 ps aux --sort=-%mem | head -n 5 上面一句如何用英语表达出来呢,不好说啊 所以记录一下,以备将来不时之需 . period 句号 , comma 逗号 : colon 冒号 ; semicolon 分号 ! exclamation 惊叹号 ? question 问号 - hyphen 连字符 * asterisk 星号 ' apostrophe 所有格符号,单词内部的省略 — dash 破折号 _ underscore ‘ ’ single quotation marks 单引号 “ ” double quotation marks 双引号 ( ) round brackets 圆括号 [ ] square brackets 方括号 <> Angle brackets 尖括号 {} curly brackets or braces 大括号 《 》French quotes 法文引号;书名号 ... ellipsis 省略号 ¨ tandem colon 双点号 " ditto 同上 ‖ parallel 双线号 / slash 斜线号 & ampersand = and ~ tilde 波浪号 § section; division 分节号 → arrow 箭号;参见号 | vertical bar 竖线 backslash 反斜线 % percent 百分号

2022年11月17日 · 1 分钟 · 123 字 · 八戒

阿里云IPSec与锐捷路由器得连接

现在也开始搞起桌面运维了,其实还感觉蛮有意思的。 公司的主路由器是锐捷的NBR6205-E,作为IPSec的服务端,而阿里云作为客户端。 首先先普及一下IPSec的知识,IPSec目前只支持IPv4单播: 密钥安全有 IKE 负责;数据安全方面,有 IPSec 负责。 但是IKE也是 IPSec 的 一 部分,不能独立存在。存在两个SA分别为 ISAKMP Security Association(IKE SA) IPsec Security Association(IPsec SA) 在这里注意一点就是IKE SA=ISAKMP SA IKE SA的 lifetime 默认为 86400 秒,即一天,默认没有volume limit。 用户的数据流量真正是在 IPsec SA 上传递的,而不是在IKE SA; IPsec SA直接为用户数据流服务,IPsec SA中的所有安全策略都是为了用户数据流的安全。 IPsec SA的 lifetime 默认为3600 秒,即1小时;默认volume limit为4608000 Kbytes,即4.608 Gbyte。 因为SA有两个,分为IKE SA和IPsec SA,两个SA分别定义了如何保护密钥以及如何保护数据,其实这两个SA都是由IKE建立起来的,所以将IKE的整个运行过程分成了两个Phase(阶段),即 : IKE Phase Two IKE Phase One 一、IKE Phase One第一阶段 IKE Phase One的主要工作就是建立IKE SA(ISAKMP SA),IKE SA的服务对象并不是用户数据,而是密钥流量,以及为IPsec SA服务的;IKE SA的协商阶段被称为main mode(主模式)还有 aggressive 野蛮模式,IKE也是需要保护自己的流量安全的(这些流量并非用户流量),所以IKE SA之间也需要协商出一整套安全策略,否则后续的密钥和IPsec SA的建立就不能得到安全保证; ...

2022年11月15日 · 1 分钟 · 189 字 · 八戒

L2TP VPN在CentOS7系统下的搭建

这是个很奇怪的事情,应聘了一家搞 CDN 的公司,结果上去看了一下根本不对路。就立刻辞了,但是发现它给员工开的 L2TP VPN 确实非常好用。 于是就自己也搭一个,方便自用。下面记录一下安装过程,环境是CentOS 7 一、装L2TP # yum install epel-release # yum install xl2tpd libreswan 二、修改核心参数 # vi /etc/sysctl.conf vm.swappiness = 0 net.ipv4.neigh.default.gc_stale_time=120 net.ipv4.conf.all.rp_filter=0 net.ipv4.conf.default.rp_filter=0 net.ipv4.conf.default.arp_announce = 2 net.ipv4.conf.all.arp_announce=2 net.ipv4.tcp_max_tw_buckets = 5000 net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_max_syn_backlog = 1024 net.ipv4.tcp_synack_retries = 2 net.ipv4.conf.lo.arp_announce=2 net.ipv4.ip_forward = 1 net.ipv4.conf.default.accept_redirects = 0 net.ipv4.conf.default.send_redirects = 0 net.ipv4.conf.default.accept_source_route = 0 # sysctl -p 三、配置 IPSEC # vi /etc/ipsec.d/l2tp_psk.conf conn L2TP-PSK-NAT rightsubnet=vhost:%priv also=L2TP-PSK-noNAT conn L2TP-PSK-noNAT authby=secret pfs=no auto=add keyingtries=3 dpddelay=30 dpdtimeout=120 dpdaction=clear rekey=no ikelifetime=8h keylife=1h type=transport left=192.168.10.232 leftprotoport=17/1701 right=%any rightprotoport=17/%any 注意上面的 left=192.168.10.232,这是服务器的ip地址,要更换为自己服务器的地址(如果在防火墙后,写内网地址,非映射后的公网IP) ...

2022年11月13日 · 2 分钟 · 282 字 · 八戒

Kafka的安装和验证

生产环境要用到kafka,记录一下安装过程,其实最重要的不是安装,而是使用。 时间节点是2022年7月10日,zookeeper的版本是3.4.14: wget https://mirrors.cnnic.cn/apache/zookeeper/stable/zookeeper-3.4.14.tar.gz kafka的版本是3.2,注意前面的2.13是scala的版本 wget http://archive.apache.org/dist/kafka/3.2.0/kafka_2.13-3.2.0.tgz 软件都下载好以后,找三台服务器,软件都放到 /usr/local 路径下: 服务器的ip是: 172.18.31.50 172.18.31.51 172.18.31.52 移动软件: tar zxvf zookeeper-3.4.14.tar.gz mv apache-zookeeper-3.6.3-bin /usr/local tar zxvf kafka_2.13-3.2.0.tgz mv kafka_2.13-3.2.0 /usr/local 然后得装 java 了,centos 版本 yum -y install epel-release yum -y install java-11-openjdk-devel 首先去编辑zookeeper的配置文件,然后启动 cp /usr/local/apache-zookeeper-3.6.3-bin/conf/zoo_sample.cfg /usr/local/apache-zookeeper-3.6.3-bin/conf/zoo.cfg 编辑zoo.cfg,增加几行 dataDir=/data/zookeeper metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider metricsProvider.httpPort=7000 metricsProvider.exportJvmInfo=true server.0=172.18.31.50:20881:30881 server.1=172.18.31.51:20881:30881 server.2=172.18.31.52:20881:30881 注意上面,我们的数据目录是在/data/zookeeper,所以要先建立好目录结构 然后有三台服务器么,把各自的id放到文件中,然后20881是三台服务器之间的通讯端口,30881是选举端口 mkdir /data/zookeeper -p echo 0 >/data/zookeeper/myid 三台服务器分别启动 /usr/local/apache-zookeeper-3.6.3-bin/bin/zkServer.sh start 验证一下 /usr/local/apache-zookeeper-3.6.3-bin/bin/zkCli.sh [zk: localhost:2181(CONNECTED) 1] ls / [admin, brokers, cluster, config, consumers, controller, controller_epoch, feature, isr_change_notification, latest_producer_id_block, log_dir_event_notification, zookeeper] 看看 / 下有东西就行了,上面是已经装好了 kafka 和 cruisecontrol的情形,东西就比较多了 ...

2022年11月13日 · 1 分钟 · 213 字 · 八戒

Python下Django环境的准备

其实本身自己是比较喜欢 javascripts 的,但是 Python 也是必须掌握的一项技能。 干 devops ansible 跟 python 也脱不了干系,所以准备用 django 开发一个自动上线的系统。 先准备一下 Python 以及 Django 的环境好了。 一、准备 Python 秘籍,不要用什么 venv 之类的东西,污染环境。直接下载源代码编译安装,然后把 py 封到自己的密闭是王道,最后引用一下 $PATH ,想用哪个就用哪个。 注意以下的步骤,先装 gcc 的编译环境,然后装 openssl 的高版本,并且配置好 ldconfig,否则 py 的 ssl 会报错。 最后下载 python 3.8.15 编译安装,生产环境,最好采用最新版本往后错两个版本。 编译安装到 /export/servers/python3目录 yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-devel wget https://www.openssl.org/source/openssl-1.1.1q.tar.gz ./config --prefix=/export/servers/openssl vi /etc/ld.so.conf /export/servers/openssl/lib ldconfig -v wget https://www.python.org/ftp/python/3.8.15/Python-3.8.15.tgz ./configure --prefix=/export/servers/python3 --with-openssl=/export/servers/openssl --with-ssl-default-suites=openssl 最后一步: ...

2022年10月27日 · 1 分钟 · 118 字 · 八戒