所有文章

公司要做阿里的小程序接入，需要通过测试，测试呢需要提供硬盘的监控报告，比如 iops 。 同事从网上找了一下，iops 监控原文如下：监控磁盘的 iops ，利用 linux 的 /proc/diskstats 的第四个字段和第八字段可监控读和写的 iops，第四个记录是记录所有读的次数，第八个字段是记录所有写的次数。通过 zabbix 上的差速率即可监控磁盘的 iops。 文章链接：https://cloud.tencent.com/developer/article/1519113?ivk_sa=1024320u 仔细研究了一下上面的文章，看了它提供了两张监控图，分析一下： 第一张图： 有两个指标，绿色的是硬盘每秒的 io 读次数，红色的是硬盘每秒的 io 写次数。 第二张图： 同样两个指标，绿色的是硬盘每秒的 io 读 Bytes，红色的是硬盘每秒的 io 写 Bytes。 知道了指标具体的含义，这样就好办了。 我们用的是 prometheus 和 node_exporter 首先去看看 node_exporter 暴露的指标，搜一搜 node_disk，会看到如下4个指标： # HELP node_disk_reads_completed_total The total number of reads completed successfully. # TYPE node_disk_reads_completed_total counter node_disk_reads_completed_total{device="sda"} 4.9530358e+07 # HELP node_disk_writes_completed_total The total number of writes completed successfully. # TYPE node_disk_writes_completed_total counter node_disk_writes_completed_total{device="sda"} 1.4449267304e+10 # HELP node_disk_read_bytes_total The total number of bytes read successfully. # TYPE node_disk_read_bytes_total counter node_disk_read_bytes_total{device="sda"} 6.4101677568e+11 # HELP node_disk_written_bytes_total The total number of bytes written successfully. # TYPE node_disk_written_bytes_total counter node_disk_written_bytes_total{device="sda"} 1.15483858333184e+14 可以看出是上面 4 个指标，这四个指标都是 counter 计数器类型的，都是只增不减的。 ...

最近开始弄hubot，顺带也开始学习 javascript ，首先从单独一个 nodejs 项目开始： nvm 和 node 的安装使用在前面已经说过了： Nodejs多版本的安装与管理 新建一个项目目录，build01 然后在其下建立如下目录结构： mkdir build01 cd build01 mkdir es6 dist mkdir public cd public mkdir es6 dist 解释一下，es6 下放的是服务器端的源代码，dist 下放的是服务器端处理过的源代码。 public/es6 放的是浏览器端的源代码，public/dist 放的是浏览器端处理过的源代码。 一、安装gulp和babel babel 是用来做 js 格式转换的，注意，原有的 babel-preset-es2015 已经不适用了。 npm install --save-dev gulp gulp-babel babel-preset-env@next 生成一个.babelrc 文件，内容就一行 { "presets": ["env"] } 在 es6 目录下，建立一个测试的 test.js 文件，内容如下： 'use strict'; const sentences = [ { subject: 'JavaScript', verb: 'is', object: 'great' }, { subject: 'Elephants', verb: 'are', object: 'large' }, ]; function say({ subject, verb, object }) { console.log(`${subject} ${verb} ${object}`); } for ( let s of sentences) { say(s); } 仔细看，上面这个文件用到了 es6 的语法，对象的解构，of语法。 ...

Hubot是一个通用的聊天机器人，能和很多聊天软件集成，比如slack、rockchat、telegram、企业微信、IRC等。 公司用的是企业微信，之前用群机器人和 prometheus 集成，发送各种告警信息，但是群机器人无法接收消息；同时我们想集成进去很多自定义命令，比如发送指令就开始 jenkins build，发送 ansible 指令执行，发送流量图就自动把机房的流量图发过来，这个群机器人就用不成了。所以必须再直接一些，构建一个企业微信的应用。 一、企业微信安装前准备 安装前需要在企业微信中拿到4个信息： WECHATWORK_CORP_ID WECHATWORK_APP_AGENT_ID WECHATWORK_APP_SECRET WECHATWORK_AES_KEY 首先联系企业微信管理员新增一个应用： 在“管理后台-我的企业”中可以获得地一个信息，企业 ID 信息，CORP_ID ： 拿拿 在“管理后台-应用管理-点击某具体应用-详情”页中可以获得二、三个信息， APP_AGENT_ID 和 APP_SECRET 第四个 AES_KEY 就比较麻烦了，我们进入这个应用，点击配置的图标： 然后进入，点击启用 API 接收 然后设置一下 url 填写 https://hubot.rendoumi.com/wechatwork/webhook Token 点随机获取 EncodingAESKey 点随机获取，这就是具体的 AESKey 了 然后点击保存，这里必然会失败！没有关系，因为我们还没有装hubot呢。我们把这三个地方先记录下来，随后再来点击保存。 二、Hubot 安装前准备 1、注意上面地址：URL 地址是 https ，然后 hubot 的缺省地址是 http://xxx:8080 ，这样如果前面没有证书卸载的设备，就得搭建一个Nginx（haproxy、traefik）来代理 https 443端口到8080。 2、Hubot 是支持 Coffeescript 和 nodejs 的，从它的 Adapters 网页看 https://hubot.github.com/docs/adapters/development/ 里面都是 coffee 味的单箭头函数，导致不太熟悉的八戒以为在 wechatwork module导出的时候也应该用单箭头函数，结果就悲剧了。 ...

最近在搞 JavaScripts，nodejs的版本满天飞，之前用的 nvm 管理的方法突然不能用了。 这里记录一下，比较新的 nvm 的安装使用方法： 下载安装： curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/refs/heads/master/install.sh | bash nvm install 24 以上的脚本安装到底做了什么呢？ 一、它 clone 了 nvm 到 $HOME/.nvm目录 二、它在 .bashrc 中添加了三行 事实上它是根据当前的 bash 选择在 .bash_profile、.zshrc、.profile、.bashrc中的某一个进行添加 然后我们退出终端，并重新进入，看看 nvm list nvm ls-remote 然后选择最新的版本安装： nvm install v16.13.1 如果想使用不同版本 nvm use 14.0.0 设置缺省版本或者取消 nvm alias defaut <your_nodejs_default_version> nvm alias default 14.0.0 node -v # prints 14.0.0 参考地址：https://github.com/nvm-sh/nvm

S3 的桶存储可以用 minio 来模拟。 网上有个 Backblaze 的网站，提供 10GB 的免费空间，且如果是公网访问，1GB流量是免费的，如果前面套了 Cloudflare 的CDN，那基本是全免了。 说下使用方式： 首先去 https://www.backblaze.com/ 注册个帐号： 然后直接建个桶（Create a Bucket） 桶文件类型选择 public，否则无法公网访问： 然后 gen 出 master app key 来并记录好： 随后最大的问题就来了，如果你用它页面自带的上传下载工具，彻底完蛋，拖进去的文件夹会变成扁平的，完全丧失目录结构。 必须要找一个好用的上传工具了，推荐 b2 。 b2 工具下载： https://github.com/Backblaze/B2_Command_Line_Tool 下载后直接改名为 b2 ，然后放到 /usr/local/bin 中 wget -O /usr/local/bin/b2 https://github.com/Backblaze/B2_Command_Line_Tool/releases/download/v3.1.0/b2-linux chmod 755 /usr/lcoal/b2 运行一下，有很多命令参数： 详细的使用文档： https://b2-command-line-tool.readthedocs.io/en/master/ 先去配置帐号，输入applicationKeyId和applicationKey b2 authorize-account 然后就可以往桶里传东西了，把当前目录下的东西传到 rendoumi 这个桶里，并且不要传 .git 目录 b2 sync --excludeDirRegex .git . b2://rendoumi/ 套 Cloudflare 就随意了。full ssl，建个 CNAME 且用 Page rule 做 url 转发就可以了。 ...

kubernetes下定制 http 50x 以及 40x 服务器返回信息的话，如果用 Nginx 做 ingress，大家会很自然想到直接用 nginx 来定制： error_page 500 502 503 504 /50x.html; location = /50x.html { root /export/html; } 这样做是不行的，因为 Nginx 作为 ingress 来使用，就不能落地，只能做转发；如果你落地了，访问了本地文件，就违背了初衷。而且在 ingress 的 pod 上放页面，会导致 ingress 的配置错乱。 那么正确 50x 重定位的方法如下：首先建立一个 deploy 和对应的 svc，就是建立一个 web 服务器，能提供服务返回 50x 和 40x 的定制页面；然后在 ingress 内指定 custom-http-errors 和 default-backend 指向它就可以了。 一、建立miniserve的deploy和svc 我们选用 rust 的 miniserve 作为 web 服务器，准备好定制好的 index.html，写个 Dockerfile 网址：https://github.com/svenstaro/miniserve FROM alpine:3.12 RUN apk add --update bash && rm -rf /var/cache/apk/* COPY . /data/ RUN rm -rf /data/Dockerfile WORKDIR /data EXPOSE 8080 CMD ["/data/miniserve","--index","index.html"] #CMD /bin/sh -c "while true; do echo hi; sleep 10; done" 作出镜像后推送到阿里镜像：registry.cn-shanghai.aliyuncs.com/rendoumi/miniserve:lastest ...

在 kubernetes 中，ingress 负责转发、融断和限流。 我们以 Nginx ingress 为例，讨论一下这方面的问题。 一、Nginx ingress黑白名单 这个很简单了，丢进黑名单或者白名单，在入口前拦一刀。 我们只要在 annotations 声明即可： apiVersion: networking.k8s.io/v1beta1 kind: Ingress metadata: name: www-com-ingress annotations: kubernetes.io/ingress.class: nginx nginx.ingress.kubernetes.io/ssl-redirect: "true" nginx.ingress.kubernetes.io/block-cidrs: a.b.c.d/32 #nginx.ingress.kubernetes.io/whitelist-source-range: a.b.c.d/32 spec: tls: - hosts: - www.huabbao.com secretName: www-huabbao-com-cert rules: - host: www.huabbao.com http: paths: - path: / backend: serviceName: nginx-svc 注意，多个ip的话，之间用逗号隔开（该值是逗号分隔的CIDR列表） ： ...

阿里的云的 OSS 并不是完全版本的 AWS S3 兼容。 我们如果需要用 S3 协议访问 OSS，就比较麻烦了。 所以搭建一个 minio 来做网关，代理OSS，minio 是基本兼容S3的，所以这样曲线救国，通过 S3 协议访问 minio 来访问最后端的 OSS 这里还有一段故事： Minio 中间有一版是支持 oss 的，但是后来 oss 改了协议，所以现在的最新版本 minio 反而是不支持代理 oss 的，我们必须手动作出镜像，放到镜像库里，然后阿里 ACK 再使用 首先去下载那一版直接支持oss的 wget http://dl.minio.org.cn/server/minio/release/linux-amd64/archive/minio.RELEASE.2020-04-15T19-42-18Z chmod 755 minio.RELEASE.2020-04-15T19-42-18Z 这个文件比较宝贵，给个本地备份链接下载： minio.RELEASE.2020-04-15T19-42-18Z 然后在当前目录编辑 Dockerfile ，因为 K8S 和 OSS 同一地域，所以用 OSS 私网域名： FROM alpine:3.12 RUN apk add --update bash && rm -rf /var/cache/apk/* COPY minio.RELEASE.2020-04-15T19-42-18Z /data/minio.RELEASE.2020-04-15T19-42-18Z ENV MINIO_ACCESS_KEY=LTAI5tFFTbsxxxxxuLb ENV MINIO_SECRET_KEY=t78PyGnHZilxxxxxdxBCjvNgtVC5Y WORKDIR /data EXPOSE 9000 CMD ["/data/minio.RELEASE.2020-04-15T19-42-18Z","gateway","oss","http://oss-cn-shanghai-internal.aliyuncs.com"] # CMD /bin/sh -c "while true; do echo hi; sleep 10; done" 注意上面，MINIO_ACCESS_KEY 和 MINIO_SECRET_KEY 对应的是阿里云 OSS的 AccessKey ID 和 AccessKey Secret ...

本来 k8s 的 crontab 是启动一个容器来运行的，很简单，如下： apiVersion: batch/v1beta1 kind: CronJob metadata: name: curl-cron spec: schedule: "*/1 * * * *" jobTemplate: spec: template: spec: containers: - name: curl-cron image: radial/busyboxplus:curl imagePullPolicy: IfNotPresent command: - /bin/sh - -c - date;echo "run crontab";curl http://www.baidu.com restartPolicy: OnFailure successfulJobsHistoryLimit: 2 failedJobsHistoryLimit: 2 上面就跑了一个 busybox 的 pod，每分钟去访问百度，然后在 stdout 输出结果 这个没什么，注意上面文件的最后两行。限制成功以及失败 job 的 History 数量，如果不加限制，kubectl get pods 会看到无穷无尽的completed 状态的 curl-cron pod。 ...

kubernetes 的动态伸缩 HPA 是非常有用的特性。 我们的服务器托管在阿里云的 ACK 上，k8s 根据 cpu 或者 内存的使用情况，会自动伸缩关键 pod 的数量，以应对大流量的情形。而且更妙的是，动态扩展的 pod 并不是使用自己的固定服务器，而是使用阿里动态的 ECI 虚拟节点服务器，这样就真的是即开即用，用完即毁。有多大流量付多少钱，物尽其用。 我们先明确一下概念： k8s 的资源指标获取是通过 api 接口来获得的，有两种 api，一种是核心指标，一种是自定义指标。 核心指标：Core metrics，由metrics-server提供API，即 metrics.k8s.io，仅提供Node和Pod的CPU和内存使用情况。api 是 metrics.k8s.io 自定义指标：Custom Metrics，由Prometheus Adapter提供API，即 custom.metrics.k8s.io，由此可支持任意Prometheus采集到的自定义指标。api 是 custom.metrics.k8s.io 和 external.metrics.k8s.io 一、核心指标metrics-server 阿里的 ACK 缺省是装了 metrics-server 的，看一下，系统里有一个metrics-server kubectl get pods -n kube-system 再看看 api 的核心指标能拿到什么，先看 Node 的指标： kubectl get --raw "/apis/metrics.k8s.io" | jq . kubectl get --raw "/apis/metrics.k8s.io/v1beta1" | jq . kubectl get --raw "/apis/metrics.k8s.io/v1beta1/nodes" | jq . 可以看到阿里 eci 虚拟节点的 cpu 和 memory 资源。 ...