Docker 构建跨平台镜像：如何在 Mac (ARM) 上构建 Linux (AMD64) 镜像

2025-12-09

场景 0：使用 Docker CLI (基础)

如果你只是临时构建一个简单的镜像，不使用编排工具，直接在 docker build 命令中加上 --platform 参数即可。

命令示例：

1	docker build --platform linux/amd64 -t my-image:latest .

场景 1：使用 Docker Compose (进阶)

在 docker-compose build 执行时，并不像 docker build 那样直接支持 --platform 参数。我们可以通过以下两种方式来实现。

方法 1：在 `docker-compose.yml` 文件中指定 (推荐)

这是最标准、最稳定的方法。通过在 docker-compose.yml 的服务定义中直接添加 platform 字段，将架构配置固化在代码中。

适用场景：

你的项目明确需要在特定架构（如 Linux/AMD64）服务器上运行。
团队成员混合使用 Intel 和 Apple Silicon 芯片，需要保证构建产物的一致性。

配置示例：

version: '3.8'  # 注意：新版 Docker Compose (V2) 已忽略 version 字段，但保留也无妨

services:
  web:
    build: .
    # 核心配置：在这里强制指定平台
    platform: linux/amd64
    image: my-web-app
    ports:
      - "8080:80"

配置后，无论在什么机器上运行 docker-compose build，Docker 都会自动使用 linux/amd64 架构进行构建。

方法 2：使用环境变量 (临时指定)

如果你不想修改 docker-compose.yml 文件（例如不想把生产环境配置硬编码进开发文件），或者需要在不同架构间临时切换，可以使用 DOCKER_DEFAULT_PLATFORM 环境变量。

适用场景：

CI/CD 流水线中动态指定构建架构。
在 M1/M2 Mac 上临时想要强制构建 AMD64 镜像进行测试，但不想改动代码。

操作命令：

你可以选择临时设置环境变量并执行命令：

# 方式 A：单行命令（推荐，只影响当前执行）
DOCKER_DEFAULT_PLATFORM=linux/amd64 docker-compose build

# 方式 B：先 export 再执行（影响当前终端会话）
export DOCKER_DEFAULT_PLATFORM=linux/amd64
docker-compose build

注意： 使用此环境变量会强制将该 Compose 文件中的所有服务都尝试以指定平台构建。

展开全文 >>

基于ZFS快照实现Mysql备份和恢复方案

2025-09-05

演示Mysql的数据目录存在路径：/u02/mysql84/app/mysqldb

现有文件系统上创建一个文件作为 ZFS 池：

无多余的磁盘，这里仅作验证快照备份和恢复功能实例。

# 创建存储目录
mkdir -p /opt/zfs

# 创建一个 20GB 的存储文件 (可以根据需要调整大小)
dd if=/dev/zero of=/opt/zfs/mysql_pool.img bs=1G count=20 status=progress

# 检查创建的文件
ls -lh /opt/zfs/mysql_pool.img

# 创建 ZFS 存储池
zpool create mysql_pool /opt/zfs/mysql_pool.img

# 检查存储池状态
zpool status mysql_pool

# 查看存储池列表
zpool list

创建 ZFS 数据集并配置优化参数:

# 创建 MySQL 数据集，配置为 MySQL 数据库优化
zfs create mysql_pool/mysqldb
# 设置压缩（使用 lz4 算法，性能好）
zfs set compression=lz4 mysql_pool/mysqldb
# 设置记录大小（对 MySQL 优化）
zfs set recordsize=16K mysql_pool/mysqldb
# 启用数据去重（可选，视数据特征而定）
zfs set dedup=off mysql_pool/mysqldb
# 设置访问时间更新（性能优化）
zfs set atime=off mysql_pool/mysqldb
# 设置同步策略（平衡性能和安全）
zfs set sync=standard mysql_pool/mysqldb

迁移 MySQL 数据：

使用临时挂载点 /u02/mysql84/app/mysqldb_new ，避免挂载失败。


# 设置临时挂载点
zfs set mountpoint=/u02/mysql84/app/mysqldb_new mysql_pool/mysqldb

# 设置正确的权限和所有者
chown mysql:mysql /u02/mysql84/app/mysqldb_new

# 复制数据到新的 ZFS 数据集
cp -rp /u02/mysql84/app/mysqldb/* /u02/mysql84/app/mysqldb_new/

# 验证数据完整性
diff -r /u02/mysql84/app/mysqldb /u02/mysql84/app/mysqldb_new || echo 'Some differences found, please review'

# 卸载当前的 ZFS 数据集
zfs umount mysql_pool/mysqldb

# 重新设置挂载点为原路径
zfs set mountpoint=/u02/mysql84/app/mysqldb mysql_pool/mysqldb

# 挂载数据集
zfs mount mysql_pool/mysqldb

# 检查最终结果
ls -la /u02/mysql84/app/mysqldb/
zfs list mysql_pool/mysqldb
rmdir /u02/mysql84/app/mysqldb_new

# 检查压缩效果
zfs get compressratio mysql_pool/mysqldb

迁移完成后要重启Mysql数据库

创建快照：

# 直接创建快照
zfs snapshot mysql_pool/mysqldb@20250905_1447

# 查看创建的快照
zfs list -t snapshot

# 设置定时任务 - 每4小时创建一次快照
echo '0 */4 * * * root /usr/sbin/zfs snapshot mysql_pool/mysqldb@auto_$(date +%Y%m%d_%H%M%S)' >> /etc/crontab

# 显示 crontab
tail -1 /etc/crontab

日常管理命令 :

# 查看储池状态
zpool status mysql_pool

# 查看数据集信息
zfs list mysql_pool/mysqldb

# 查看压缩效果
zfs get compressratio mysql_pool/mysqldb

# 查看所有快照
zfs list -t snapshot

# 手动创建快照
zfs snapshot mysql_pool/mysqldb@manual_$(date +%Y%m%d_%H%M%S)

# 恢复到快照 (需要停止 MySQL)
zfs rollback mysql_pool/mysqldb@snapshot_name

# 删除快照
zfs destroy mysql_pool/mysqldb@snapshot_name

验证快照恢复功能：

验证思路是：1. 创建临时数据库并插入初始化数据，2. 做快照tag1，3. 再插入新的数据，4. 快照tag1恢复。会发现步骤3插入的数据已经被遗弃了。

创建测试数据库和表，并插入数据：

-- 创建 testdb 数据库
CREATE DATABASE IF NOT EXISTS testdb CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

USE testdb;

-- 创建 user 表
CREATE TABLE IF NOT EXISTS user (
    id INT PRIMARY KEY AUTO_INCREMENT,
    username VARCHAR(50) NOT NULL,
    email VARCHAR(100),
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
    updated_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;

-- 插入 id=1 的数据
INSERT INTO user (id, username, email) VALUES (1, "test_user", "test@example.com");

手动创建快照：

zfs snapshot mysql_pool/mysqldb@test_initdb

# 查看快照
zfs list -t snapshot

继续插入测试数据：

USE testdb;
INSERT INTO user (id, username, email) VALUES (2, "test_user2", "test2@example.com");

-- 查询表数据能看到两条数据
SELECT * FROM user;

快照恢复:

该步骤需要启停数据库。


# 停止数据库

# 快照恢复
zfs rollback mysql_pool/mysqldb@test_initdb

# 启动数据库

查看恢复的数据：

1
2
3

USE testdb;
-- 这里只有一条数据
select * from user;

展开全文 >>

Python 3.11 源码安装文档

2025-08-12

本文档基于CentOS 7.9环境，介绍如何源码编译安装Python 3.11.2。

安装步骤

1. 配置软件源

# 配置华为云镜像源（可选，提高下载速度）
curl -o /etc/yum.repos.d/CentOS-Base.repo https://repo.huaweicloud.com/repository/conf/CentOS-7-reg.repo
yum clean all
rm -rf /var/cache/yum
yum makecache

2. 安装编译依赖

# 安装EPEL源
yum install -y epel-release

# 安装编译Python所需的依赖包
yum install -y \
    gcc \
    zlib zlib-devel \
    libffi libffi-devel \
    readline-devel \
    make \
    openssl-devel openssl11 openssl11-devel \
    sqlite-devel \
    bzip2-devel \
    libuuid-devel \
    xz-devel \
    tk-devel \
    gdbm-devel

3. 下载Python源码

# 创建临时目录
mkdir -p /tmp/python-build
cd /tmp/python-build

# 下载Python 3.11.2源码（优先使用华为云镜像）
curl -fSL https://mirrors.huaweicloud.com/python/3.11.2/Python-3.11.2.tgz -o python.tgz || \
    curl -fSL https://www.python.org/ftp/python/3.11.2/Python-3.11.2.tgz -o python.tgz

# 解压源码
tar -zxf python.tgz
cd Python-3.11.2

4. 配置编译选项

这里指定Python安装路径为 /usr/python/

# 设置安装目录
export PREFIX=/usr/python

# 配置OpenSSL环境变量（支持OpenSSL 1.1）
export CPPFLAGS=-I/usr/include/openssl11
export LDFLAGS=-L/usr/lib64/openssl11

# 配置编译选项
./configure --prefix=${PREFIX} \
    --enable-loadable-sqlite-extensions \
    --enable-option-checking=fatal \
    --enable-shared \
    --with-lto \
    --with-system-expat

配置选项说明：

--prefix=${PREFIX}: 指定安装目录为/usr/python
--enable-loadable-sqlite-extensions: 启用SQLite扩展支持
--enable-option-checking=fatal: 严格检查配置选项
--enable-shared: 生成共享库
--with-lto: 启用链接时优化
--with-system-expat: 使用系统的expat库

5. 编译安装

# 编译（使用所有CPU核心加速）
make -j "$(nproc)" \
    "EXTRA_CFLAGS=$(rpm --eval '%{optflags}')" \
    "LDFLAGS=-Wl,--strip-all"

# 重新编译python可执行文件（设置运行时库路径）
rm -rf python
make -j "$(nproc)" \
    "EXTRA_CFLAGS=$(rpm --eval '%{optflags}')" \
    "LDFLAGS=-Wl,-rpath='\$\$ORIGIN/../lib'" \
    python

# 安装Python
make install

6. 清理安装文件（可选）

# 删除测试文件和不必要的文件以减小安装体积
find ${PREFIX} -depth \
    \( \
        \( -type d -a \( -name test -o -name tests -o -name idle_test \) \) \
        -o \( -type f -a \( -name '*.pyc' -o -name '*.pyo' -o -name 'libpython*.a' \) \) \
    \) -exec rm -rf '{}' +

7. 配置环境变量

# 更新动态链接库缓存
ldconfig

# 设置环境变量
echo 'export LD_LIBRARY_PATH="/usr/python/lib:$LD_LIBRARY_PATH"' >> ~/.bashrc
echo 'export PATH="/usr/python/bin:$PATH"' >> ~/.bashrc

# 立即生效
export LD_LIBRARY_PATH="/usr/python/lib:$LD_LIBRARY_PATH"
export PATH="/usr/python/bin:$PATH"

8. 创建系统链接（可选）

# 创建python和pip的系统链接
ln -sf /usr/python/bin/python3 /usr/bin/python
ln -sf /usr/python/bin/pip3 /usr/bin/pip

# 注意：如果系统依赖python2，需要修改相关脚本
sed -i '1s/^.*$/#!\/usr\/bin\/python2.7/' /usr/bin/yum
sed -i '1s/^.*$/#!\/usr\/bin\/python2.7/' /usr/libexec/urlgrabber-ext-down

9. 验证安装

# 检查Python版本
python --version
# 应该输出：Python 3.11.2

# 检查pip版本
pip --version

# 测试Python功能
python -c "import ssl; print('SSL support:', ssl.OPENSSL_VERSION)"
python -c "import sqlite3; print('SQLite version:', sqlite3.sqlite_version)"

清理工作

# 清理编译依赖（可选）
yum -q -y remove epel-release
yum -q -y autoremove
yum -q -y clean all
rm -rf /var/cache/yum/*

# 删除源码目录
rm -rf /tmp/python-build

展开全文 >>

SNMP 模拟测试环境搭建和客户端使用

2025-04-21

模拟服务端：

1	pip install snmpsim

模拟数据(使用官方示例数据)：

1 2	mkdir -p ./data wget https://github.com/etingof/snmpsim/raw/master/data/public.snmprec -O ./data/public.snmprec

启动：

snmpsim-command-responder --data-dir=./data --agent-udpv4-endpoint=0.0.0.0:161

# 如果报错：snmpsim.error.SnmpsimError: Must drop privileges to a non-privileged user&group 需要增加参数 --process-user=$(whoami) --process-group=$(id -gn)
snmpsim-command-responder --process-user=$(whoami) --process-group=$(id -gn) --data-dir=./data --agent-udpv4-endpoint=0.0.0.0:161

# 如果报错：snmpsim-command-responder: command not found
snmpsimd.py --process-user=$(whoami) --process-group=$(id -gn) --data-dir=./data --agent-udpv4-endpoint=0.0.0.0:161

注意观察输出日志，其中 community name: public：


...

--- SNMP Engine configuration 
SNMPv3 EngineID: 0x80004fb805656530306339613061383931086a9fc0 
  --- Simulation data recordings configuration 
  SNMPv3 Context Engine ID: 0x80004fb805656530306339613061383931086a9fc0 
  Scanning "./data" directory for  *.dump, *.MVC, *.sapwalk, *.snmpwalk, *.snmprec, *.snmprec.bz2 data files... 
    Index /tmp/snmpsim/._data_public.dbm out of date 
    Building index /tmp/snmpsim/._data_public.dbm for data file ./data/public.snmprec (open flags "nfu")... 
    ...3881 entries indexed 
    Configuring ./data/public.snmprec controller 
    SNMPv1/2c community name: public
    SNMPv3 Context Name: 4c9184f37cff01bcdc32dc486ec36961 or public 
  --- SNMPv3 USM configuration 
  SNMPv3 USM SecurityName: simulator 
  SNMPv3 USM authentication key: auctoritas, authentication protocol: MD5 
  SNMPv3 USM encryption (privacy) key: privatus, encryption protocol: DES 
  Maximum number of variable bindings in SNMP response: 64 
  --- Transport configuration 
  Listening at UDP/IPv4 endpoint 0.0.0.0:161, transport ID 1.3.6.1.6.1.1.0

另开一个终端连接测试：

OID	含义
`1.3.6.1.2.1.1.1.0`	系统描述
`1.3.6.1.2.1.1.3.0`	运行时间
`1.3.6.1.2.1.1.5.0`	设备名称
执行命令：

snmpwalk -v2c -c public 127.0.0.1 1.3.6.1.2.1.1

# 如果snmpwalk命令不存在，可能未安装工具包：
# yum install -y net-snmp-utils

输出：

SNMPv2-MIB::sysDescr.0 = STRING: Linux zeus 4.8.6.5-smp #2 SMP Sun Nov 13 14:58:11 CDT 2016 i686
SNMPv2-MIB::sysObjectID.0 = OID: NET-SNMP-MIB::netSnmpAgentOIDs.10
DISMAN-EVENT-MIB::sysUpTimeInstance = Timeticks: (124041433) 14 days, 8:33:34.33
SNMPv2-MIB::sysContact.0 = STRING: SNMP Laboratories, info@snmplabs.com
SNMPv2-MIB::sysName.0 = STRING: zeus.snmplabs.com (you can change this!)
SNMPv2-MIB::sysLocation.0 = STRING: San Francisco, California, United States
SNMPv2-MIB::sysServices.0 = INTEGER: 72
SNMPv2-MIB::sysORLastChange.0 = Timeticks: (124041433) 14 days, 8:33:34.33
SNMPv2-MIB::sysORID.1 = OID: SNMP-FRAMEWORK-MIB::snmpFrameworkMIBCompliance
SNMPv2-MIB::sysORID.2 = OID: SNMP-MPD-MIB::snmpMPDCompliance
SNMPv2-MIB::sysORID.3 = OID: SNMP-USER-BASED-SM-MIB::usmMIBCompliance
SNMPv2-MIB::sysORID.4 = OID: SNMPv2-MIB::snmpMIB
SNMPv2-MIB::sysORID.5 = OID: TCP-MIB::tcpMIB
SNMPv2-MIB::sysORID.6 = OID: IP-MIB::ip
SNMPv2-MIB::sysORID.7 = OID: UDP-MIB::udpMIB
SNMPv2-MIB::sysORID.8 = OID: SNMP-VIEW-BASED-ACM-MIB::vacmBasicGroup
SNMPv2-MIB::sysORDescr.1 = STRING: The SNMP Management Architecture MIB.
SNMPv2-MIB::sysORDescr.2 = STRING: The MIB for Message Processing and Dispatching.
SNMPv2-MIB::sysORDescr.3 = STRING: The management information definitions for the SNMP User-based Security Model.
SNMPv2-MIB::sysORDescr.4 = STRING: The MIB module for SNMPv2 entities
SNMPv2-MIB::sysORDescr.5 = STRING: The MIB module for managing TCP implementations
SNMPv2-MIB::sysORDescr.6 = STRING: The MIB module for managing IP and ICMP implementations
SNMPv2-MIB::sysORDescr.7 = STRING: The MIB module for managing UDP implementations
SNMPv2-MIB::sysORDescr.8 = STRING: View-based Access Control Model for SNMP.
SNMPv2-MIB::sysORUpTime.1 = Timeticks: (0) 0:00:00.00
SNMPv2-MIB::sysORUpTime.2 = Timeticks: (0) 0:00:00.00
SNMPv2-MIB::sysORUpTime.3 = Timeticks: (0) 0:00:00.00
SNMPv2-MIB::sysORUpTime.4 = Timeticks: (0) 0:00:00.00
SNMPv2-MIB::sysORUpTime.5 = Timeticks: (0) 0:00:00.00
SNMPv2-MIB::sysORUpTime.6 = Timeticks: (0) 0:00:00.00
SNMPv2-MIB::sysORUpTime.7 = Timeticks: (0) 0:00:00.00
SNMPv2-MIB::sysORUpTime.8 = Timeticks: (0) 0:00:00.00

Python客户端连接实例：

"""
yum install -y net-snmp-devel
pip install python3-netsnmp
"""
import netsnmp

sess = netsnmp.Session(Version=2, DestHost='127.0.0.1', Community='public')

print('===========')
vars = netsnmp.VarList(
    netsnmp.Varbind('sysUpTime', 0),
    netsnmp.Varbind('sysContact', 0),
    netsnmp.Varbind('sysLocation', 0)
)
vals = sess.get(vars)
for var in vars:
    print(var.tag, var.iid, "=", var.val, '(',var.type,')')


print('===========')
vars = netsnmp.VarList(netsnmp.Varbind('.1.3.6.1.2.1.1.1', 0))
vals1 = sess.get(vars)
for var in vars:
    print(var.tag, var.iid, "=", var.val, '(',var.type,')')

# 等同shell执行命令：snmpwalk -v2c -c public 127.0.0.1 1.3.6.1.2.1.1
print('以下两种调用一致：\n---------')
print('（1）===========')
vars = netsnmp.VarList(netsnmp.Varbind('system'))
vals = sess.walk(vars)
for var in vars:
    print("  ",var.tag, var.iid, "=", var.val, '(',var.type,')')

print('（2）===========')
vars = netsnmp.VarList(netsnmp.Varbind('.1.3.6.1.2.1.1'))
vals1 = sess.walk(vars)
for var in vars:
    print("  ",var.tag, var.iid, "=", var.val, '(',var.type,')')

展开全文 >>

jmpy对Python项目代码加固

2025-02-25

当前使用Python 版本 3.11.2
项目地址：https://github.com/Boris-code/jmpy

安装 jmpy 包：

1	pip install jmpy3

执行：

jmpy -i xxx.py -o /tmp/

# 使用加固后的so文件替换源py文件，代码正常运行：
mv /tmp/dist/xxx.so ./
rm -rf xxx.py

如果报错：

collection.c:208:27: fatal error: longintrepr.h: No such file or directory
   #include "longintrepr.h"
                           ^
compilation terminated.
error: command '/usr/bin/gcc' failed with exit code 1

解决方案：pip install Cython==0.29.32

提示：Python 会对 .py 文件生成 .pyc 文件，所以加密要在运行前进行，或者加密完成后再删除 __pycache__/xxx.pyc 文件

展开全文 >>

InterSystems Cache数据库常用命令

2025-01-06

Docker 运行 Cache：

无 License 版本存在并发会话数最多为 1 的限制

1 2	docker pull daimor/intersystems-cache:2018.1 docker run -d -p 1972:1972 -p 57772:57772 daimor/intersystems-cache:2018.1

Cache 的管理页面: http://127.0.0.1:57772/csp/sys/UtilHome.csp

终端使用

查看实例信息：

$ ccontrol all
    Instance Name     Version ID        Port   Directory
    ----------------  ----------------  -----  --------------------------------
up >CACHE             2018.1.5.659.0    1972   /usr/cachesys/

常用命令：

查看当前实例信息： ccontrol all
启动 ISCAgent：/etc/init.d/ISCAgent start
登录 terminal： csession cache
切换命名空间： zn "%sys"
进入 SQL Shell：do $SYSTEM.SQL.Shell()
退出数据库：halt

以下示例创建用户并赋权：

$ cache
USER> zn "%sys"

%SYS> do $SYSTEM.SQL.Shell()
SQL Command Line Shell
----------------------------------------------------

The command prefix is currently set to: <<nothing>>.
Enter q to quit, ? for help.
%SYS>> 

# 创建用户
%SYS>> CREATE USER NewUser IDENTIFIED BY 'NewPassword'
1.      CREATE USER NewUser IDENTIFIED BY 'NewPassword'

0 Rows Affected
statement prepare time(s)/globals/lines/disk: 0.0073s/1654/11280/0ms
          execute time(s)/globals/lines/disk: 0.0035s/173/1817/0ms
                          cached query class: %sqlcq.pSYS.cls6
---------------------------------------------------------------------------
%SYS>> q

# 查询新用户是否存在，注意已经从sql shell退出了，输出1则表示存在
%SYS>WRITE ##class(Security.Users).Exists("NewUser")
1
%SYS>

# 为用户分配 %ALL 角色
%SYS> DO ##class(Security.Users).AddRoles("NewUser", "%ALL")

# 退出

%SYS> halt

Python 驱动连接（一般路径为 `/usr/cachesys/dev/python` ）：

import intersys.pythonbind3

# 资产信息
ip = '127.0.0.1'
port = '1972'
namespace = '%SYS'
user = 'NewUser'
password = 'NewPassword'
timeout = 5

# 建立连接
conn = intersys.pythonbind3.connection()
url = f'{ip}[{port}]:{namespace}'
conn.connect_now(url, user, password, timeout)

# 查询
database = intersys.pythonbind3.database(conn)

# 查询数据库版本号，执行类方法
database.run_class_method('%SYSTEM.Version', 'GetVersion', [])


# 普通查询语句
sqlstring ="SELECT ID, Name, DOB, SSN \
            FROM SAMPLE.PERSON \
            WHERE Name %STARTSWITH ?"
query = intersys.pythonbind3.query(database)
query.prepare(sqlstring)
query.set_par(1,"A")
query.execute();
while True:
   cols = query.fetch([None])
   if len(cols) == 0: break
   print(cols)

Python 驱动打包

容器内换源

sed -i s/mirror.centos.org/vault.centos.org/g /etc/yum.repos.d/*.repo
sed -i s/^#.*baseurl=http/baseurl=http/g /etc/yum.repos.d/*.repo
sed -i s/^mirrorlist=http/#mirrorlist=http/g /etc/yum.repos.d/*.repo

yum makecache
yum update -y

安装依赖

1	yum install -y gcc gcc-c++ python3 python3-devel

安装

注意 /usr/cachesys/bin 是驱动

cd /usr/cachesys/dev/python
python3 setup3.py install <<EOF
> /usr/cachesys
> EOF

# 要从上述install的目录跳出来
cd /usr/cachesys
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/cachesys/bin
pip3 show pythonbind3

打包

这里示例打包为 wheel 包，需要安装孔 wheel，如果 Python 版本升级或修改包名，需要修改 setup3.py 中相关配置。

cd /usr/cachesys/dev/python
pip3 install wheel
python3 setup3.py bdist_wheel <<EOF
> /usr/cachesys
> EOF
ll dist/pythonbind3-1.0-cp36-cp36m-linux_x86_64.whl

其他环境安装该包，需要 copy 相关的驱动依赖 /usr/cachesys/bin

展开全文 >>

PG系数据库创建表和插入数据等常用语句

2024-12-27

创建数据库表

在 gsql 提示符下，你可以使用 CREATE TABLE 语句来创建表。以下是一个示例，创建一个名为 employees 的表：

CREATE TABLE employees (
    id SERIAL PRIMARY KEY,
    name VARCHAR(100) NOT NULL,
    position VARCHAR(100),
    salary NUMERIC(10, 2)
);

PG 开启归档:

编辑 $PGDATA/postgresql.conf 设置以下参数：

# 开启归档模式
archive_mode = on
   
# 指定归档命令，用于将WAL文件复制到归档目录
archive_command = 'cp %p /path/to/archive/%f'

/path/to/archive/ 应替换为实际的归档目录路径

重启数据库:

1	pg_ctl restart

查看归档模式：

$ psql -p15432 -Urepmgr

repmgr=# show wal_log_hints;
 wal_log_hints
---------------
 on
(1 row)

repmgr=# show archive_mode;
 archive_mode
--------------
 on
(1 row)

repmgr=# show archive_command;
         archive_command
---------------------------------
 cp %p /u01/pg14/data/pg_achr/%f
(1 row)

展开全文 >>

组件瀚高数据库客户端适配

2024-12-27

1	curl http://192.168.238.112/packages/highgo_odbc.tar.gz \| tar -zx -C /opt/

安装postgres-odbc相关驱动：

1	yum localinstall -y /opt/highgo_odbc/postgresql12*

配置/etc/odbcinst.ini:

1	odbcinst -v -i -d -f /opt/highgo_odbc/HighGO_ODBC_Driver_for_Linux.odbcinst

或之间将以下内容添加到 /etc/odbcinst.ini

[HighGO]
Description=ODBC for HighGO
Driver=/usr/pgsql-12/lib/psqlodbcw.so
Debug=0
CommLog=1
UsageCount=1

isql 使用驱动连接瀚高

1	isql -v -k "DRIVER={HighGO};SERVER=172.16.52.104;PORT=5867;UID=sysdba;PASSWORD='High@123$';DATABASE=highgo;"

企业版本到此结束，安全版本连接会报错：

1	[08001][unixODBC]authentication method 13 not supported

替换 libpq.so.5.12 文件:

yes | cp /opt/highgo_odbc/libpq.so.5.12 /usr/pgsql-12/lib/

# 由于官方提供的so文件依赖的是 libssl.so.1.0.0 和 libcrypto.so.1.0.0
cp /opt/highgo_odbc/libcrypto.so.1.0.0 /usr/pgsql-12/lib/
cp /opt/highgo_odbc/libssl.so.1.0.0 /usr/pgsql-12/lib/

使用isql连接还是报错：

这个暂时无法解决，可能需要排查isql的问题，使用pyodbc连接正常。

1	[08001][unixODBC]致命错误: You still have "4" chances to enter your password before your account get locked.

使用Python的pyodbc连接数据库：

import pyodbc

# 数据库信息示例
ip = '172.16.52.104'
port = 5867
user = 'sysdba'
password = 'High@123$'
database = 'highgo'

# 创建连接
dsn = f'DRIVER=HighGO;SERVER={ip};PORT={port};UID={user};PWD={password};DATABASE={database};'
conn = pyodbc.connect(dsn)

# 查询数据库版本信息
cursor = conn.cursor()
cursor.execute("select version()")
print(cursor.fetchall())

# 关闭游标和连接
cursor.close()
conn.close()

帮助：

用户错误密码登陆次数过多被锁账户：Too many invalid attempts. Please contact the syssso user to unlock，使用syssso用户解锁 psql -U syssso -p 5867 执行以下语句：

1	select user_unlock('sysdba');

修改用户密码：

1	alter user sysdba with password 'High@1234$';

Syssso 连接数据库后：

--查询参数
highgo=# select name,setting from pg_settings where name like 'pass%';
        name         | setting
---------------------+---------
 password_encryption | sm3

highgo=> select show_secure_param();
show_secure_param
hg_sepofpowers = on,                  +
hg_macontrol = on,                    +
hg_rowsecure = on,                    +
hg_showlogininfo = on,                +
hg_clientnoinput = 30 min(s),         +
hg_idcheck.enable = on,               +
hg_idcheck.pwdlock = 5 time(s),       +
hg_idcheck.pwdlocktime = 24 hour(s),  +
hg_idcheck.pwdvaliduntil = 30 day(s), +
hg_idcheck.pwdpolicy = low,           +
hg_sepv4 = v4,                        +

--设置参数
select set_secure_param('hg_idcheck.pwdvaliduntil','0');  --设置为密码有效期不限制

1 2	select set_secure_param('hg_idcheck.pwdvaliduntil','0'); select set_secure_param('hg_showlogininfo','off');

其他参数说明：

password_encryption：密码加密方式 sm3。
hg_sepofpowers：三权分立功能开关，默认 on，开启三权功能；off 为关闭三权分立，关闭后即无安全功能。参数值重启生效。
hg_macontrol：强制访问控制功能开关，默认 on，开启强制访问控制；参数值为 min，表示强访功能最小化，即只有自主访问控制功能。参数值重启生效。
hg_rowsecure：行级强制访问功能开关。该参数只在 hg_macontrol 为 on 时生效。参数值为 on|off， on 为开启行级访问控制， off 为关闭行级访问控制，开启表级访问控制。默认为 off。参数值重启生效。
hg_showlogininfo：登入信息显示开关。管理工具和psql 客户端，参数值为 on|off， on 为开启功能， off 为关闭功能，默认on。参数值动态生效。
hg_clientnoinput：session 不活动无操作自动断开的时间(有事务运行则不会断开)。参数范围值为 0-1440 分钟；默认 30 分钟，设置为 0 则不限制。参数值重启生效。
hg_idcheck.enable：该参数相当于其他子参数的总开关。默认值为 on，开启身份鉴别，其他子参数以默认值显示;off 为关闭身份鉴别，所有身份鉴别相关参数均不生效。参数值重启生效。
hg_idcheck.pwdlock：密码连续输入错误多少次后账户被锁，默认 5 次。参数范围值为 0-10次,设置为 0 表示不限制密码错误次数，重启后密码连续错误次数重新计算。参数值动态（不重启）生效。
hg_idcheck.pwdlocktime：密码连续错误次数超限被锁定的时间，默认 24 小时，参数范围值为 0-240 小时。设置为 0 则表示一直被锁定，但可以通过 syssso 解锁。参数值动态（不重启）生效。
hg_idcheck.pwdvaliduntil：参数功能为密码有效期，参数范围值为 0-365 天，默认 7 天，设置值为 0 表示不限制天数。参数值动态（不重启）生效。
hg_idcheck.pwdpolicy：参数有 low、 medium、 high、 highest 四个参数值，设置为 low 时表示密码不受限制；设置为 medium 表示密码长度至少为 8 位，必须包含字母和数字；设置为 high 表示密码长度至少为8 位，必须包含字母、数字和特殊字符。 highest,包含常用密码、保留字、关键字等所有密码规则。默认为highest 参数值动态（不重启）生效。
hg_sepv4：该选项的值可以为 v4 或者 v45。默认值为 v4，表示三权分立为 V4 版本。可设置为 v45，表示三权分立的版本为 V45 版本。当 hg_sepofpowers 为 on 时，此选项才会生效。改变此选项的值后需要重启数据库生效。注：该参数在 HGDB-SEE V4.5.5 及以后的版本中支持。

https://juejin.cn/post/7108314539828969485

展开全文 >>

Gerrit源码编译并运行

2024-12-18

0 Docker 镜像拉取运行并换源：

docker run -it -p 8080:8080 ubuntu:20.10 bash

# 换国内源
mv /etc/apt/sources.list /etc/apt/sources.list.bak
echo "deb http://mirrors.aliyun.com/ubuntu/ focal main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ focal-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ focal-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ focal-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ focal-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ focal main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ focal-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ focal-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ focal-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ focal-backports main restricted universe multiverse" | tee /etc/apt/sources.list

1 安装依赖：

1 2	apt update apt install -y git openjdk-17-jdk python3 zip curl wget aptitude

2 安装 Bazel

# 这里使用了 aptitude 进行安装，会检测依赖是否安装，注意看提示的信息进行选择。
aptitude install gnupg
curl -fsSL https://bazel.build/bazel-release.pub.gpg | gpg --dearmor > bazel-archive-keyring.gpg
mv bazel-archive-keyring.gpg /usr/share/keyrings

echo "deb [arch=amd64 signed-by=/usr/share/keyrings/bazel-archive-keyring.gpg] https://storage.googleapis.com/bazel-apt stable jdk1.8" | sudo tee /etc/apt/sources.list.d/bazel.list
apt update
aptitude install bazel=7.2.1

# 安装完成后查看版本
bazel version

3 克隆 Gerrit 代码并构建

1
2
3

git clone --recursive https://gerrit.googlesource.com/gerrit
cd gerrit
bazel build :release

4 初始化 Gerrit Site 并启动

java -jar bazel-bin/release.war init -d </path/to/gerrit/site>

# 可能初始化后就启动了，下面命令可以执行下：
</path/to/gerrit/site>/bin/gerrit.sh start

5 访问 Web UI http://localhost:8080

展开全文 >>

Linux 安装 Tomcat

2024-10-14

1、安装 JDK Linux 安装JDK和Java环境变量配置
2、下载 Tomcat，官网: https://tomcat.apache.org 这里实例安装 Tomcat 10.1.31
3、安装

1 2	mkdir /usr/local/tomcat tar -zxvf apache-tomcat-10.1.31.tar.gz -C /usr/local/tomcat

4、启动和停止

cd /usr/local/tomcat/apache-tomcat-10.1.31/bin
# 启动
./startup.sh
# 停止
./shutdown.sh

5、Tomcat 服务器根目录下的文件夹:

bin: 存放 Tomcat 的启动、停止等相关命令
lib: 存放 Tomcat 运行时所需要的 jar 包
conf: Tomcat 配置文件目录
logs: Tomcat 运行日志目录
webapps: 存放运行在 Tomcat 服务器内的应用程序（JavaWeb 应用部署目录）
work: 存放应用程序运行时动态生成的 java 代码和动态编译的 class 文件
temp: 存放 Tomcat 运行时产生的临时文件

展开全文 >>

场景 0：使用 Docker CLI (基础)

场景 1：使用 Docker Compose (进阶)

方法 1：在 docker-compose.yml 文件中指定 (推荐)

方法 2：使用环境变量 (临时指定)

现有文件系统上创建一个文件作为 ZFS 池：

创建 ZFS 数据集并配置优化参数:

迁移 MySQL 数据：

创建快照 ：

日常管理命令 :

验证快照恢复功能 ：

创建测试数据库和表 ，并插入数据：

手动创建快照 ：

继续插入测试数据 ：

快照恢复:

查看恢复的数据 ：

安装步骤

1. 配置软件源

2. 安装编译依赖

3. 下载Python源码

4. 配置编译选项

配置选项说明：

5. 编译安装

6. 清理安装文件（可选）

7. 配置环境变量

8. 创建系统链接（可选）

9. 验证安装

清理工作

Docker 运行 Cache：

终端使用

Python 驱动连接（一般路径为 /usr/cachesys/dev/python ）：

Python 驱动打包

容器内换源

安装依赖

安装

打包

创建数据库表

PG 开启归档:

方法 1：在 `docker-compose.yml` 文件中指定 (推荐)

创建快照：

验证快照恢复功能：

创建测试数据库和表，并插入数据：

手动创建快照：

继续插入测试数据：

查看恢复的数据：

Python 驱动连接（一般路径为 `/usr/cachesys/dev/python` ）：