Celery启动Worker方式

参考https://www.aiuai.cn/aifarm2045.html

启动Celery的Worker时，会生成子进程（或线程）执行池用来处理任务。使用 --pool 命令行参数选择进程或线程。

1、Solo

Solo 池是一个內联池(inline pool)，意味着，任务不会同时处理，其只是创建一个线程(thread) 并使用该线程执行任务。
Solo适用需要逐一执行(one by one)的任务。不过，实际中不使用并发而仅使用 solo pool 的场景不多。

  • 使用方式如：
    1
    celery -A tasks worker --pool=solo --loglevel=info

2、Prefork

prefork池是 Celery 对 Python 标准库 multiprocess 的改造，其能够同时处理多个任务。也是默认执行池。

多进程的方式去实现并发，默认的并发数为当前计算机的 CPU 数，可以通过设置 -c 进行自定义设置并发数。没有推荐的并发数，因为最佳的并发数取决于很多因素，如果任务主要是 I/O 限制，可以进行增加并发数，经过测试，设置超过两倍的 CPU 数量效果不是很好，很有可能会降低性能;

  • 使用方式如：
    1
    celery -A tasks worker --pool=prefork -c 4 --loglevel=info
  • 适用场景如：
    • CPU密集型(CPU-bound)，即，任务的大部分时间主要是 CPU 计算；只有 CPU 越快时才会速度更快.
    • CPU密集型任务如：文件转换、压缩、搜索算法等.

3、Eventlet & Gevent

more >>

展开全文 >>

Docker容器内访问宿主机IP

1、使用特殊DNS名称host.docker.internal

参考：从容器连接到宿主机的服务

使用特殊的DNS名称host.docker.internal作为主机的内部IP地址，然后使用：

1
2
3
4
$ ping host.docker.internal
PING host.docker.internal (192.168.65.2) 56(84) bytes of data.
64 bytes from host.docker.internal (192.168.65.2): icmp_seq=1 ttl=37 time=3.03 ms
64 bytes from host.docker.internal (192.168.65.2): icmp_seq=2 ttl=37 time=2.42 ms

注意该DNS 只支持 Mac 与 Windows 中 desktop 这种环境，并不支持在 Linux 中使用，所以不能直接使用。

2、可以在运行时容器内添加一条解析--add-host="host.docker.internal:host-gateway"，建议Docker版本大于20，如果使用docker-compose.yaml则

1
2
3
4
services:
  myservice:
    extra_hosts:
      - host.docker.internal:host-gateway

参考https://github.com/docker/for-linux/issues/264

实测可能会报错：

1
2
3
4
5
6
7
Creating network "t_default" with the default driver
Creating t_myservice_1 ... error

ERROR: for t_myservice_1  Cannot create container for service myservice: invalid IP address in add-host: "host-gateway"

ERROR: for myservice  Cannot create container for service myservice: invalid IP address in add-host: "host-gateway"
ERROR: Encountered errors while bringing up the project.

3、设置容器网络，指定网关172.15.234.1作为宿主机访问ip

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
services:
  myservice:
    environment:
	    - REDIS_URL=redis://172.15.234.1:6379/1
    networks:
      my_net:
        aliases:
          - myservice_net

networks:
  my_net:
    driver: bridge
    driver_opts:
      com.docker.network.enable_ipv6: "false"
    ipam:
      driver: default
      config:
      - subnet: 172.15.234.0/24
        gateway: 172.15.234.1

展开全文 >>

Tmux使用

会话

新开启会话

1
$ tmux 或 tmux new -s <name>

分离会话

1
$ tmux detach

查询会话窗口

1
$ tmux ls

重接会话

1
$ tmux attach -t <name or index>

杀死会话

1
$ tmux kill-session -t <name or index>

切换会话

1
tmux switch -t <name or index>

其他命令

1
2
3
4
5
6
7
8
9
10
11
# 列出所有快捷键，及其对应的 Tmux 命令
$ tmux list-keys

# 列出所有 Tmux 命令及其参数
$ tmux list-commands

# 列出当前所有 Tmux 会话的信息
$ tmux info

# 重新加载当前的 Tmux 配置
$ tmux source-file ~/.tmux.conf

安装插件管理器tpm

1
git clone https://github.com/tmux-plugins/tpm ~/.tmux/plugins/tpm

使用快捷键 prefix + I 安装插件

窗格(Pane)操作

  • % 左右平分出两个窗格
  • “ 上下平分出两个窗格
  • x 关闭当前窗格
  • { 当前窗格前移
  • } 当前窗格后移
  • ; 选择上次使用的窗格
  • o 选择下一个窗格，也可以使用上下左右方向键来选择
  • space 切换窗格布局，tmux 内置了五种窗格布局，也可以通过 ⌥1 至 ⌥5来切换
  • z 最大化当前窗格，再次执行可恢复原来大小
  • q 显示所有窗格的序号，在序号出现期间按下对应的数字，即可跳转至对应的窗格

tmux个人配置.tmux.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
# Set prefix key to Ctrl-a
# unbind-key C-b
# set-option -g prefix C-a
# bind-key C-a last-window # 方便切换，个人习惯
# bind-key a send-prefix
# shell下的Ctrl+a切换到行首在此配置下失效，此处设置之后Ctrl+a再按a即可切换至shell行首
set-option -g prefix2 M-`  # 第二个快捷键为ALT+` 

# 重新读取加载配置文件
bind r source-file ~/.tmux.conf \; display-message "Config reloaded..."

# 不使用prefix键，使用Ctrl和左右方向键方便切换窗口
# bind-key -n "M-Left" select-window -t :-
# bind-key -n "M-Right" select-window -t :+

# displays 
setw -g mouse on

set -g default-terminal "screen-256color"   # use 256 colors
set -g display-time 5000                    # status line messages display
set -g history-limit 100000                 # scrollback buffer n lines
setw -g mode-keys vi                        # use vi mode

# vim ESC 键延迟时间
set -s escape-time 50

unbind-key j
bind-key -n M-j select-pane -D
unbind-key k
bind-key -n M-k select-pane -U
unbind-key h
bind-key -n M-h select-pane -L
unbind-key l
bind-key -n M-l select-pane -R

# 绑定Ctrl+↑↓←→键为面板上下左右调整边缘的快捷指令
bind-key -n "C-Up" resizep -U 3
bind-key -n "C-Down" resizep -D 3
bind-key -n "C-Left" resizep -L 10
bind-key -n "C-Right" resizep -R 10

# 使窗口从1开始，默认从0开始 
set -g base-index 1
# 自动重新编号 window
set -g renumber-windows on

# 关闭rename机制
setw -g automatic-rename off
setw -g allow-rename off

unbind %
bind -n M-- splitw -v -c '#{pane_current_path}'  # 垂直方向新增面板，默认进入当前目录
unbind '"'
bind -n M-= splitw -h -c '#{pane_current_path}' # 水平方向新增面板，默认进入当前目录

# 设置自动刷新的时间间隔
set -g status-interval 1
# 状态栏左对齐
set -g status-justify left
# 状态栏左侧宽度
set -g status-left-length 20
# 状态栏右侧宽度
set -g status-right-length 50

# 状态栏背景颜色
set -g status-bg '#333333'
# 状态栏前景颜色
set -g status-fg '#ffffff'
# 状态栏左侧显示 session 的名字
set -g status-left '#[bg=#00bb00] [#S] #[default] '
# 状态栏右侧显示时间
set -g status-right '#[fg=white,bg=#444444] [#h] #[fg=white,bg=#666666] %Y-%m-%d #[fg=white,bg=#888888] %H:%M:%S '

# 当前激活窗口在状态栏的展位格式
setw -g window-status-current-format '#[bg=#00bbbb, fg=#ffffff, bold]*[#I] #W*'
# 未激活每个窗口占位的格式
setw -g window-status-format '#[bg=#00bbff, fg=#ffffff] [#I] #W '

# 插件列表
set -g @plugin 'tmux-plugins/tpm'
set -g @plugin 'tmux-plugins/tmux-sensible'

set -g @plugin 'tmux-plugins/tmux-resurrect'
set -g @plugin 'christoomey/vim-tmux-navigator'
set -g @plugin 'tmux-plugins/tmux-yank'

# Initialize TMUX plugin manager (keep this line at the very bottom of tmux.conf)
run -b '~/.tmux/plugins/tpm/tpm'

展开全文 >>

源码安装Postgresql14.4

下载源码包 https://www.postgresql.org/ftp/source/v14.4/

源码安装

0、安装依赖

1
shell> apt install gcc g++ make libreadline-dev zlib1g zlib1g-dev libkrb5-dev libssl-dev libpam0g-dev libxml2-dev libxslt-dev libldap2-dev gettext tcl8.6-dev tcl-dev libperl-dev python-dev -y

离线安装时，需要使用iso镜像安装依赖(TODO)

1、解压 PG14源码

1
2
shell> mkdir -p /pg/PG14.4
shell> tar -xzvf postgresql-14.4.tar.gz -C /pg/PG14.4

2、创建用户并配置环境变量

添加安装用户和安装目录权限赋予

1
2
3
shell> useradd -m -s /bin/bash postgres
shell> mkdir /pg/PG14.4
shell> chown -R postgres:postgres /pg/PG14.4

配置环境变量

1
2
3
4
5
6
shell> su - postgres
shell> vi ~/.bash_profile
# 添加以下：
export PATH=$PATH:$HOME/bin:/pg/PG14.4/bin/

shell> source ~/.bash_profile

3、编译安装 PG

more >>

展开全文 >>

PG异步流复制搭建步骤

说明：

  • 测试主库IP: 10.211.55.4;
  • 备库IP: 10.211.55.5;
  • PG数据目录/pg/PG14.4/data/ye

主库操作部分

1、创建复制用户

1
2
postgres=# create user repl replication password 'Abcd321#';
CREATE ROLE

2、修改主库 pg_hba.conf 白名单文件

将用于流复制数据同步的 repl 用户，添加至 /pg/PG14.4/data/pg_hba.conf 文件中

1
2
shell> vi /pg/PG14.4/data/pg_hba.conf
host replication repl 10.211.55.5/32 md5

repl 用户添加之后，及时手动进行生效

1
2
shell> pg_ctl reload
server signaled

3、修改参数文件

more >>

展开全文 >>

使用Github的Actions自动构建个人博客

个人博客之前使用的是 hexo+travis自动构建github page，但是由于长时间未更新内容，travis也进行了迁移和收费等变更，导致更新blog-src的博客文章之后，不能自动生成静态网页并推送到zwwangoo.github.io这个仓库，正巧发现github自带的Actions功能已经能满足我的需求，那么简单折腾了一下，现在就不需要借用travis啦。
之前的部署方式：hexo+travis自动构建github page

本文参考: Github Actions 通过 SSH 自动备份到代码托管网站

前提条件：

拥有github帐号，并创建了相关仓库，这里以我个人的为例：

more >>

展开全文 >>

JetBrains全系列激活指南以及相关问题处理

本文为备份https://www.macyy.cn/blogs/archives/703，供个人学习使用。

本激活教程目前支持AppCode，CLion，DataGrip，GoLand，IntelliJ IDEA，PhpStorm，PyCharm，Rider，RubyMine，WebStorm的2021版本，暂不支持2022版本，2022版本请在试用阶段，点击「Preferences…」打开软件的偏好设置，点击左侧导航的「Plugins」，在右侧的「Type / to see options」处输入「eval reset」,找到「IDE Eval Reset」点击「Install」,安装完成后点击「Restart IDE」即可。

以下以IntelliJ IDEA为例演示，其他软件安装方法相同：

1.先卸载Mac中IntelliJ IDEA的更高版本

2.JetBrains官网 下载安装2021.1版本的IntelliJ IDEA，如果下载慢可以在MACYY下载。

安装并打开（一定要先打开！否则修改之后会无法通过苹果签名认证！）

3.下载fineagent.jar

more >>

展开全文 >>

Pycharm在使用ideavim时，进入normal模式时，输入法自动切换到英文状态

如果您已经是IdeaVim的用户,那么直接在插件中心搜索IdeaVimExtension进行安装.或者到IdeaVimExtension插件主页进行下载安装.IdeaVimExtension是依赖IdeaVim的,需要事先安装IdeaVim

  1. 确保你的操作系统已经开启了英文输入法

    • Windows需要开启en_US输入法
    • macOS需要开启ABC或en_US输入法
    • Linux 不支持

  2. 安装重启IDEA后,打开任意代码编辑器在normal模式下输入如下两个命令来激活IdeaVimExtension插件

    • :set keep-english-in-normal : 在normal模式保持英文状态
    • :set keep-english-in-normal-and-restore-in-insert : 在normal模式保持英文状态,并在回到insert时恢复输入法到原来的状态.例如,编写一段中文注释,用中文输入法写了一段文字,进入normal模式移动光标到下一行,再回到插入模式继续使用中文编辑.

  3. 上面两个命令在每次IDEA重启后都需要重新输入,也可以通过在用户目录下添加 .ideavimrc文件,将命令添加到该文件中,这样在IDEA重启时可以自动执行该文件中的指令.

展开全文 >>

Macos使用CapLock切换搜狗输入法

1、依赖软件：

  • Karabiner
  • 搜狗输入法

2、实现步骤

(1)停用搜狗输入法的英文输入模式（默认中文，不设置中英文切换快捷键）
(2)用 Karabiner 改键 CapsLock 为 f18
(3)系统偏好设置->键盘->快捷键->输入法 配置：

  • 选择上一个输入法 F18
  • 选择“输入法”菜单中的下一个输入法 ⌥F18 (同时按下 Option + CapsLock)

3、进阶自动切换输入法

  • 依赖软件 KeyboardHolder

展开全文 >>

Python调试器pdb

使用方式

  • $ python -m pdb test.py 非侵入式方法，不用额外修改源代码，在命令行下直接运行就能调试

  • import pdb;pdb.set_trace()侵入式方法，需要在被调试的代码中添加一行代码然后再正常运行代码

    当你在命令行看到下面这个提示符时，说明已经正确打开了pdb

    1
    (Pdb)

常用命令

查看源码

  • l 查看当前位置前后11行源代码（多次会翻页），当前位置在代码中会用-->这个符号标出来
  • ll 查看当前函数或框架的所有源代码

添加断点

  • b 查看断点设置
  • b lineno 断点添加到哪一行
  • b filename:lineno 断点添加到哪个文件的哪一行
  • b functionname 在函数执行的第一行设置断点

添加临时断点，执行一次后时自动删除

  • tbreak 查看临时断点
  • tbreak lineno
  • tbreak filename:lineno
  • tbreak functionname

清除断点

  • cl 清除所有断点
  • cl filename:lineno
  • cl bpnumber [bpnumber ...] 清除指定序号断点

打印变量

  • p expression 也可以是表达式
  • pp expression 打印好看的

逐行调试

  • s 执行下一行可以进入函数体
  • n 执行下一行不会进入函数体
  • r 执行下一行，如果在函数中，会直接执行到函数返回处

非逐行调试

  • c 持续执行下去，直到遇到一个断点
  • unt lineno 持续执行直到运行到指定行（或遇到断点）
  • j lineno 直接跳转到指定行（注意，被跳过的代码不执行）

其他

  • a 在函数中时打印函数的参数和参数的值
  • ! expression 在pdb中执行语句，注意语句中不能出现空格
  • whatis expression 打印表达式的类型，常用来打印变量值
  • interact 启动交互式解释器
  • q 退出pdb

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

很惭愧<br><br>只做了一点微小的工作<br>谢谢大家