介绍

Python私有包的发布，可以使用Pypi、Devpi等可以自己搭建的服务器，相对与Pypi Server，Devpi不仅提供私有包的发布，还有以下特色：

• 支持本地缓存，可以做到公司内网加速的效果。

• 支持Sphinx文档。

• 提供多索引，多索引之间还可以继承，这在维护多版本系统上十分有用。

• 支持集群部署，支持一台或多台服务器部署，来加速访问。还支持通过 json 接口，实时监控集群的状态。

• 支持导入导出功能。

• 支持给索引设置 Jenkins 触发器，可以使用 tox 自动测试上传的包。

• 使用插件可以完成Web界面的访问控制，增加私有包的安全。

自建devpi服务

devpi服务包含三个组件：

• devpi-server 是 devpi server 核心组件，提供镜像与缓存功能
• devpi-web 提供Web界面和查询功能
• devpi-client 命令行工具, 提供包上传等与服务器交互的功能

额外安装的组件：

• devpi-lockdown在nginx的帮助下实现对Web界面添加访问控制的功能

deque队列是由栈或者queue队列生成的，支持线程安全（也就是说你可以同时从deque集合的左边和右边进行操作而不会有影响），从两端都可以高效的添加(append)和弹出(pop)元素，两个方向的大概开销都是 O(1) 复杂度。

在创建时，可以指定最大长度collections.deque(maxlen=x) ，如果 maxlen 没有指定或者是 None ，deques 可以增长到任意长度。否则，deque就限定到指定最大长度，当deque满了，有新项加入时，同样数量的项就从另一端弹出。

1
2
3
4
5
6
7
8
9
10
11

In [1]: import collections
In [2]: d = collections.deque(maxlen=3)
In [3]: d.append(1)
In [4]: d.append(2)
In [5]: d.append(3)
In [6]: d
Out[6]: deque([1, 2, 3])
In [7]: d.pop()
Out[7]: 3
In [8]: d
Out[8]: deque([1, 2])

双向队列(deque)对象支持以下方法:

• append(x) 添加 x 到右端
• appendleft(x) 添加x到左端
• pop() 移去并且返回最右侧的元素，如果没有元素的话，就抛出 IndexError 索引错误。
• popleft() 移去并且返回最左侧的元素，如果没有元素的话，就抛出 IndexError 索引错误。
• clear() 移除所有元素，使其长度为0
• remove(x) 移去找到的第一个 value。 如果没有，抛出ValueError
• copy() 创建一份浅拷贝
• count() 计算等于 x 的元素个数
• extend(iterable) 将iterable中的元素添加到deque的右侧
• extendleft(iterable) 将iterable中的元素添加到deque的左侧，在结果中iterable中的顺序将被反过来添加。
• index(x[, start[, stop]]) 返回第一个匹配的第 x 个元素（从 start 开始计算，在 stop 之前），如果没找到的话，抛出ValueError
• insert(i, x) 在i位置插入x，如果插入会导致deque超出长度 maxlen 的话，就抛出 IndexError 索引错误
• reverse() 将deque逆序排列。返回 None 。
• rotate(n=1) 向右循环移动 n 步。 如果 n 是负数，就向左循环。如果deque不是空的，向右循环移动一步就等价于 d.appendleft(d.pop()) ， 向左循环一步就等价于 d.append(d.popleft()) 。

除了以上的方法，deque还支持迭代、成员测试、下标引用(d[-1])等等：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

In [1]: import collections
In [2]: d = collections.deque(maxlen=3)
In [3]: d.append(1)
In [4]: d.append(2)
In [5]: d.append(3)
In [6]: 2 in d
Out[6]: True
In [7]: d[-1]
Out[7]: 3
In [8]: d[1]
Out[8]: 2
In [9]: len(d)
Out[9]: 3
In [10]: if d:  # 判断队列d是否为空
    ...:     print(d.pop())
3
In [12]: d
Out[12]: deque([1, 2])
In [13]: d.extend([4, 5, 6])
In [14]: d
Out[14]: deque([4, 5, 6])

In [15]: d = collections.deque('abcdef')  # 重新赋值
In [16]: d
Out[16]: deque(['a', 'b', 'c', 'd', 'e', 'f'])

参考：

• collections — 容器数据类型

作为Python的打包和分发工具，steuptools是十分易用的，而将程序打包之后，可以更方便的进行部署和分发，也可以上传到Pypi。这里结合一个例子，记录一下自己在使用打包过程的笔记和遇到的问题。

只需写一个简短的setup.py安装文件，就可以开始了你的Python应用打包。

Setup.py

假设要打包的程序为setup-demo，则当前目录结构如下：

1
2
3
4
5

setup-demo/
  |- setup.py
  |- setup_demo/
    |- __init__.py
    |- ...

现在编写最基础的setup.py

1
2
3
4
5
6
7

from setuptools import setup

setup(
    name='setup-demo',    # 应用名
    version='1.0',        # 版本号
    packages=['setup_demo']    # 包括在安装包内的Python包
)

打包

有了上面的 setup.py 文件，我们就可以打出各种安装包：

• 创建egg包

1

$ python setup.py bdist_egg

该命令会在当前目录下的dist目录内创建一个egg文件，名为setup_demo-1.0-py3.6.egg。文件名格式就是“应用名-版本号-Python版本.egg”，同时你会注意到，当前目录多了build和``setup_demo.egg-info`子目录来存放打包的中间结果。

• 创建tar.gz包

1

$ python setup.py sdist

同上例类似，只不过创建的文件类型是tar.gz，文件名为setup-demo-1.0.linux-x86_64.tar.gz。

• 创建wheel包

官方推荐的打包方式使用 wheel 打包，首先要安装 wheel：

1

$ pip install wheel

然后使用 bdist_wheel 打包：

1

$ python setup.py bdist_wheel

打包完成之后，可以使用 pip 安装到本地 Python 的 site-packages 目录。例如pip install dist/setup_demo-1.0-py3-none-any.whl，然后现在和其他使用 pip 安装的三方库一样使用了。

安装

• 安装应用

1

$ python setup.py install

该命令会将当前的Python应用安装到当前Python环境的site-packages目录下，这样其他程序就可以像导入标准库一样导入该应用的代码了。

• 开发方式安装

1

$ python setup.py develop 

或

1

$ pip install -e . 

转载：Git标签管理－添加、查看、删除Git标签

在使用Git做为代码管理工具的项目，当有新版本上线时，一般会建立一个版本标签。Git标签是项目里程碑和历史状态关键点的标识，我们可以根据项目标签来查看历史某一版本的代码，也可以根据项目标签来回滚代码。Git标签在项目发布、版本管理中有着非常重要的作用。

1. 新建Git标签

新建标签使用git tag -a 标签名命令：

1

git tag -a v1.0 -m 'v1.0的备注信息'

通过以上命名，创建了v1.0标签，并使用-m参数添加了备注信息

创建带签名的标签

git tag -a命令创建的标签不带签名，如果需要创建带签名的标签可以使用git tag -s 标签名命令，带签名的标签会使用gpg私钥对标签进行加密，以保障标签的安全性。

1

git tag -s v1.0 -m 'sign v1.0 tag'

创建签名标签后，可以使用git tag -v 标签名命名验证标签的合法性：

1

git tag -v v1.0

2. 推送标签到远程服务器

添加标签后，标签会被添加到git本地代码库中。要想将标签推送到远程服务器，需要将其推送到远程服务器中，使用git push命令只能推送提交的代码，不能推送标签，提交标签需要增加--tags参数：

1

git push --tags

3. 查看标签

查看项目中所有标签使用git tag命令，该命令会列出所有已添加的标签：

1

git tag

git tag命令会简单显示标签名，如果需要查看描述信息，则使用以下命令：

1

git tag -ln

回滚版本时，我们需要根据标签名查找相应的commit提交信息。git show 标签名会列出标签信息，及其下详细的提交信息：

1

git show v1.0

4. 删除标签

标签提交有误，或想删除很久以前的标签，可以git tag -d 标签名命令将本地标签删除：

1

git tag -d v1.0

删除远程标签：

1

git push origin :refs/tags/v1.0  

Git标签，是使用Git进行代码管理中不可缺少的部分。通过Git标签，可以让你更加便的进行项目管理，版本标识和代码回滚。

参考：

• git tag 删除

购买vps服务，这里推荐 digitalocean（如果没有使用过的朋友可以通过我的邀请链接注册。）。目前来说比较稳定，系统最好选择Centos，创建服务之后，先ping一下分配的ip，如果ping不通，则删掉换区重建。

自动安装v2ray工具：

1

bash <(curl -s -L https://git.io/v2ray.sh)

安装教程参考 给小白的V2ray教程

安装BBR：

1

wget -N --no-check-certificate "https://raw.githubusercontent.com/chiakge/Linux-NetSpeed/master/tcp.sh" && chmod +x tcp.sh && ./tcp.sh

先选择安装安装 BBR/BBR魔改版内核内核，安装完成后，
重启系统后再运行tcp.sh按需要选择加速，我选择的是魔改版加速。

Linux下载客户端脚本

1
2

wget https://install.direct/go.sh
sudo base go.sh

1、设置cookie

1
2
3
4
5
6
7
8
9
10
11
12
13

from requests import Session
from requests.cookies import RequestsCookieJar

session = Session()
res = session.post('http://data.huaxuejia.cn/search.php',
files={'search_keyword': (None, casnum)})

cookie_jar = RequestsCookieJar()
resd = requests.utils.dict_from_cookiejar(res.cookies)
cookie_jar.set([key for key in resd][0], resd[[key for key in resd][0]], domain='.huaxuejia.cn')

res = session.post('http://data.huaxuejia.cn/search.php', files={'search_keyword': (None, casnum)}, cookies=cookie_jar)

2、post提交表单

1
2
3

from requests import Session

res = session.post(url, files={key: (None, value)})

3、错误（too many open files）:

1

OpenSSL.SSL.Error: [('system library', 'fopen', 'Too many open files'), ('BIO routines', 'BIO_new_file', 'system lib'), ('x509 cetificate routines', 'X509_load_cert_crl_file', 'system lib')]

解决：

1
2
3
4
5
6

import requests

session = requests.Session()
res = session.get('http://www.baidu.com')
session.close()
del(session)

如下代码：

1
2
3
4
5
6
7
8
9
10

>>> a = [[]] * 3
>>> b = []
>>> for i in range(3):
...    b.append([])
>>> a == b
True
>>> a
[[], [], []]
>>> b
[[], [], []]

从上面结果看，[[]] * 3确实是创建了一个 [[], [], []]的空列表，但是我们在赋值的时候就会出现以下出乎意料的情况：

1
2
3
4
5
6
7
8

>>> a[0].append(1)
>>> b[0].append(1)
>>> a == b
False
>>> a
[[1], [1], [1]]
>>> b
[[1], [], []]

探究其原因是因为使用乘号*复制时，只是复制了索引，即复制的n个索引都指向同一个物理地址，所以在操作其中任何一个时，都会同时修改其他内容。同理列表中多个空字典也是同样的问题。

优雅的解决这个问题(借助列表推导式)：

1
2
3
4
5
6

>>> a  = [[] for i in range(3)]
>>> a
[[], [], []]
>>> a[0].append(1)
>>> a
[[1], [], []]

以下是步骤：

1、下载中文字体（黑体，看准系统版本）http://www.fontpalace.com/font-details/SimHei/
2、安装字体

1

sudo mv SimHei.ttf /usr/share/fonts/

3、在~/.config/matplotlib/下创建 matplotlibrc添加以下三行：

1
2
3

font.family         : sans-serif        
font.sans-serif     : SimHei, Bitstream Vera Sans, Lucida Grande, Verdana, Geneva, Lucid, Arial, Helvetica, Avant Garde, sans-serif   
axes.unicode_minus  : False

或者 修改配置文件 matplotlibrc 同样在matplotlib/mpl-data/fonts目录下面添加三行(原配置文件这是三个配置项应该是被注释掉的)

如果还不行

删除matplotlib的缓存:

1

sudo rm ~/.cache/matplotlib

使用pyenv和pyenv-virtualenv可以轻松的管理不同版本的Python，而且各个版本的环境完全独立，互不干扰，在Linux下结合shell，是十分推荐的。
这里记录Ubuntu系统下的安装、使用的一些步骤，同时也记录一些使用Pyenv的一些比较复杂的问题的解决方案。

安装

依赖安装

为了避免一些不必要的麻烦，这里建议是提前安装一些依赖：

1

sudo apt install -y git make wget curl build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev libncurses5-dev libncursesw5-dev llvm 

安装pyenv

• clone项目到当前用户目录下

  1	git clone https://github.com/pyenv/pyenv.git ~/.pyenv

注：如果使用zsh则将下面 ~/.bash_profile 改为 ~/.zshrc

• 添加环境环境变量

  1 2	echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bash_profile echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bash_profile

• 添加 pyenv init 到shell中

  1	echo -e 'if command -v pyenv 1>/dev/null 2>&1; then\n eval "$(pyenv init -)"\nfi' >> ~/.bash_profile

• 重启shell

  1	exec "$SHELL"

• 查看pyenv安装版本，可以查看本机安装Python版本

  1	pyenv verson