Python：使用setuptools进行包管理

作为Python的打包和分发工具，steuptools是十分易用的，而将程序打包之后，可以更方便的进行部署和分发，也可以上传到Pypi。这里结合一个例子，记录一下自己在使用打包过程的笔记和遇到的问题。

只需写一个简短的setup.py安装文件，就可以开始了你的Python应用打包。

Setup.py

假设要打包的程序为setup-demo，则当前目录结构如下：

1
2
3
4
5
setup-demo/
  |- setup.py
  |- setup_demo/
    |- __init__.py
    |- ...

现在编写最基础的setup.py

1
2
3
4
5
6
7
from setuptools import setup

setup(
    name='setup-demo',    # 应用名
    version='1.0',        # 版本号
    packages=['setup_demo']    # 包括在安装包内的Python包
)

打包

有了上面的 setup.py 文件，我们就可以打出各种安装包：

  • 创建egg包
1
$ python setup.py bdist_egg

该命令会在当前目录下的dist目录内创建一个egg文件，名为setup_demo-1.0-py3.6.egg。文件名格式就是“应用名-版本号-Python版本.egg”，同时你会注意到，当前目录多了build和``setup_demo.egg-info`子目录来存放打包的中间结果。

  • 创建tar.gz包
1
$ python setup.py sdist

同上例类似，只不过创建的文件类型是tar.gz，文件名为setup-demo-1.0.linux-x86_64.tar.gz。

  • 创建wheel包

官方推荐的打包方式使用 wheel 打包，首先要安装 wheel：

1
$ pip install wheel

然后使用 bdist_wheel 打包：

1
$ python setup.py bdist_wheel

打包完成之后，可以使用 pip 安装到本地 Python 的 site-packages 目录。例如pip install dist/setup_demo-1.0-py3-none-any.whl，然后现在和其他使用 pip 安装的三方库一样使用了。

安装

  • 安装应用
1
$ python setup.py install

该命令会将当前的Python应用安装到当前Python环境的site-packages目录下，这样其他程序就可以像导入标准库一样导入该应用的代码了。

  • 开发方式安装
1
$ python setup.py develop

或

1
$ pip install -e .
more >>

展开全文 >>

git tag管理

转载：Git标签管理－添加、查看、删除Git标签

在使用Git做为代码管理工具的项目，当有新版本上线时，一般会建立一个版本标签。Git标签是项目里程碑和历史状态关键点的标识，我们可以根据项目标签来查看历史某一版本的代码，也可以根据项目标签来回滚代码。Git标签在项目发布、版本管理中有着非常重要的作用。

1. 新建Git标签

新建标签使用git tag -a 标签名命令：

1
git tag -a v1.0 -m 'v1.0的备注信息'

通过以上命名，创建了v1.0标签，并使用-m参数添加了备注信息

创建带签名的标签

git tag -a命令创建的标签不带签名，如果需要创建带签名的标签可以使用git tag -s 标签名命令，带签名的标签会使用gpg私钥对标签进行加密，以保障标签的安全性。

1
git tag -s v1.0 -m 'sign v1.0 tag'

创建签名标签后，可以使用git tag -v 标签名命名验证标签的合法性：

1
git tag -v v1.0

2. 推送标签到远程服务器

添加标签后，标签会被添加到git本地代码库中。要想将标签推送到远程服务器，需要将其推送到远程服务器中，使用git push命令只能推送提交的代码，不能推送标签，提交标签需要增加--tags参数：

1
git push --tags

3. 查看标签

查看项目中所有标签使用git tag命令，该命令会列出所有已添加的标签：

1
git tag

git tag命令会简单显示标签名，如果需要查看描述信息，则使用以下命令：

1
git tag -ln

回滚版本时，我们需要根据标签名查找相应的commit提交信息。git show 标签名会列出标签信息，及其下详细的提交信息：

1
git show v1.0

4. 删除标签

标签提交有误，或想删除很久以前的标签，可以git tag -d 标签名命令将本地标签删除：

1
git tag -d v1.0

删除远程标签：

1
git push origin :refs/tags/v1.0

Git标签，是使用Git进行代码管理中不可缺少的部分。通过Git标签，可以让你更加便的进行项目管理，版本标识和代码回滚。

参考：

展开全文 >>

自建V2Ray和加速

购买vps服务，这里推荐 digitalocean（如果没有使用过的朋友可以通过我的邀请链接注册。）。目前来说比较稳定，系统最好选择Centos，创建服务之后，先ping一下分配的ip，如果ping不通，则删掉换区重建。

自动安装v2ray工具：

1
bash <(curl -s -L https://git.io/v2ray.sh)

安装教程参考 给小白的V2ray教程

安装BBR：

1
wget -N --no-check-certificate "https://raw.githubusercontent.com/chiakge/Linux-NetSpeed/master/tcp.sh" && chmod +x tcp.sh && ./tcp.sh

先选择安装安装 BBR/BBR魔改版内核内核，安装完成后，
重启系统后再运行tcp.sh按需要选择加速，我选择的是魔改版加速。

Linux下载客户端脚本

1
2
wget https://install.direct/go.sh
sudo base go.sh
more >>

展开全文 >>

requests库的使用注意地方

1、设置cookie

1
2
3
4
5
6
7
8
9
10
11
12
13
from requests import Session
from requests.cookies import RequestsCookieJar

session = Session()
res = session.post('http://data.huaxuejia.cn/search.php',
files={'search_keyword': (None, casnum)})

cookie_jar = RequestsCookieJar()
resd = requests.utils.dict_from_cookiejar(res.cookies)
cookie_jar.set([key for key in resd][0], resd[[key for key in resd][0]], domain='.huaxuejia.cn')

res = session.post('http://data.huaxuejia.cn/search.php', files={'search_keyword': (None, casnum)}, cookies=cookie_jar)

2、post提交表单

1
2
3
from requests import Session

res = session.post(url, files={key: (None, value)})

3、错误（too many open files）:

1
OpenSSL.SSL.Error: [('system library', 'fopen', 'Too many open files'), ('BIO routines', 'BIO_new_file', 'system lib'), ('x509 cetificate routines', 'X509_load_cert_crl_file', 'system lib')]

解决：

1
2
3
4
5
6
import requests

session = requests.Session()
res = session.get('http://www.baidu.com')
session.close()
del(session)

展开全文 >>

Python踩坑：List的‘+’和‘append’ 

1
2
3
4
5
6
7
8
In [2]: d = [1, 2, 1, 3, 2, 4]
   ...: print(id(d))
   ...: for i, v in enumerate(d):
   ...:     print(i, v)
   ...:     if v > 2:
   ...:         d = d[:i] + [1] + d[i:]
   ...:     print(id(d))
   ...:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

def func(data):
    print(data)
    print(id(data))
    # data.append('23')  # append 和 += 都不会创建新对象，
    # data += ['23']
    data = data + ['23']  # 这种写法，左边的data已经是一个新建的局部变量对象了,
    print(id(data))
    print(data)


if __name__ == '__main__':

    data = [12, 45, 89]
    func(data)
    print(data)
    print(id(data))

展开全文 >>

Python踩坑：列表中使用乘号复制多个空列表的问题

如下代码：

1
2
3
4
5
6
7
8
9
10
>>> a = [[]] * 3
>>> b = []
>>> for i in range(3):
...    b.append([])
>>> a == b
True
>>> a
[[], [], []]
>>> b
[[], [], []]

从上面结果看，[[]] * 3确实是创建了一个 [[], [], []]的空列表，但是我们在赋值的时候就会出现以下出乎意料的情况：

1
2
3
4
5
6
7
8
>>> a[0].append(1)
>>> b[0].append(1)
>>> a == b
False
>>> a
[[1], [1], [1]]
>>> b
[[1], [], []]

探究其原因是因为使用乘号*复制时，只是复制了索引，即复制的n个索引都指向同一个物理地址，所以在操作其中任何一个时，都会同时修改其他内容。同理列表中多个空字典也是同样的问题。

优雅的解决这个问题(借助列表推导式)：

1
2
3
4
5
6
>>> a  = [[] for i in range(3)]
>>> a
[[], [], []]
>>> a[0].append(1)
>>> a
[[1], [], []]

展开全文 >>

Ubuntu下matplotlib图例中文显示方块的解决

以下是步骤：

1、下载中文字体（黑体，看准系统版本）http://www.fontpalace.com/font-details/SimHei/
2、安装字体

1
sudo mv SimHei.ttf /usr/share/fonts/

3、在~/.config/matplotlib/下创建 matplotlibrc添加以下三行：

1
2
3
font.family         : sans-serif        
font.sans-serif     : SimHei, Bitstream Vera Sans, Lucida Grande, Verdana, Geneva, Lucid, Arial, Helvetica, Avant Garde, sans-serif   
axes.unicode_minus  : False

或者 修改配置文件 matplotlibrc 同样在matplotlib/mpl-data/fonts目录下面添加三行(原配置文件这是三个配置项应该是被注释掉的)

如果还不行

删除matplotlib的缓存:

1
sudo rm ~/.cache/matplotlib

展开全文 >>

pyenv的安装使用和问题解决

使用pyenv和pyenv-virtualenv可以轻松的管理不同版本的Python，而且各个版本的环境完全独立，互不干扰，在Linux下结合shell，是十分推荐的。
这里记录Ubuntu系统下的安装、使用的一些步骤，同时也记录一些使用Pyenv的一些比较复杂的问题的解决方案。

安装

依赖安装

为了避免一些不必要的麻烦，这里建议是提前安装一些依赖：

1
sudo apt install -y git make wget curl build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev libncurses5-dev libncursesw5-dev llvm

安装pyenv

  • clone项目到当前用户目录下
    1
    git clone https://github.com/pyenv/pyenv.git ~/.pyenv

注：如果使用zsh则将下面 ~/.bash_profile 改为 ~/.zshrc

  • 添加环境环境变量

    1
    2
    echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bash_profile
    echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bash_profile

  • 添加 pyenv init 到shell中

    1
    echo -e 'if command -v pyenv 1>/dev/null 2>&1; then\n  eval "$(pyenv init -)"\nfi' >> ~/.bash_profile

  • 重启shell

    1
    exec "$SHELL"

  • 查看pyenv安装版本，可以查看本机安装Python版本

    1
    pyenv verson
more >>

展开全文 >>

ZMQ的学习和使用

参考：ZMQ 指南
代码：ZMQ-DEMO

ZeroMQ 是基于消息队列的多线程网络库，其对套接字类型、连续处理、帧甚至路由的底层细节抽象，提供跨域多种传输协议的套接字。

生命周期

1 创建上下文。ZMQ 的context上下文是线程安全，可以在多线程中使用，不需要主动为其加锁或解锁。
2 创建和销毁套接字。ZMQ套接字是在后台I/O操作的，无论是发送还是接受消息，它都会先传送到一个本地的缓存队列。
3 配置和读取套接字选项。ZMQ套接字不是线程安全的，在 bind 之前不能使用。
4 为套接字连接。常用的四种协议：机器间(tcp://)、进程间(ipc://)、进程内(inproce://)、广播(pgm://)。bind()连接的节点称之为服务器，有固定的地址，connect()连接的节点成为客户端，其地址一般不固定。
5 发送和接收信息。

ZMQ的核心消息模式

  • 请求-应答模式，将一组服务端和一组客户端相连，用于远程过程调用或任务分发。（REQ-REP）
  • 发布-订阅模式，将一组发布着和一组订阅者相连，用于数据分发。（PUB-SUB）
  • 管道模式，使用PUSH或PULL的形式组装多个节点，可以产生步骤或循环。（PUSH-PULL）

实例（Python实现）

请求应答模式

请求-应答模式，将一组服务端和一组客户端相连，用于远程过程调用或任务分发。（REQ-REP）

基础实现

REQ-REP

more >>

展开全文 >>

Python实现给excel表格设置密码

入职新公司，同事让帮忙写一个Python脚本，实现每天定时获取生产环境的数据生成excel表格，推送到指定邮箱。想了想，不难实现，就答应下来了。但是等写完了才被通知到，邮件携带的excel表格，要设置指定密码，进行保护，顿时懵逼，貌似Python暂时不能实现吧？然后各种资料源码查看，然后确定了确实不能实现，先通知同事一声，说Python实现不了设置密码的功能，然后就只能放弃了。

但是哥不是那种容易放弃的人！旁边坐的朱同学说，我看看Java能否实现。果不其然，Java才是万能的！(拍一下各位Java看官大佬们的马屁)。

于是，才有了这个文章，以下简单整理一下实现的过程，虽然都是从网上参考过来的，但是这个功能点是能够实现的，再次记录分享一下，以供下次参考。准确的说，本文应该是“实战Python通过调用Java的第三方jar包完成对excel表格的密码设置”。下面开始正文。

环境搭建

Python的环境和JDK的环境就不用说了，我这里使用的是Python3.6和JDK8。重点是以下的一个Python库和一个Java的jar包。

more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

很惭愧<br><br>只做了一点微小的工作<br>谢谢大家