pymongo的基本使用

本文参考最新的 pymongo 官方文档进行整理，至文档更新时，PyMongo的版本号为3.6.1

先决条件

开始之前，请确保你的pymongo被正确安装，在 Python shell 中，应该运行以下代码而不会引发异常：

import pymongo

另外一个条件就是确保MongoDB实例正在默认主机和端口上运行(如果你的操作系统是windows，可以参考这篇文章进行mongodb的安装和运行)

more >>

展开全文 >>

python使用的一些小技巧和面试中遇到的问题整理

2018年，新的开始，所以我用Python3.x啦，除了原有项目的维护外，全面升级到python3，人生苦短，就用python

7月3日

记住一句话：

当我们叠加装饰器的时候，最上层的装饰器会首先运行，接着调用下一行的下一个函数：要么是视图函数，要么就是装饰器。

6月26日

值得参考的python点击这里

字符串格式化：% 和.format

.format 在很多方便看起来更便利，对于 % 最烦人的是它无法同时传递一个变量和元祖，例如以下：

1
"hi there %s" % name

但是，如果name恰好是(1, 2, 3）,它会抛出一个TypeError异常.为了保证它总是正确的,你必须这样做:

1
"hi there %s" % (name,)   # 提供一个单元素的数组而不是一个参数

但是有点丑..format就没有这些问题.你给的第二个问题也是这样,.format好看多了.

字典推导式

1
d = {key: value for (key, value) in iterable}
more >>

展开全文 >>

迈迪和数为两家公司面经及感想

这两天分别面试了迈迪和数为两家公司，这两家公司都没有我讨厌的笔试，所以面试的结果都不错，这不，心情倍好，吃鸡啦！

面试迈迪

今天(2018-02-28)面试了迈迪（浙江迈迪信息技术公司），这是我面试的第一家(虽然也没有面试几家呢)没有python笔试，也没有其他乱七八糟的事！直接和你聊项目的，我很喜欢！这也是第一家谈妥的公司，心里很是高兴！

more >>

展开全文 >>

小余教育面经及整理

水光潋滟晴方好，山色空蒙雨亦奇。欲把西湖比西子，淡妆浓抹总相宜。

初识杭州

24号晚上到杭州，在这个陌生的城市呆了第一个晚上。早上六点从家里出发，吃了老妈包的饺子，然后做了一白天的汽车，一天下来也只吃了早饭。杭州下着小雨，天有点凉。

25号在热心小姐姐的帮助下，迅速的找到了落脚的地方，购置完被褥啥的，已经用去1600块大洋了。但是好歹在这里有一个临时落脚的地方。

25号晚上约了一个26号的面试，没有做什么准备就直接上了，这不，回来了只能写面经啦。这次面试直接暴露了几点：

  • python基础的不牢固
  • 还是python基础的不牢固

因为这家公司的面试就针对了python来进行提问了，其他准备的啥算法、项目经验，都没有提到，所以在这里简单记一下，还是要加强基础的牢固掌握。

more >>

展开全文 >>

python持续集成之尝鲜

驱动测试 和 持续集成 的概念正在一点一点的“腐蚀”我的思想，不去尝尝鲜便发现坐立不安。这不，这日，来了。环境是用两台虚拟机，一台用作gitlab的服务器，另外一台为jenkins的服务器，这就happy起来啦！

以下是正文，学习参考自：这里

持续集成（Continuous integration） 是一种软件开发实践，即团队开发成员经常集成它们的工作，通过每个成员每天至少集成一次，也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建（包括编译，发布，自动化测试）来验证，从而尽早地发现集成错误.

more >>

展开全文 >>

用户故事地图阅读笔记

原本计划9号之前能读完这本书的，但是由于最近各种事情，迟迟推进不了。

第六章阅读笔记

  • 用户故事是为了在协作中更好的使用它。
  • 完美的描述一件事情是非常困难的，而且容易基于过去的经验展开想象，因此听的人所想和你想传递的东西不一定一样。这就是交流的奇妙之处。
  • 通过反反复复的提问来修正对事情的理解。

这节介绍的是用户故事的故事。

more >>

展开全文 >>

mongodb的windows服务的安装

这篇文章是写给媳妇看的。

1. 安装文件

官方网站 http://www.mongodb.org/downloads, 选择对应系统的文件下载。

2.配置环境变量

如果没有更改安装目录，mongodb可能安装在 C:\Program Files\MongoDB。

这样的话，就将 C:\Program Files\MongoDB\Server\3.6\bin添加到环境变量中。

如果不是的话，只要知道mongo.exe 和 mongod.exe所在路径，并添加到环境变量中即可。重新打开cmd，输入命令mongod，提示不是“’mongod’ 不是内部或外部命令，也不是可运行的程序或批处理文件。”，就可以认为安装成功。

more >>

展开全文 >>

python网络爬虫和信息提取(4)

Scrapy框架的使用和实战

Scrapy是一个功能强大的python爬虫框架！

爬虫框架：

  • 是实现爬虫功能的一个软件结构和功能组件集合。
  • 是一个半成品，能够帮助用户实现专业网络爬虫。

安装

pip install scrapy

Scrapy常用命令

| 命令 | 说明 | 格式 |
| :————- | :————- |
| startproject | 创建一个新工程 | scrapy startproject <name> [dir] |
| genspider | 创建一个爬虫 | scrapy genspider [options] <name> <domain> |
| settings | 获取爬虫配置信息 | scrapy settings [options] |
| crawl | 运行一个爬虫 | scrapy crawl |
| list | 列出工程中所有爬虫 | scrapy list |
| shell | 启动URL调试命令行 | scrapy shell [url] |

requests vs Scrapy

相同点：

  • 两者都可以进行页面请求和爬取，python爬虫的两个重要技术路线。
  • 两者可用性都好，文档丰富，入门简单。
  • 两者都没有处理js、提交表单、对应验证码等功能（可扩展）。

不同点:

requests scrapy
页面级爬虫 网站级爬虫
功能库 框架
并发性考虑不足，性能较差 并发性好，性能较高
重点在于页面下载 重点在于爬虫结构
定制灵活 一般定制灵活，深度定制困难
上手十分简单 入门稍难

选用哪个技术路线开发爬虫

  • 非常小的需求，requests库
  • 不太小的需求，scrapy框架
  • 定制程度很好的需求(不考虑规模),自搭框架。requests > Scrapy。

展开全文 >>

python网络爬虫和信息提取(3)

re库的使用和爬虫实战

  • 通用的字符串表达框架
  • 简洁表达一组字符串的表达式
  • 针对字符串表达“简洁”和“特征”思想的工具
  • 判断某字符串的特征归属

正则表达式在 文本处理中 的应用：

  • 表达文本类型的特征（病毒、入侵等）
  • 同时查找或替换字符字符串
  • 匹配字符串的全部或部分

主要用在字符串匹配中

more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

很惭愧<br><br>只做了一点微小的工作<br>谢谢大家