python网络爬虫和信息提取(1)

requests 库的安装和使用

安装

pip install requests

7个主要方法

  • requests.requests() 构造一个请求，支撑以下各方法的基础方法。
  • requests.get() 获取HTML网页的主要方法，对应于HTTP的GET
  • requests.head() 获取HTML网页头信息的方法，对应于HTTP的HEAD
  • requests.post() 向HTML网页提交POST请求的方法，对应于HTTP的POST
  • requests.put() 向HTML网页提交PUT请求的方法，对应于HTTP的PUT
  • requests.patch() 向网页提交局部修改请求，对应于HTTP的PATCH
  • requests.delete() 向HTML网页提交删除请求，对应HTTP的DELETE

其中requests.requests()方法是基础方法，其他方法都可以说是对他的封装。可以这样理解 requests 库只有一个方法，就是 requests.requests() 方法。

more >>

展开全文 >>

python数据结构及常用排序算法

这里总结些python中的数据结构和常用的排序算法。

数据结构

栈

在python中并没有栈这个数据类型，所以需要自己进行定义和封装。其实也就是通过列表来实现栈的操作。这里就定义了一个栈和栈的基本操作。
但是需要注意的是：这里使用list作为栈，是没有进行同步的，特别是在多线程中，可能会出现并发的问题，这里有待验证。

more >>

展开全文 >>

django拾遗

django是一个非常强大的web框架，虽然也是基于MVC构造的架构，但是更加关注模型(Model，数据存取层)、模板(Template，表现层)和视图(Views，业务逻辑层)，所以成为MTV模式。django的主要目的是简便、快捷的开发数据库驱动的网站：

  • 对象关系映射(ORM): 以python类形式定义你的数据模型与关系数据库连接起来，你将得到一个非常容易使用的数据库API，同时也可以在django中使用原始的SQL语句。
  • URL分派： 使用正则表达式匹配URL，你可以设计任意的URL，没有框架的特定限定。
  • 模板系统： 使用django强大而可扩展的模板语言，可以分隔设计、内容和python代码。并且有可继承性。
  • 表单处理： 你可以方便的生成各种表单模型，实现表单的有效检验。可以方便的从你定义的模型实例生成相应的表单。
  • cache系统： 可以挂在内存缓存或者其他的框架实现超级缓存——实现你所需要的颗粒。
  • 会话(session)： 用户登录与权限检查，快速开发用户会话功能。
  • 国际化：内置国际化系统，方便开发出多种语言的网站。
  • 自动化的管理界面：不需要你花大量的工作来创建人员管理和更新内容。Django自带一个ADMIN site,类似于内容管理系统
more >>

展开全文 >>

修改软件的艺术阅读笔记及思考

利用一周零散的时间，阅读了《修改软件的艺术》点击这里去购买这本书，在阅读的过程中，结合以前的项目开发过程，深有体会和感触。软件开发不是一蹴而就的，必须遵循一些准则，在编写的过程中，也要学会思考。

全书首先是对当前的开发模式进行了介绍，并阐述了其中的弊端和缺陷。传统的瀑布式开发，让软件在后期进行修改现有功能和添加新功能的时候要付出的更多，导致更多的软件是开发失败的。一个软件成功交付也不能表示这个软件是成功的，除非交付之后没有人使用，不需要修改。在瀑布式开发中，开发者可能在几个月后才能看到它执行的结果，开发过程建立的一个测试模拟环境，已经脱离了软件上下文。从而引出，我们就需要寻找一种新的思路和开发流程——敏捷开发。

more >>

展开全文 >>

(五)NodeJs构建web应用

说明：该学习笔记参考《Node.js开发指南》，但是选用的模板和书中不同，添加了自己的理解和适当的补充！仅供参考！

我们打算从零开始用Node.js实现一个微博系统,功能包括路由控制、页面模板、数据库访问、用户注册、登录、用户会话等内容。在这里我们会使用Express框架、MVC设计模式、Jkig模板和MongoDB数据库的操作。

构建项目

###1 Express 应用生成器

通过应用生成器工具 express 可以快速创建一个应用的骨架。执行一下命令进行安装到全局环境中

npm install express-generator -g
more >>

展开全文 >>

使用git在服务器上部署git仓库并实现提交代码时同步代码到生产环境

最近由于需要对正在运行的系统进行新功能添加，本来是可以通过github进行代码维护，但是由于这个项目涉及一些问题，目前还不能开源，所以只能是手动覆盖bug文件，生产环境上的代码反而是最新的了。

之前有个思路，就是将git仓库部署到生产环境所在的服务器中，今天做了一下尝试，效果还不错，特意再次做出总结。具体实现的目标就是：

more >>

展开全文 >>

(四)NodeJs核心模块

本学习笔记是根据《Node.js开发指南》一书进行学习。

全局对象

JavaScript中有一个特殊的对象，称为全局对象（Global Object），它及其所有属性都可以在程序的任何地方访问，即全局变量。在浏览器JavaScript中，通常window是全局对象，而NodeJs中的全局对象是global，所有全局变量（除了global本身以外）都是global对象的属性。

全局对象和全局变量

按照ECMAScript的定义，满足以下条件的变量是全局变量：

  • 在最外层定义的变量
  • 全局对象的属性
  • 隐式定义的变量（未定义直接赋值的变量）

在NodeJs中你不可能在最外层定义变量，因为所有用户代码都是属于当前模块的，而模块本身不是最外层上下文。

more >>

展开全文 >>

喜欢的歌静静听

许久不见的一个哥们突然发来信息，“在吗？”。沉默了许久，打开输入框，却迟迟不能回复“在”。不是沉缅与往事，而是囊中羞涩……

随之，电话已打过来，才知是自己想过了。“明年正月十二结婚，提前通知你，不要提前走了哈！”

more >>

展开全文 >>

(三)NodeJs快速入门

本学习笔记是根据《Node.js开发指南》一书进行学习。前面的几篇是根据《深入浅出Node.js》学习，但是学习到第三四章关于异步I/O和异步编程时，就暂时先放弃了，主要因为那本书讲的有点深，更多从底层说起，对于从来没有接触过NodeJs的同学来说，学习起来有一些难度。《Node.js开发指南》这本书比较适合新手学习。当然本人也算新手。

开始用NodeJs编程

Hello World

创建hello.js编写如下代码：

conlose.log("Hello World")

打开终端，进入hello.js所在目录，执行命令：

node hello.js

console.log是我们最常用的输出指令,它和C语言中的printf的功能类似,也可以接受任意多个参数,支持%d、%s变量引用。

console.log("%d", 1000)
more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

很惭愧<br><br>只做了一点微小的工作<br>谢谢大家