caimaoy's blog

python list implementation

2015-10-16T17:47:00+08:00

Python list implementation

深入 Python 列表的内部实现

This post describes the CPython implementation of the list object. CPython is the most used Python implementation.

Lists in Python are powerful and it is interesting to see how they are implemented internally.

Following is a simple Python script appending some integers to a list and printing them.

Cpython 是 Python 最为常见的实现。 Python 中的列表非常强大，本文介绍了列表在 CPython 内部是如何实现的，一定非常有趣。

下面是一段 Python 脚本，在列表中添加几个整数，然后打印列表。

>>> l = []
>>> l.append(1)
>>> l.append(2)
>>> l.append(3)
>>> l
[1, 2, 3]
>>> for e in l:
...   print e
...
1
2
3

As you can see, lists are iterable.

可以发现，列表是一个迭代器。

List object C structure

列表对象的 C 语言结构体

A list object in CPython is represented by the following C structure. ob_item is a list of pointers to the list elements. allocated is the number of slots allocated in memory.

Cpython 中的列表实现类似于下面的 C 结构体。ob_item 是指向列表对象的指针数组。allocated 是申请内存的槽的个数。

typedef struct {
    PyObject_VAR_HEAD
    PyObject **ob_item;
    Py_ssize_t allocated;
} PyListObject;

List initialization

列表初始化

Let’s look at what happens when we initialize an empty list. e.g. l = [].

看看列表初始化的时候发生了什么，例如：l = []。

arguments: size of the list = 0
returns: list object = []
PyListNew:
    nbytes = size * size of global Python object = 0
    allocate new list object
    allocate list of pointers (ob_item) of size nbytes = 0
    clear ob_item
    set list's allocated var to 0 = 0 slots
    return list object

It is important to notice the difference between allocated slots and the size of the list. The size of a list is the same as len(l). The number of allocated slots is what has been allocated in memory. Often, you will see that allocated can be greater than size. This is to avoid needing calling realloc each time a new elements is appended to the list. We will see more about that later.

要分清列表大小和分配的槽大小，这很重要。列表的大小和 len(l) 的大小相同。分配槽的大小是指已经在内存中已经分配了的槽空间数。通常分配的槽的大小要大于列表大小，这是为了避免每次列表添加元素的时候都调用分配内存的函数。下面会具体介绍。

Append

Append 操作

We append an integer to the list: l.append(1). What happens? The internal C function app1() is called:

向列表添加一个整数：l.append(1) 时发生了什么？调用了底层的 C 函数 app1()。

arguments: list object, new element
returns: 0 if OK, -1 if not
app1:
    n = size of list
    call list_resize() to resize the list to size n+1 = 0 + 1 = 1
    list[n] = list[0] = new element
    return 0

Let’s look at list_resize(). It over-allocates memory to avoid calling list_resize too many time. The growth pattern of the list is: 0, 4, 8, 16, 25, 35, 46, 58, 72, 88, …

下面是 list_resize() 函数。它会多申请一些内存，避免频繁调用 list_resize() 函数。列表的增长系列为：0，4，8，16，25，35，46，58，72，88……

arguments: list object, new size
returns: 0 if OK, -1 if not
list_resize:
    new_allocated = (newsize >> 3) + (newsize < 9 ? 3 : 6) = 3
    new_allocated += newsize = 3 + 1 = 4
    resize ob_item (list of pointers) to size new_allocated
    return 0

4 slots are now allocated to contain elements and the first one is the integer 1. You can see on the following diagram that l[0] points to the integer object that we just appended. The dashed squares represent the slots allocated but not used yet.

现在分配了 4 个用来装列表元素的槽空间，并且第一个空间中为整数 1。如下图显示 l[0] 指向我们新添加的整数对象。虚线的方框表示已经分配但没有使用的槽空间。

Append operation amortized complexity is O(1).

列表追加元素操作的平均复杂度为 O(1)。

We continue by adding one more element: l.append(2). list_resize is called with n+1 = 2 but because the allocated size is 4, there is no need to allocate more memory. Same thing happens when we add 2 more integers: l.append(3), l.append(4). The following diagram shows what we have so far.

继续添加新的元素：l.append(2)。调用 list_resize 函数，参数为 n+1 = 2，但是因为已经申请了 4 个槽空间，所以不需要再申请内存空间。再添加两个整数的情况也是一样的：l.append(2)，l.append(2)。下图显示了我们现在的情况。

Insert

Insert 操作

Let’s insert a new integer (5) at position 1: l.insert(1,5) and look at what happens internally. ins1() is called:

在列表偏移量 1 的位置插入新元素，整数 5：l.insert(1,5)，内部调用ins1() 函数。

arguments: list object, where, new element
returns: 0 if OK, -1 if not
ins1:
    resize list to size n+1 = 5 -> 4 more slots will be allocated
    starting at the last element up to the offset where, right shift each element
    set new element at offset where
    return 0

The dashed squares represent the slots allocated but not used yet. Here, 8 slots are allocated but the size or length of the list is only 5.

虚线的方框依旧表示已经分配但没有使用的槽空间。现在分配了 8 个槽空间，但是列表的大小却只是 5。

Insert operation complexity is O(n).

列表插入操作的平均复杂度为 O(n)。

Pop

Pop 操作

When you pop the last element: l.pop(), listpop() is called. list_resize is called inside listpop() and if the new size is less than half of the allocated size then the list is shrunk.

弹出列表最后一个元素：调用 listpop() 函数。在 listpop() 函数中会调用 list_resize 函数，如果弹出元素后列表的大小小于分配的槽空间数的一半，将会缩减列表的大小。

arguments: list object
returns: element popped
listpop:
    if list empty:
        return null
    resize list with size 5 - 1 = 4. 4 is not less than 8/2 so no shrinkage
    set list object size to 4
    return last element

Pop operation complexity is O(1).
列表 pop 操作的平均复杂度为 O(1)。

You can observe that slot 4 still points to the integer but the important thing is the size of the list which is now 4.

可以看到 pop 操作后槽空间 4 依然指向原先的整数对象，但是最为关键的是现在列表的大小已经变为 4。

Let’s pop one more element. In list_resize(), size – 1 = 4 – 1 = 3 is less than half of the allocated slots so the list is shrunk to 6 slots and the new size of the list is now 3.

继续 pop 一个元素。在 list_resize() 函数中，size – 1 = 4 – 1 = 3 已经小于所分配的槽空间大小的一半，所以缩减分配的槽空间为 6，同时现在列表的大小为 3。

You can observe that slot 3 and 4 still point to some integers but the important thing is the size of the list which is now 3.

可以看到槽空间 3 和 4 依然指向原先的整数，但是现在列表的大小已经变为 3。

Remove

Remove 操作

Python list object has a method to remove a specific element: l.remove(5). listremove() is called.

Python 的列表对象有个方法，删除指定的元素： l.remove(5)。底层调用 listremove() 函数。

arguments: list object, element to remove
returns none if OK, null if not
listremove:
    loop through each list element:
        if correct element:
            slice list between element's slot and element's slot + 1
            return none
    return null

To slice the list and remove the element, list_ass_slice() is called and it is interesting to see how it works. Here, low offset is 1 and high offset is 2 as we are removing the element 5 at position 1.

为了做列表的切片并且删除元素，调用了 list_ass_slice() 函数，它的实现方法比较有趣。我们在删除列表位置 1 的元素 5 的时候，低位的偏移量为 1 同时高位的偏移量为 2.

arguments: list object, low offset, high offset
returns: 0 if OK
list_ass_slice:
    copy integer 5 to recycle list to dereference it
    shift elements from slot 2 to slot 1
    resize list to 5 slots
    return 0

Remove operation complexity is O(n).

列表 remove 操作的复杂度为 O(n)。

文章翻译自：http://www.laurentluce.com/posts/python-list-implementation/

修复pelican 3.6 后没有标签云

2015-09-27T16:55:00+08:00

提问：我的标签咋不见了？

换了新的电脑 pelican 还是要先安装
使用了如下的命令：

pip install pelican

好像一切正常，拉取一下仓库，make 一下，发现标签云没有了
为什么？

回答：pelican 版本升级，标签云 tag_cloud 被移除了

看看官网的 faq 吧—— http://docs.getpelican.com/en/3.6.3/faq.html

My tag-cloud is missing/broken since I upgraded Pelican In an ongoing effort to steamline Pelican, tag_cloud generation has been moved out of the pelican core and into a separate plugin. See the Plugins documentation further information about the Pelican plugin system.

解决：添加插件

pelican 的插件库地址
拉取仓库下来，修改 pelicanconf.py 或者 publishconf.py 文件
添加类似于如下的配置

# 插件路径
PLUGIN_PATHS = ['pelican-plugins']
# 添加插件
PLUGINS = ['tag_cloud',]

# tag_cloud 配置(自己个性配置)
DISPLAY_TAGS_INLINE = True
DISPLAY_TAGS_ON_SIDEBAR = True
TAG_CLOUD_STEPS = 4

nginx + gunicorn + supervisior + flask 部署 python web

2015-09-13T10:00:00+08:00

简介

最近离职休假，在家研究 python 的 web 框架
本来是要来 tornado 的，但是因为 Falsk 文档更为齐全，并且更易上手，所以先来了flask
做了一个小 web 之后就想发布，看了一下官方文档说了 Heroku 云服务和其他的 VPS，于是上Heroku 上面去折腾了一番
除了 git 和 Heroku 自己的东西，中间在启动的时候有如下代码：

web: gunicorn gettingstarted.wsgi --log-file -

gunicorn 是什么？
继续 google 发现了一套比较通用的部署 python web app 的解决方案
nginx + gunicorn + supervisior + flask 来吧在本地折腾一番吧

大体介绍

创建一个项目

mkdir myproject

创建 python 虚拟环境

virtualenv is a tool to create isolated Python environments.
不同项目完全隔离的 python 虚拟环境

mkdir myproject
cd myproject
virtualenv venv

使用 venv 环境

source venv/bin/activate

安装 python web 框架 flask

Flask is a microframework for Python based on Werkzeug, Jinja 2 and good intentions. And before you ask: It's BSD licensed!
使用 pip 安装 flask

pip install flask

mpapp.py 文件

from flask import Flask
app = Flask(__name__)
@app.route('/')
def index():
    return 'hello world'
if __name__ == '__main__':
    app.debug = True
    app.run()

启动flask

python myapp.py

正常情况下可以在浏览器中访问 http://127.0.0.1:5000 查看到 hello world

使用 gunicorn 部署 python web

Gunicorn 'Green Unicorn' is a Python WSGI HTTP Server for UNIX. It's a pre-fork worker model ported from Ruby's Unicorn project. The Gunicorn server is broadly compatible with various web frameworks, simply implemented, light on server resources, and fairly speedy.
安装 gunicorn

pip install gunicorn

pip 是用于 python 的包管理工具
我们现在在这个项目中又安装了新的 python 库，所以我们需要记录在 requirements.txt 文件中
这样方便方便别人部署

pip freeze > requirements.txt

当我们安装好 gunicorn 之后，需要用 gunicorn 启动 flask
注意 flask 里面的name 里面的代码启动了 app.run()
这个含义是用 flask 自带的服务器启动 app
这里我们使用了 gunicorn，myapp.py 就等同于一个库文件，被 gunicorn 调用

gunicron -w4 -b0.0.0.0:8000 myapp:app

此时，我们需要用 8000 的端口进行访问，原先的5000 并没有启用
其中 gunicorn 的部署中，-w 表示开启多少个 worker
b 表示 gunicorn 开发的访问地址
想要结束 gunicorn 只需执行 pkill gunicorn
有时候还的 ps 找到 pid 进程号才能 kill
可是这对于一个开发来说，太过于繁琐，因此出现了另外一个神器---supervisor
一个专门用来管理进程的工具，还可以管理系统的工具进程
到此 python web 应用可以正常使用
之后的进程管理和 nginx 部署还够写很多，之后再见

Best Python Resources

2015-09-03T23:58:00+08:00

翻译了一篇文章，原文链接为 http://www.fullstackpython.com/best-python-resources.html

Full Stack Python

Best Python Resources

Python 社区在分享细节的学习资源和帮助初学者掌握语言方面总是很积极热情的，但是也就是因为太多的资源导致人们很难知道如何找到它们。本文整理了最好、最通用的 Python 资源，并且简述了其内容。

如果您更喜欢通过视频的方式来学习可以点击最好的python视频。如果有兴趣您也可以阅读一下代码开发环境。

写给编程新手的

如果你是学习第一门编程语言，本小节的书是比较适合你的。如何在学习Python之前你已经学习过其他的编程语言，请跳过此小节直接到下一小节——“有经验的开发者”。

想要同一时间了解 Python，Django 和 Flask，可以考虑购买Fletcher，Michael和Jeremy三人提供Real Python课程
短短 5 分钟的视频告诉你为什么去思考自己想要构建的项目，去编程解决自己想要解决的问题是更好的选择。在这些项目和问题上花心思比一头栽进一个朋友推荐的特定语言要好。
全民计算机是一本由哈威穆德学院教授编写的公开图书，教授们使用 Python 教授最基础的计算机科学知识。这本书对初学编程人来说是绝佳的入门读物。
如果你在点击查看Laurence Bradford出品的跟我学编程的开始编程页面之前重来没有编程经历，她会很好地帮助你。她完成了一个难以置信的工作，将初学者应该完成的步骤进行分解，在他们不知道从何开始的地方给予他们帮助。
笨法学 Python是 Zed Shaw 的一本免费图书。
深入 Python 3是一本提供了知识共享许可协议的开源图书，可获得 HTML 和 PDF 版本。
虽然不是特定于 Python，Mozilla 提供了针对初级、中级 web 用户和想要建站的人学习 Web 的教程。从普通 web 开发者的角度出发值得一看。
一字节 Python 是 Python 初学者的教程。
代码学院有一个 Python 篇，适合编程新手。
Introduction to Programming with Python 用 Python介绍基础的语法和结构控制。这本免费图书每个章节都提供了大量的代码示例。
谷歌提供了大量的材料和主题，如果你想要成为一个专业的程序员，你应该去阅读学习一下。这些资源不仅仅对 Python 初学者有用，对每一个想要在软件开发行业获得更好职业生涯的开发者同样适用。
O'Reilly 的图书《像计算机科学家一样思考 Python》在网站中提供免费的 HTML 版本。
《Python 实践书》是一本帮你学习 Python 基础语法的练习册。
寻找学习语言的mini项目，点击查看一下这 5 个 Python 项目。
Reddit 创始人之一在 Udacity 课程上提供了一门如何用 Python 搭建一个博客。通过编码介绍了 web 编程的概念。
我在学习 Python这个网站上面写了个博客给没有技术背景的人们学习编程已帮助。

给有经验但初学 Python 的开发者

y 分钟学习 Python 提供了一个极快速的 Python 教程。这个指南对于先前有软件开发经验并且想快速掌握一门语言结构的人尤其有帮助。
你我的 Python 是一本容易阅读的书，内容包括 Python 的语法和主要的语言结构。本书在结尾还剪短地介绍如何编写第一个 Flask web 应用。
Kenneth Reitz 的Python 漫游指南中有大量 Python 编程信息和社区资源
如何开发高质量的 Python 代码是很好的学习开发环境、应用程序依赖关系和项目结构读物。

高级进阶

Python 生态系统介绍了关于虚拟机，Python 的包管理，pip（管理 Python 包的工具），virutalenv（Python 虚拟环境）等一些在学习完 Python 基础语法之后的学习点。
Python Subreddit上有大量的关于 Python 的链接同时有一个活跃的社区回答 Python 初学者和高级开发者的问题。
Good to Great Python Reads 收录了网上 Python 关注于 Python 语言本身细节和差异中高级的文章。
免费的 Python 小建议这个免费博客上面有一些 Python 的讨论话题，同时也有一些 Python 圈的新闻。
Python Book收录了一些 Python， Django和数据分析的免费图书。
Python 罕见问题收录了一些关于罕见的 Python 特性的一些提问，并且考虑为什么某些语法是或者不是内建到语言级别的。

视频资源

大小聚会的视频在最好的 Python 视频，这个页面上。

有用的 Python 包

awesome-python 是一个包含了 Python 框架，Python 库和软件的列表。我真希望我开始学习 Python 的时候有这样惊艳的列表页面。
和 awesone-python 相似 easy-python，它是一个 Git 仓库的阅读文档格式。

播客

Talk Python to Me 这个播客关注写 python 的人和组织。每集会找一个不同类型的嘉宾来介绍他的工作。
Podcast.__init__ 是另外一档关于 Python 和其优秀使用者的播客节目。

新闻资讯

Python Weekly 是一个包含了最新 Python 文章、视频、项目和未来大事件的免费周刊。
PyCoder's Weekly 是和 Python Weekly 相似的优秀的免费邮件新闻周刊。最好的资源两个周刊一般会同时报道，但通常它们会报道网上不同的文章和项目。
Import Python 是一个比 Python Weekly 和 PyCoder's Weekly 更及时的新闻通讯。目前为止，我发现这个新闻通讯的来源和其他两个不同。这个三个资源都值得订阅，这样你就不会错过什么了。

windows 迁移 pelican 到 Mac 机器测试

2015-08-25T18:36:00+08:00

就是一个测试
在Mac机器上面使用pelican，很多的配置都有更改，如果测试通过了，我会把diff贴在下面的
先看看一下 diff Makefile

diff --git a/Makefile b/Makefile
index e69e9c8..c98df1f 100644
--- a/Makefile
+++ b/Makefile
@@ -107,6 +107,12 @@ cf_upload: publish
        cd $(OUTPUTDIR) && swift -v -A https://auth.api.rackspacecloud.com/v1.0 -U $(CLOUDFILES_USERNAME) -K $(CLOUDFILES_API_KEY) upload -c $(CLOUDFILES_CONTAINER) .

 github: publish
+       git add .
+       git ci -a -m "update"
+       git push origin source
+       echo caimaoy.com > $(OUTPUTDIR)/CNAME
+       cp googledabe3ca1b7fa15.html  $(OUTPUTDIR)/googledabe3ca1b7fa15.html
        ghp-import -m "Generate Pelican site" -b $(GITHUB_PAGES_BRANCH) $(OUTPUTDIR)
        git push origin $(GITHUB_PAGES_BRANCH)

使用上面的命令进行提交
因为是从 windows 迁移到mac机器上面，所以配置文件的分隔符要修改一下

diff --git a/publishconf.py b/publishconf.py
index 30d0156..bfb60d8 100644
--- a/publishconf.py
+++ b/publishconf.py
@@ -88,7 +88,7 @@ USE_FOLDER_AS_CATEGORY = True

 # plugin config
 # PLUGIN_PATHS = ['./plugins']
-PLUGIN_PATHS = [r'.\pelican-plugins']
+PLUGIN_PATHS = [r'./pelican-plugins']
 PLUGINS = [
     #'pandoc_reader',
     #'gzip_cache',
@@ -121,4 +121,4 @@ SITEMAP = {

 # THEME = r'.\pelican-themes\bootstrap2-dark'
 # THEME = r'.\pelican-themes\SoMA'
-THEME = r'.\pelican-themes\pelican-bootstrap3'
+THEME = r'./pelican-themes/pelican-bootstrap3'

主题文件和插件文件因为是在另外的两个git仓库里面，不需要修改
一切看起来还很美好？！
NO！ Tags 不见了！
生产过程中没有报错，目前还在排查中！
囧！但是我已经上线了，又不想回滚 555

Introduction of SOAP

2015-08-13T10:14:00+08:00

SOAP

这里说的SOAP不是肥皂，和捡肥皂也没有关系
先来看一下官方介绍,以下内容来自wiki

SOAP（原为Simple Object Access Protocol的首字母缩写，即简单对象访问协议）是交换数据的一种协议规范，使用在计算机网络Web服务（web service）中，交换带结构信息。SOAP为了简化网页服务器（Web Server）从XML数据库中提取数据时，节省去格式化页面时间，以及不同应用程序之间按照HTTP通信协议，遵从XML格式执行资料互换，使其抽象于语言实现、平台和硬件。此标准由IBM、Microsoft、UserLand和DevelopMentor在1998年共同提出，并得到IBM，莲花（Lotus），康柏（Compaq）等公司的支持，于2000年提交给万维网联盟（World Wide Web Consortium；W3C），目前SOAP 1.1版是业界共同的标准，属于第二代的XML协定（第一代具主要代表性的技术为XML-RPC以及WDDX）。

用一个简单的例子来说明SOAP使用过程，一个SOAP消息可以发送到一个具有Web Service功能的Web站点，例如，一个含有房价信息的数据库，消息的参数中标明这是一个查询消息，此站点将返回一个XML格式的信息，其中包含了查询结果（价格，位置，特点，或者其他信息）。由于数据是用一种标准化的可分析的结构来传递的，所以可以直接被第三方站点所利用。

上面的话翻译一下，就是SOAP 是基于 XML 的简易协议，可使应用程序在 HTTP 之上进行信息交换。
或者更简单地说：SOAP 是用于访问网络服务的协议。
还是不够清晰？看看实例吧
在下面的例子中，一个 GetStockPrice 请求被发送到了服务器。此请求有一个 StockName 参数，而在响应中则会返回一个 Price 参数。此功能的命名空间被定义在此地址中： "http://www.example.org/stock"

SOAP 请求:

POST /InStock HTTP/1.1
Host: www.example.org
Content-Type: application/soap+xml; charset=utf-8
Content-Length: nnn

<?xml version="1.0"?>
<soap:Envelope
xmlns:soap="http://www.w3.org/2001/12/soap-envelope"
soap:encodingStyle="http://www.w3.org/2001/12/soap-encoding">

  <soap:Body xmlns:m="http://www.example.org/stock">
    <m:GetStockPrice>
      <m:StockName>IBM</m:StockName>
    </m:GetStockPrice>
  </soap:Body>

</soap:Envelope>

SOAP 响应：

HTTP/1.1 200 OK
Content-Type: application/soap+xml; charset=utf-8
Content-Length: nnn

<?xml version="1.0"?>
<soap:Envelope
xmlns:soap="http://www.w3.org/2001/12/soap-envelope"
soap:encodingStyle="http://www.w3.org/2001/12/soap-encoding">

  <soap:Body xmlns:m="http://www.example.org/stock">
    <m:GetStockPriceResponse>
      <m:Price>34.5</m:Price>
    </m:GetStockPriceResponse>
  </soap:Body>

</soap:Envelope>

各种问题

现在问题来了，SOAP只是一个传输协议
那我们传输什么？
给谁传输？
为什么要这样传输？

Web Service

要解答问题就要先了解Web服务

Web服务是一种服务导向架构的技术，通过标准的Web协议提供服务，目的是保证不同平台的应用服务可以互操作。

根据W3C的定义，Web服务（Web service）应当是一个软件系统，用以支持网络间不同机器的互动操作。网络服务通常是许多应用程序接口（API）所组成的，它们透过网络，例如国际互联网（Internet）的远程服务器端，执行客户所提交服务的请求。

尽管W3C的定义涵盖诸多相异且无法介分的系统，不过通常我们指有关于主从式架构（Client-server）之间根据SOAP协议进行传递XML格式消息。无论定义还是实现，WEB服务过程中会由服务器提供一个机器可读的描述（通常基于WSDL）以辨识服务器所提供的WEB服务。另外，虽然WSDL不是SOAP服务端点的必要条件，但目前基于Java的主流WEB服务开发框架往往需要WSDL实现客户端的源代码生成。一些工业标准化组织，比如WS-I，就在WEB服务定义中强制包含SOAP和WSDL。

提问：我们为什么要用web服务？
回答：Webservice的一个最基本的目的就是提供在各个不同平台的不同应用系统的协同工作能力
我肤浅的认为WebService有以下几个好处：
- 计算处理压力放在服务端
- 计算处理过程在服务端，更新升级，影响面小
- 调用同语言无关
提问：我们为什么不用基于URI的方式来请求Web服务？
回答：基于URI的方式的确是一种方法，是Web Service 的另一种解决方案：REST，这里不详细说明了
基于SOAP传输，是考虑到数据类型多样化和服务器解析压力小两个原因

WSDL

好像还是有问题
提问：我如何去哪请求服务？请求参数是什么啊？
回答：WSDL 是 Web Services Description Language 的所写，也就是 Web 服务的描述
简单的说它描述了你向哪个地址和端口发送消息、请求消息格式、接收消息格式等信息
客户端有了这些信息就可以像调用一个本地函数一样调用一个Web Service
下面为python调用web Service的一种方法：

from suds.client import Client
test=Client('http://localhost:7789/SOAP/?wsdl')
print test.service.addition(1,2)

如何用axis的wsdd方法部署WebService

2015-08-05T15:36:00+08:00

编写 deploy.wsdd 文件

放置于 %Tomcat_Home%\webapps\axis\WEB-INF 中
内容如下

<?xml version="1.0" encoding="UTF-8"?>
<deployment xmlns="http://xml.apache.org/axis/wsdd/"
    xmlns:java="http://xml.apache.org/axis/wsdd/providers/java">
    <service name="WSDD" provider="java:RPC">
        <parameter name="className" value="com.caimaoy" />
        <!-- * 代表所有的方法都暴露 -->
        <parameter name="allowedMethods" value="*" />
        <parameter name="scope" value="request" />
    </service>
</deployment>

service标签代表一个WebService服务，HelloWorldWSDD就是当前WebService的名称
provider是java的WebService类型，分别有： RPC、Document、Wrapped、Message、EJB、RMI
有兴趣的可以看看org.apache.axis.providers.java包下面的WebService的实现类或是文档
parameter的参数className代表当前WebService的class类路径
allowedMethods代表暴露的方法，那些方法在客户端可以调用；
这个是当前WebService的作用域，它有3个值，分别是：request、session、application
request代表为每个WebService SOAP的请求都产生一个服务对象，和Spring的scope很像，在服务请求频繁的话会消耗很多资源
session 是给每个调用当前WebService的客户端创建一个服务对象
application 是个当前所有的请求创建一个服务对象

发布 WebService

写完配置后，就需要用axis提供的AdminClient工具类帮我们发布WebService，直到生成server-config.wsdd
步骤如下:
启动Tomcat
运行cmd命令，然后进入当前工程发布的目录，即%tomcat_home%/webapps/project/WEB-INF
输入命令

java -Djava.ext.dirs=lib org.apache.axis.client.AdminClient deploy.wsdd
java -Djava.ext.dirs=lib org.apache.axis.client.AdminClient -p 8082 -s /axis/servlet/AxisServlet deploy.wsdd

-p 表示端口Tomcat端口号，AdminClient 默认为__8080__
这里的deploy.wsdd是我们刚才定制的wsdd文件，java当然是jvm的命令
-Djava.ext.dirs=lib设置当前命令的依赖包
AdminClient是axis提供的工具类，这个类本来是可以在官方的工程中admin可以直接运行的（这里不可以，下载下来的少了AdminServlet，有兴趣的可以研究下，就是前面说的官方的示例）；

如果运行命令后，看到：

Processing file deploy.wsdd
<Admin>Done processing</Admin>

就代表快成功了，why？快！看看deploy.wsdd同级目录有没有生成server-config.wsdd如果有这个文件就成功了，没有就失败了
如果失败了还有解决办法，首先你得启动tomcat，将我们的工程发布出去。然后在重复上面的命令，不行就换命令行代码如下：

java -Djava.ext.dirs=lib org.apache.axis.client.AdminClient -lhttp://localhost:8080/AxisWebService/services/AdminService deploy.wsdd

-lhttp://localhost:8080/AxisWebService/services/AdminService是因为你的端口可能被axis占用了，我们将指定AdminService来完成转换，运行上面命令就没有问题了。

WebService 客户端

我这里只说一种客户端的实现方法，在网上看了好像有超过6种以上的方法
大概的代码如下：

import org.apache.axis.client.Call;
import org.apache.axis.client.Service;
import javax.xml.namespace.QName;

public class TestClient {
    public static void main(String [] args) {
    try {
        String endpoint = "http://caimaoy.com/axis/services/WSDD?wsdl=1&test=test";

        Service  service = new Service();
        Call  call  = (Call) service.createCall();

        call.setTargetEndpointAddress(new java.net.URL(endpoint) );
        call.setOperationName(new QName("http://soapinterop.org/", "querySingle"));

        String ret = (String) call.invoke(new Object[] { "Hello!" } );

        System.out.println("got:" + ret);
    } catch (Exception e) {
    System.err.println(e.toString());
    }
}
}

FAQ

提问：如果我出现了 java.lang.reflect.InvocationTargetException 这样的异常如何处理？
回答：这是映射出错，我遇到的情况是在 %Tomcat_Home%\webapps\axis\WEB-INF 中添加缺失是jar包
提问：作为一个WebService能够获取到客户端的IP、请求的requestString吗？
回答：可以大概的获取方式如下,获取到了 HttpServletRequest requsest,也就有了想要的东西了

import javax.servlet.http.HttpServletRequest;

import org.apache.axis.MessageContext;
import org.apache.axis.transport.http.HTTPConstants;

public class HelloWorld {

    public String getClientInfo(String asYouLike) {

        /* get HttpRequest*/
        MessageContext mc = null;
        HttpServletRequest request = null;
        try {
            //mc = MessageContext.getCurrentMessageContext();
            mc = MessageContext.getCurrentContext();
            if (mc == null)
                throw new Exception("无法获取到MessageContext");
            request = (HttpServletRequest) mc.getProperty(HTTPConstants.MC_HTTP_SERVLETREQUEST);
            System.out.println("remote  ip:  " + request.getRemoteAddr());
            System.out.println("request URI:  " + request.getRequestURI());
            System.out.println("quesryString :  " + request.getQueryString());

        } catch (Exception e) {
            System.out.println(e.getMessage());
            e.printStackTrace();
        }
}

python re.sub

2015-07-13T11:17:00+08:00

经常遇到使用re.sub的情况，但经常忘记，所以记录一下
首先还是看看大神的简介：crifan【整理】详解Python中re.sub

sub(pattern, repl, string, count=0, flags=0)
    Return the string obtained by replacing the leftmost
    non-overlapping occurrences of the pattern in string by the
    replacement repl.  repl can be either a string or a callable;
    if a string, backslash escapes in it are processed.  If it is
    a callable, it's passed the match object and must return
    a replacement string to be used.

re.sub官方文档
用法和功能我就不详述了，下面看看一些奇葩需求
首先是换位的需求

def change_place(s):
    '''
    >>> change_place('caimaoy&jessie')
    'jessie&caimaoy'
    '''
    return re.sub(r'(caimaoy)(&)(jessie)', r'\3\2\1', s)

然后是换位换字符的需求

def change_place_and_joiner(s):
    '''
    >>> change_place_and_joiner('caimaoy&jessie')
    'jessie with caimaoy'
    '''
    return re.sub(r'(caimaoy)(&)(jessie)', r'\3 with \1', s)

看起来不错，但是如果我要换的字符是数值，会发生什么？

def change_place_and_joiner_with_number(s):
    '''
    >>> change_place_and_joiner_with_number('caimaoy&jessie')
    'jessie0caimaoy'
    '''
    return re.sub(r'(caimaoy)(&)(jessie)', r'\30\1', s)

File "test_doc_test.py", line 37, in __main__.change_place_and_joiner_with_numbe
r
Failed example:
    change_place_and_joiner_with_number('caimaoy&jessie')
Exception raised:
    Traceback (most recent call last):
      File "D:\Python27\lib\doctest.py", line 1289, in __run
        compileflags, 1) in test.globs
      File "<doctest __main__.change_place_and_joiner_with_number[0]>", line 1,
in <module>
        change_place_and_joiner_with_number('caimaoy&jessie')
      File "test_doc_test.py", line 40, in change_place_and_joiner_with_number
        return re.sub(r'(caimaoy)(&)(jessie)', r'\30\1', s)
      File "D:\Python27\lib\re.py", line 151, in sub
        return _compile(pattern, flags).sub(repl, string, count)
      File "D:\Python27\lib\re.py", line 275, in filter
        return sre_parse.expand_template(template, match)
      File "D:\Python27\lib\sre_parse.py", line 789, in expand_template
        raise error, "invalid group reference"
    error: invalid group reference

报错了！大概的描述就是我们根本就没有30这个组
如何解决？看看文档，下面是解决方案，用\g来替代\n

def change_place_and_joiner_with_number(s):
    '''
    >>> change_place_and_joiner_with_number('caimaoy&jessie')
    'jessie0caimaoy'
    '''
    return re.sub(r'(caimaoy)(&)(jessie)', r'\g<3>0\g<1>', s)

好像没有进一步的需求了，其实上面的需求re.sub的第二个参数传入一个函数是可以解决的
不过就是懒（优秀品质）
最后给一个传入函数的例子
要replace为大写

def change_place_and_upper(s):
    '''
    >>> change_place_and_upper('caimaoy&jessie')
    'JESSIE&CAIMAOY'
    '''
    def _upper(matched):
        return matched.group(3).upper() + matched.group(2) + matched.group(1).upper()
    return re.sub(r'(caimaoy)(&)(jessie)', _upper, s)

看看以后还有什么需求，估计传入函数基本都能解决

HHKB初体验

2015-06-16T20:01:00+08:00

首先庆祝一下COC冠军杯

今天的主角: HHKB

同事漂洋过海从岛国带回一个无刻版HHKB Pro2
因为是无刻版，到现在都非常痛苦
不记得键位，所以下面先来一个HHKB Professional 2 Layout

键盘设置

什么？键盘还要设置？又不是鼠标还要设置PPI？
是的你没有听错，这键盘就是要设置，主要是满足不同系统需要
HHKB Pro 2 是有一排跳线6个开关，理论上是可以有2^6==64种不同的组合
先来看看跳线的模式说明

再来看看跳线前两位模式的说明
如果看懂了这个，你也就配置好了自己的键盘

本人配置

本人工作在windos环境！（对！你没有看错，就是万恶的windows！！！）
跳线打开1、3、5
Delete键改为BackSpace键
最下面一排按键为：win、alt、空格、alt、win
这样基本满足在windows下面的操作

FAQ

- 如何退格？
- 使用Fn + Delete 或者跳线3打开使用Delete

- 如何关闭窗口？
- 使用Alt + Fn + F4 或者有些窗口可以使用Ctrl + w

- 如何在Vim中按Esc？
- 这个要算是我很痛苦的一个问题了
- 我本来通过注册表吧Caps和Esc的位置调换了
- 现在Caps的位置变成了Ctrl

- 方案一：
- 直接按 Esc

- 方案二：
- <C-[>在vim中也是Esc
- 但是我还没有习惯，经常按错成<C-p>,同时经常把Shift按成Ctrl

- 方案三：
- 黑魔法 jk 或者 jj 或者什么 map到Esc
- 我个人试验过，个人不习惯

- 上下左右如何按？
- Fn + [/;'

- 翻页、End如何按？
- Fn + keyboard layout 自己看了
- 反正我是打印了一个layout在桌面上，囧

这是我用HHKB在Vim下面写的第一篇文章，误操作无数希望慢慢能够适应 HHKB真的手感超一流，相比原厂CHERRY，我更喜欢HHKB的手感希望有体验的大神们，告诉一下小白我更多tips，THX

python const

2015-06-10T16:55:00+08:00

python 没有const 这样的语法，但是在项目中可能会有这样的需求？
自己动手丰衣足食！！！

const.py

首先创建一个const.py文件，代码如下

# -*- coding: UTF-8 -*-

'''
Last modified time: 2015-06-09 09:49:29
Edit time: 2015-06-09 09:55:07
File name: const.py
Edit by caimaoy
'''

__author__ = 'caimaoy'

class _const(object):
    class ConstError(TypeError): pass
    class ConstCaseError(TypeError): pass

    def __setattr__(self, name, value):
        if self.__dict__.has_key(name):
            raise self.ConstError, "Can't change const. %s" % name
        if not name.isupper():
            raise self.ConstCaseError, \
                    'const name "%s" is not all uppercase' % name
        self.__dict__[name] = value


import sys
sys.modules[__name__] = _const()

使用代理模式，代理类的__setattr__方法
判断是否键值，抛出自定义的Error类
判断键值格式是否符合要求，抛出自定义的Error类

import sys
sys.modules[__name__] = _const()  # <<<使加载此模块指向_const()类

test_const.py

# -*- coding: UTF-8 -*-

'''
Last modified time: 2015-06-10 17:14:54
Edit time: 2015-06-10 17:15:21
File name: test_cosnt.py
Edit by caimaoy
'''

__author__ = 'caimaoy'

import const

def test_cosnt_error():
    const.NAME = 'caimaoy'
    const.NAME = 'jessie'  # <<< ConstError("Can't change const. NAME",)

def test_cosnt_case_error():
    const.name = 'caimaoy' # <<< ConstCaseError('const name "name" is not all uppercase',)

def catch_error():
    try:
        test_cosnt_error()
    except Exception as e:
        print repr(e)

    try:
        test_cosnt_case_error()
    except Exception as e:
        print repr(e)

if __name__ == '__main__':
    catch_error()

对于const.py的测试
运行结果如下,符合预期

ConstError("Can't change const. NAME",)
ConstCaseError('const name "name" is not all uppercase',)

如果有需求可以代理__del__方法，保证常量不会被del

constant.py

当然我们通常把所有的常量写入一个文件，方便管理

# -*- coding: UTF-8 -*-

'''
Last modified time: 2015-06-10 17:38:12
Edit time: 2015-06-10 17:38:17
File name: constant.py
Edit by caimaoy
'''

__author__ = 'caimaoy'

import const

const.NAME = 'caimaoy'
const.GAME = 'Monster Hunter'

使用的方法如下

# -*- coding: UTF-8 -*-

'''
Last modified time: 2015-06-10 17:40:28
Edit time: 2015-06-10 17:40:35
File name: use_const.py
Edit by caimaoy
'''

__author__ = 'caimaoy'

from constant import const

def use_const():
    print 'const.NAME is %s' % const.NAME
    print 'const.GAME is %s' % const.GAME

if __name__ == '__main__':
    use_const()

结果当然是预期的情况

const.NAME is caimaoy
const.GAME is Monster Hunter

python split

2015-05-07T10:14:00+08:00

str.split

Help on method_descriptor:

split(...)
    S.split([sep [,maxsplit]]) -> list of strings

    Return a list of the words in the string S, using sep as the
    delimiter string.  If maxsplit is given, at most maxsplit
    splits are done. If sep is not specified or is None, any
    whitespace string is a separator and empty strings are removed
    from the result.

基本用法

In [5]: 'caimaoy jessie HHKB Tesla'.split(' ')
Out[5]: ['caimaoy', 'jessie', 'HHKB', 'Tesla']

re.split

Help on function split in module re:

split(pattern, string, maxsplit=0, flags=0)
    Split the source string by the occurrences of the pattern,
    returning a list containing the resulting substrings.

基本用法

In [14]: re.split(r'\d', 'caimaoy1jessie2HHKB3Tesla')
Out[14]: ['caimaoy', 'jessie', 'HHKB', 'Tesla']

迷惑用法

In [15]: re.split('o(o)', 'foobar')
Out[15]: ['f', 'o', 'bar']

这是发生了什么啊？
书里面的解释

如果模式包括小括号，那么括起来的字符组合会散布在分割后的字字符串之间

不过上面的例子还是很让人迷惑，还是自己写几个

In [19]: re.split('(and)', 'caimaoyandjessie')
Out[19]: ['caimaoy', 'and', 'jessie']

In [20]: re.split('o(and)o', 'caimaoyoandojessie')
Out[20]: ['caimaoy', 'and', 'jessie']

In [21]: re.split(r'(\d)', 'caimaoy3jessie')
Out[21]: ['caimaoy', '3', 'jessie']

相信这几个例子写了之后就没有那么迷惑了

VIM 去掉重复行

2015-05-06T10:57:00+08:00

不难理解的方法

先想想思路:
- 先排序
- 然后去掉重复的行
看看具体命令

:sort u
g/^\(.*\)\n\1$/d

下面讲解一下：

:sort u             <-- 排序
g/^\(.*\)\n\1$/d    <-- kjkj
g/            /d    <-- g命令delete 满足要求的行
  ^\(.*\)\n         <-- 一行的开始到换行
           \1$      <-- \1 是前面(.*\)的内容，也就是说和前面的行内容相等
             $      <-- 结束符，两行相等是匹配条件

一些高级vim语法的操作

参考博文

先看一下命令

g/\%(^\1\n\)\@<=\(.*\)$/d
g/\v%(^\1\n)@<=(.*)$/d

看一下原本博客中的解释

g/\%(^\1\n\)\@<=\(.*\)$/d
g/                     /d  <-- Delete the lines matching the regexp
            \@<=           <-- If the bit following matches, make sure the bit preceding this symbol directly precedes the match
                \(.*\)$    <-- Match the line into subst register 1
  \%(     \)               <-- Group without placing in a subst register.
     ^\1\n                 <-- Match subst register 1 followed the new line between the 2 lines

这里面有一个reg的知识点：环视
\@<= 这是一个逆向环视
所以建议大家还是用第一种方法就好了

Jessie English

2015-11-05T22:53:00+08:00

prefix & root

writing words

pyinstaller生成exe中文路径无法运行解决方案

2015-04-15T20:14:00+08:00

pyinstaller生成的exe中文路径不能运行，错误信息如下:

D:\测试>"D:\测试\caimaoy_tool.exe"
Traceback (most recent call last):
  File "<string>", line 21, in <module>
  File "D:\Python27\Lib\site-packages\PyInstaller\loader\pyi_importers.py", line
 507, in install
  File "D:\Python27\Lib\site-packages\PyInstaller\loader\pyi_importers.py", line
 156, in __init__
ImportError: Can't load frozen modules.

直接上解决方案
在此安装pyinstaller
但是介于他是百度空间的东西我还是备份一下的好，以下内容摘抄自解决方案

原文

想修改windows的默认字符集为 utf8 的

请参考这篇 http://superuser.com/questions/239810/setting-utf8-as-default-character-encoding-in-windows-7

本质问题是他把我们的目录当成是utf8编码的.

然后, 只能看代码了. 发现 bootloader 里有个 stb_to_utf8 和 stb_from_utf8

而且是放在 #ifdef _WIN32 里的! =.= 里面正经地实现了 UTF16 <-> UTF8 . 于是. 把这两个函数用 MultiByteToWideChar WideCharToMultiByte 改了.重新编译.好了.

然后我 fork 过来改了. https://github.com/dkw72n/pyinstaller/tree/develop 有需要的可以来取.

(顺便整理下走过的弯路, 开始时已经知道是是模块加载的时候编码不对了, 只是一直纠结在''我怎么在模块加载的时候强行把他的错误编码掰过来''. 无果. 可能的原因是那个阶段编码相关模块没被加载.)

另外: 感谢 ikadog 同学两度把这个链接贴到了官方的ticket[1,2]. 不过貌似他们没打算处理.

# update(2014_09_01): 之前没有编译64位的bootloader，用64位的同学直接取下来会发现还是不能用，今天补上了，之前不行的可以再试试。

PyQt 创建新窗口

2015-04-15T19:36:00+08:00

PyQt 如何新建一个窗口

# -*- coding: UTF-8 -*-

import sys
from PyQt4.QtCore import *
from PyQt4.QtGui import *


class mainWindow(QWidget):
    def __init__(self, parent=None):
        super(mainWindow, self).__init__(parent)
        button = QPushButton(u'弹出新窗口', self)
        self.slavewindow = slaveWindow()
        self.connect(button, SIGNAL('clicked()'), self.slavewindow.show)


class slaveWindow(QWidget):
    def __init__(self, parent = None):
        super(slaveWindow, self).__init__(parent)


def main():
    app = QApplication(sys.argv)
    mainwindow = mainWindow()
    mainwindow.show()
    app.exec_()


if __name__ == '__main__':
    main()

直接上代码

备注

说说要注意的吧:

self.slavewindow = slaveWindow()
self.connect(button, SIGNAL('clicked()'), self.slavewindow.show)

这两个是关键
之前自己一个错误的做法是clicked信号关联了一个普通函数,在普通函数中创建新窗口的实例，同时调用show方法，现在想想实例的生命周期是有问题的，所以窗口一闪而过

pelican 如何添加404页面

2015-04-14T19:26:00+08:00

pelican 已经挂在了github上面了但是如何挂上一个404 页面

Title: Not Found
Status: hidden
Save_as: 404.html

<script type="text/javascript" src="http://www.qq.com/404/search_children.js" charset="utf-8" homePageUrl="http://www.caimaoy.com" homePageName="Back to Home Page"></script>

源码里面要说的几点

添加Status: hidden这个元信息
Save_as为404.html，这样的话就满足了github的要求
挂上这一段js，出自我旁边的鹅厂这样的事业还是要支持一下的
最后看一看:效果图

TODO

当然也是因为我没有找到pelican直接挂原始页面的办法，如果你知道下面disqus我

乱七八糟

我说了我今天要去跑步，不能再做一个颓废的胖纸了！！！
另外今天在H亏成狗了，可以去天台了~

python 判断windows系统是32位还是64位

2015-04-08T10:24:00+08:00

首先来看看错误方法：

以下是在64位机器下使用32位python得到的结果

In [14]: sys.version
Out[14]: '2.7.3 (default, Apr 10 2012, 23:31:26) [MSC v.1500 32 bit (Intel)]'

这里看到的其实是python的版本，而不是系统的版本

In [15]: platform.architecture()
Out[15]: ('32bit', 'WindowsPE')

这个运行的结果也是不正确的

In [16]: print sys.maxint
2147483647

数字是2**31-1的话就是32位(这是错误的！！！)
数字式2**64-1的话就是64位(这也是错误的！！！)

上面引述的方法也是不正确的，因为使用的是sys库

正确方法

1. 通过环境变量进行判断

def is_64_windows():
    return 'PROGRAMFILES(X86)' in os.environ

2. 通过注册表进行判断

aReg = _winreg.OpenKey(_winreg.HKEY_LOCAL_MACHINE, \
"SOFTWARE\\Wow6432Node\\Microsoft\\Windows\\CurrentVersion\\Run")

存在即为64bits
如果不存在会抛出异常，进行捕获判断返回32bits

个人观点到此结束，如果有其他方法可以评论回复我，THX

python print

2015-04-07T13:58:00+08:00

今天突然想到要聊一下这个话题

在实际的使用当中我们经常用到print来显示一些状态比如：

In [2]: print 'caimaoy'
caimaoy

In [3]: print 'caimaoy\n'
caimaoy


In [4]:

注意一下空行数

这里面有个隐藏的参数，就是print会在每次输出后再输出一个'\n'，那如果我们是读取的文本的文件一行一行print操作，其实每一行会打印两个'\n', 其中一个来自文本，另外一个来自print的默认参数，如果我们只想要一个'\n'如何解决这个问题？

解决方案

1. 使用''.join把需要的内容拼接起来然后一次性打印

大概可以得到这样的效果：

In [4]: a = ['caimaoy\n', 'caimaoy1\n', 'caimaoy3\n']

In [5]: print ''.join(a)
caimaoy
caimaoy1
caimaoy3


In [6]:

2. 使用print中的参数end

In [6]: print ('caimaoy', end='')
  File "<ipython-input-6-dfd4986b6077>", line 1
    print ('caimaoy', end='')
                         ^
SyntaxError: invalid syntax

但是不幸的是在python2中我们好像不能只是这样做，

In [7]: from __future__ import print_function

In [8]: print ('caimaoy', end='')
caimaoy
In [9]:

我们需要做

from __future__ import print_function

这个操作可以正常使用。

外链图片测试

2015-04-03T18:36:00+08:00

就是一个测试

使用Pelican在Github上建立个人博客

2015-04-01T09:51:00+08:00

基础知识

配置文件

这个应该是说得比较多的一部分了，因为使用windows(我也不想用！！！)不得不改动一下配置文件
重点修改如下

Makefile

对于windows用户你可能要敢以下几件事

下载make.exe, 并且添加到环境变量中
修改Makefile文件关键是一些路径，具体忘记是哪些了，你可以去看这个blog的源代码对比一下

pelicanconfig.py

git: publish
    git push origin $(GITHUB_PAGES_BRANCH)
    ghp-import -b $(GITHUB_PAGES_BRANCH) $(OUTPUTDIR) -p

其中git的部分你懂就应该懂，说一下ghp-import
ghp-import 是用于分支发布的，也就是说你的源码是在一个分支，而生成的页面是在另外一个分支发布

ghp-import on Windows

Until ghp-import Pull Request #25 is accepted,you will need to install a custom build of ghp-import:

pip install https://github.com/chevah/ghp-import/archive/win-support.zip

可以使用上面的pip安装
如果你安装不上可以先卸载

pip uninstall ghp-import

如果你无法用下面的方法安装，请下载zip包后安装:

python setup.py install

关于我

2015-04-01T15:43:00+08:00

一个在国人F3的打工仔

The Zen of Python, by Tim Peters

Beautiful is better than ugly.
Explicit is better than implicit.
Simple is better than complex.
Complex is better than complicated.
Flat is better than nested.
Sparse is better than dense.
Readability counts.
Special cases aren't special enough to break the rules.
Although practicality beats purity.
Errors should never pass silently.
Unless explicitly silenced.
In the face of ambiguity, refuse the temptation to guess.
There should be one-- and preferably only one --obvious way to do it.
Although that way may not be obvious at first unless you're Dutch.
Now is better than never.
Although never is often better than right now.
If the implementation is hard to explain, it's a bad idea.
If the implementation is easy to explain, it may be a good idea.
Namespaces are one honking great idea -- let's do more of those!