Python on cnDenis的笔记

Python2.x中支持unicode的configparser

Wed, 16 Jan 2013 00:00:00 +0000

Python2.x中许多内置模块不支持unicode，确实是很烦的事。configparser就是其中之一。

解决方法是使用Python3.x中configparser的backport，http://pypi.python.org/pypi/configparser，下载后解压，把其中的configparser.py和configparser_helpers.py放到你的代码所在文件夹中。然后在import时把

 import ConfigParser

改成

 import configparser

就可以了。

参考：http://bugs.python.org/issue11597

解决Ulipad和有道词典冲突的问题

Mon, 14 Jan 2013 00:00:00 +0000

Ulipad和目前版本的有道词典有冲突，表现为先开有道词典，Ulipad就无法运行。

解决方法是：找到Ulipad安装目录下的config.ini，添加以下两行：

 [server]
 port=50001

重启Ulipad，就不冲突了。

原因是Ulipad通过绑定指定端口来避免重复运行，而这个端口恰好与有道使用的端口一致。只要选一个未被其他软件使用的端口，就可以解决问题。

参考：http://code.google.com/p/ulipad/issues/detail?id=306， Ulipad FAQ.htm文件

利用tkFileDialog.askopenfilenames获取多个文件名

Thu, 27 Dec 2012 00:00:00 +0000

用Python写小脚本，要选择文件，最简单的方式莫过于使用内置的Tk的控件了。如果需要同时选择多个文件，可以使用tkFileDialog.askopenfilenames，如下：

 import tkFileDialog
 fns = tkFileDialog.askopenfilenames(filetypes=[("text file", "*.txt"),("all","*.*")])
 print(repr(fns))

但问题是，在Python 2.6以后的版本，tkFileDialog.askopenfilenames返回的居然是字符串，类似于这样：

 u'C:/Python27/LICENSE.txt C:/Python27/NEWS.txt C:/Python27/README.txt'

如果每个文件的路径中都没有空格，用fps.split()就可以分解字符串得到文件名的列表，如果文件名或文件路径中包含空格，这个字符串将很不好解析。解决方法如下：

 import Tkinter
 import tkFileDialog
 import os

 master = Tkinter.Tk()
 master.withdraw() # 不显示界面主窗口

 fnstr = tkFileDialog.askopenfilenames(filetypes=[("text file", "*.txt"),("all","*.*")])

 fns = master.tk.splitlist(fnstr) # 把多个文件名字符串分割成元组

 print(repr(fns))

这样得到的就是元组了，

 ('C:/Python27/LICENSE.txt', 'C:/Python27/NEWS.txt', 'C:/Python27/README.txt')

然后就可以用for得到每个文件名了。

如果文件名中包含中文，Tkinter.Tk.tk.splitlist分割完后的文件名可能会不能用，需要先把文件名encode后传进去，分割完再decode。代码如下：

 import sys
 sysencode = sys.getfilesystemencoding()
 fnsen = fnstr.encode(sysencode)
 fnss = master.tk.splitlist(fnsen)
 fns = [unicode(f, encoding=sysencode) for f in fnss]

这样就可以了。

以上内容参考了：Parsing the results of askopenfilenames()? 和 tkinter - askopenfilenames returns string instead of tuple in windows 2.6.1 release

Python 3.x中的nonlocal及其在2.x中的变通办法

Wed, 26 Dec 2012 00:00:00 +0000

在Python 2.x中，函数内部可以定义函数，内层的函数可以读取外层函数的局部变量，但却不可以修改它.

 def outter():
 x = 1
 def inner():
 print("inner is called, x=", x)
 return inner

 outter()()

上面这个程序是没问题的，但是，下面这个就会出错：

 def outter():
 x = 1
 def inner():
 print("inner is called, x=", x)
 x = 2
 return inner

 outter()()

提示竟然是UnboundLocalError: local variable 'x' referenced before assignment，找不到变量。

这个错误在Python 3.x中的解决方法是使用Py3k新增的关键词nonlocal：

 def outter():
 x = 1
 def inner():
 nonlocal x
 print("inner is called, x=", x)
 x = 2
 return inner

 outter()()

但Python 2.x中没有这个关键词，怎么办呢？如果对变量的改变的不需要影响外层的话，可以新建一个变量来用也可以。

新建变量的方式：

 def outter():
 x = 1
 def inner():
 y = x
 print("inner is called, x=", y)
 y = 2
 return inner

 outter()()

由于y是在内层函数中定义的，可以随便改变，但外层函数看不见y。而如果需要内层对变量的改变被外层看到的话，变通的方法是使用可变的对象，例如dict、对像的属性等。例如 Python 3.x中的代码：

 def outter():
 x = 1
 def inner():
 nonlocal x
 print("inner is called, x=", x)
 x = 2
 inner()
 print("outter after inner called, x=", x)

 outter()

 #Python 3.3中输出：
 #inner is called, x= 1
 #outter after inner called, x= 2

在Python 2.x中用dict的方式变通为：

 def outter():
 x = {}
 x[0] = 1
 def inner():
 print("inner is called, x=", x[0])
 x[0] = 2
 inner()
 print("outter after inner called, x=", x[0])

 outter()
 #Python 2.7中输出：
 #inner is called, x= 1
 #outter after inner called, x= 2

用对像的属性的方式：

 class C(object):
 pass

 def outter():
 x = C()
 x.v = 1
 def inner():
 print("inner is called, x=", x.v)
 x.v = 2
 inner()
 print("outter after inner called, x=", x.v)

 outter()
 #Python 2.7中输出：
 #inner is called, x= 1
 #outter after inner called, x= 2

以上内容参考了：Python的闭包与nonlocal 以及 Simulating nonlocal in Python 2.x

在 PyGraphviz 中使用中文

Tue, 18 Dec 2012 00:00:00 +0000

在 PyGraphviz 使用中文要注意的：

汉字要使用 unicode ，例如：u"汉字"
添加节点时要指定中文的字体，例如 fontname=SimSun

示例如下：

 import pygraphviz as pg

 G = pg.AGraph()

 G.add_node(u"经理", fontname="`Microsoft YaHei", shape="rect", style="rounded", fontsize=18) #雅黑
 G.add_node(u"秘书", fontname="SimHei") #黑体
 G.add_node(u"小兵", fontname="SimSun") #宋体
 G.add_node(u"小卒", fontname="Kaiti") #楷体

 G.add_edge(u"经理", u"秘书")
 G.add_edge(u"经理", u"小兵")
 G.add_edge(u"秘书", u"小卒")

 G.draw('test_pygraphviz.png', format='png', prog='neato')

输出效果如下：

附几个常用的中文字体的英文名：

黑体：SimHei
宋体：SimSun
仿宋：FangSong
楷体：KaiTi
微软雅黑体：Microsoft YaHei

更多字体英文名可参考： http://www.aoao.org.cn/blog/2008/03/fonts-chinese/

在Windows下安装pygraphviz

Tue, 18 Dec 2012 00:00:00 +0000

用 pip 或是 easy_install 在Windows 下安装 pygraphviz，会出现OSError: Error locating graphviz.的错误。解决方法如下：

先下载并安装 Graphviz 。下载地址 http://www.graphviz.org/Download_windows.php。
在 http://pypi.python.org/pypi/pygraphviz/ 下载 pygraphviz 原代码，解压。
修改 setup.py ,

找到

 library_path=
 include_path=

修改为

 library_path=r"C:\Program Files\Graphviz 2.28\lib\release\lib"
 include_path=r"C:\Program Files\Graphviz 2.28\include\graphviz"

其中 C:\Program Files\Graphviz 2.28 改为 Graphviz 的安装地址。

修改 agraph.py , 在函数 def_run_prog 中找到:

 cmd=' '.join([runprog,args])

修改为：

 cmd=' '.join(['"%s"' % runprog,args])

在命令行中执行

 setup.py install

安装完成。

出处： https://networkx.lanl.gov/trac/ticket/117，原出处对cmd行的修改是有错误的，这里修正了。

用Python解析HTML，BeautifulSoup使用简介

Wed, 12 Dec 2012 00:00:00 +0000

Beautiful Soup是一个用于解析HTML文件的Python库，这里介绍一下它的基本使用方法。

Beautiful Soup字面意思是美好的汤，主页在 http://www.crummy.com/software/BeautifulSoup/，下载与安装无需啰嗦，假设你已经装好了，现在开始吧。

##装汤——Making the Soup

首先要把待解析的HTML装入BeautifulSoup。BeautifulSoup可以接受文件句柄或是字符串作为输入：

 from bs4 import BeautifulSoup
 fp = open("index.html")
 soup1 = BeautifulSoup(fp)
 soup2 = BeautifulSoup("<html>data</html>")

##汤料——Soup中的对象

标签（Tag）

标签对应于HTML元素，也就是应于一对HTML标签以及括起来的内容（包括内层标签和文本），如：

 soup = BeautifulSoup('<b class="boldest">Extremely bold</b>')
 tag = soup.b

soup.b就是一个标签，soup其实也可以视为是一个标签，其实整个HTML就是由一层套一层的标签组成的。

名字（Name）

名字对应于HTML标签中的名字（也就是尖括号里的第一项）。每个标签都具有名字，标签的名字使用.name来访问，例如上例中，

 tag.name == u'b'
 soup.name == u'[document]'

属性（Atrriutes）

属性对应于HTML标签中的属性部分（也就是尖括号里带等号的那些）。标签可以有许多属性，也可以没有属性。属性使用类似于字典的形式访问，用方括号加属性名，例如上例中，

 tag['class'] == u'boldest'

可以使用.attrs直接获得这个字典，例如，

 tag.attrs == {u'class': u'boldest'}

文本（Text）

文本对应于HTML中的文本（也就是尖括号外的部分）。文件使用.text来访问，例如上例中，

 tag.text == u'Extremely bold'

##找汤料——Soup中的查找

解析一个HTML通常是为了找到感兴趣的部分，并提取出来。BeautifulSoup提供了find和find_all的方法进行查找。find只返回找到的第一个标签，而find_all则返回一个列表。因为查找用得很多，所以BeautifulSoup做了一些很方便的简化的使用方式：

 tag.find_all("a") #等价于 tag("a")
 tag.find("a") #等价于 tag.a

因为找不到的话，find_all返回空列表，find返回None，而不会抛出异常，所以，也不用担心 tag("a") 或 tag.a 会因为找不到而报错。限于python的语法对变量名的规定，tag.a 的形式只能是按名字查找，因为点号.后面只能接变量名，而带括号的形式 tag() 或 tag.find() 则可用于以下的各种查找方式。

查找可以使用多种方式：字符串、列表、键-值（字典）、正则表达式、函数

字符串：字符串会匹配标签的名字，例如 tag.a 或 tag("a")
列表：可以按一个字符串列表查找，返回名字匹配任意一个字符串的标签。例如 tag("h2", "p")
键-值：可以用tag(key=value)的形式，来按标签的属性查找。键-值查找里有比较多的小花招，这里列几条：

class class是Python的保留字，不能当变量名用，偏偏在HTML中会有很多 class=XXX 的情况，BeautifulSoup的解决方法是加一下划线，用 class_ 代替,如 tag(class_=XXX)。
True 当值为True时，会匹配所有带这个键的标签，如 tag(href=True)
text text做为键时表示查找按标签中的文本查找，如 tag(text=something）

正则表达式：例如 tag(href=re.compile("elsie"))
函数：当以上方法都行不通时，函数是终极方法。写一个以单个标签为参数的函数，传入 find 或 find_all 进行查找。如

 def fun(tag):
 return tag.has_key("class") and not tag.has_key("id")
 tag(fun) # 会返回所有带class属性但不带id属性的标签

##再来一碗——按文档的结构查找

HTML可以解析成一棵标签树，因此也可以按标签在树中的相互关系来查找。

查找上层节点：find_parents() 和 find_parent()
查找下一个兄弟节点：find_next_siblings() 和 find_next_sibling()
查找上一个兄弟节点：find_previous_siblings() 和 find_previous_sibling()

以上四个都只会查同一父节点下的兄弟

查找下层节点：其实上面说的find和find_all就是干这活的
查找下一个节点（无视父子兄弟关系） find_all_next() 和 find_next()
查找上一个节点（无视父子兄弟关系） find_all_previous() 和 find_previous()

以上的这些查找的参都和find一样，可以搭配着用。

##看颜色选汤——按CSS查找

用 .select()方法，看 http://www.crummy.com/software/BeautifulSoup/bs4/doc/#css-selectors

##一些小花招

BeautifulSoup 可以支持多种解析器，如lxml, html5lib, html.parser. 如：BeautifulSoup("<a></b>", "html.parser")
BeautifulSoup 用于解析xml的话，目前只支持lxml，需要自己另行安装。

具体表现可参考 http://www.crummy.com/software/BeautifulSoup/bs4/doc/#differences-between-parsers

BeautifulSoup 在解析之前会先把文本转换成unicode。BeautifulSoup会优先考虑使用页面的charset定义。如果遇上网页的charset定义与实际使用的不符，就可能会产年乱码。可以用 from_encoding 指定编码，如： BeautifulSoup(markup, from_encoding="gb18030")
soup.prettify()可以输出排列得很好看的HTML文本，遇上中文的话可以指定编码使其显示正常，如 soup.prettify("gbk")