使用python中的编解码器utf-8文件打开错误

时间:2009-11-15 12:20:51

标签: python unicode utf-8

我在windows xp和python 2.6.4上执行以下代码

但它显示了IOError。

如何打开名称为utf-8编解码器的文件。

>>> open( unicode('한글.txt', 'euc-kr').encode('utf-8') )

Traceback (most recent call last):
  File "<pyshell#0>", line 1, in <module>
    open( unicode('한글.txt', 'euc-kr').encode('utf-8') )
IOError: [Errno 22] invalid mode ('r') or filename: '\xed\x95\x9c\xea\xb8\x80.txt'

但是下面的代码正常运行。

>>> open( unicode('한글.txt', 'euc-kr') )
<open file u'\ud55c\uae00.txt', mode 'r' at 0x01DD63E0>

1 个答案:

答案 0 :(得分:16)

Windows向Python公开的C运行时接口使用系统代码页对文件名进行编码。与OS X和现代Linux版本不同,在Windows上,系统代码页永远不会是UTF-8。所以UTF-8字节字符串不会有任何好处。

您可以使用.encode('mbcs')将文件名编码为当前代码页,在您的情况下可能等同于.encode('cp949')。为了使其与文件名为UTF-8的其他平台兼容,您可以查找sys.getfilesystemencoding,这将在那里为您提供utf-8或在Windows上提供mbcs

然而,虽然cp949适用于韩文字符,但它会破坏该代码页的所有内容(EUC-KR的扩展版本)。

另一种方法是将文件名保留为Unicode。在Windows上,这将使用Unicode本机接口以内部使用的UTF-16LE编码将文件名传递给Windows。 (有关此功能的更多信息,请参阅PEP277。)

这通常仍适用于其他平台:Linux和OS X应默认将Unicode文件名编码为UTF-8。在较旧的Python版本中,这可能会失败,但它是在Python 3中处理文件名的默认方式(默认字符串类型已更改为Unicode)。

在Python 2上使用Unicode文件名时要注意的陷阱是:

  • 如果os.path.supports_unicode_filenames为False,因为它将在Windows之外,返回文件名的函数(例如os.listdir)将始终为您提供字节字符串。您必须使用sys.getfilesystemencoding检测并解码它们。

  • 如果Linux / OS X上的文件名称不是有效的UTF-8字符串,则无法为其获取Unicode文件名(如果您尝试,则为UnicodeDecodeError)。一个角落的情况,但它可能导致烦人的无法访问的文件。

顺便提及,

open(unicode('한글.txt', 'euc-kr'))

可能你想在那里说'cp949'(因为Windows韩语代码页与EUC-KR有细微差别)。或者,更一般地说,'mbcs',它为您提供系统代码页,可能与您的控制台正在键入的系统代码页相同。无论如何,我不知道PyShell,但通常如果以上工作,那么你应该只能直接输入:

open(u'한글')