Question

#!/usr/bin/env python
# -*- coding: utf_8 -*-

def splitParagraphIntoSentences(paragraph):

''' break a paragraph into sentences
    and return a list '''
    import re
# to split by multile characters

#   regular expressions are easiest (and fastest)
    sentenceEnders = re.compile('[.!?][\s]{1,2}(?=[A-Z])')
    sentenceList = sentenceEnders.split(paragraph, re.UNICODE)
    return sentenceList


if __name__ == '__main__':
p = "While other species (e.g. horse mango, M. foetida) are also grown ,Mangifera indica – the common mango or Indian mango – Sheffield’s only mango tree is valued at £9.2 billion."

sentences = splitParagraphIntoSentences(p)
for s in sentences:
    print s.strip()

预期产出：虽然其他物种（例如马芒果，M。foetida）也在种植，但芒果（Mangifera indica） - 普通的芒果或印度芒果 - 谢菲尔德唯一的芒果树价值92亿英镑。“

收到的输出：虽然其他物种（例如马芒果，M。foetida）也生长了，Mangifera ind icaΓÇô普通芒果或印度芒果ΓÇôShelffieldΓÇÖs唯一的芒果树是va 他的收入为92亿英镑。

忽略句子的含义，重点是它不能访问特殊字符，如“ - ”，“£”，“'”等。我尝试使用其他编码设置sitecustomize.py文件和此代码，例如ascii，utf-32，cp-500，iso8859_15和utf-8，但是无法解决它。对不起，我是python的新手。提前帮助Thanx。

Answer 1

使用Unicode建议的字符串文字是正确的，但如果您的终端使用cp437代码页作为输出建议，它将无法显示您想要使用的某些Unicode字符。 Windows控制台不支持UTF-8，如果您在源文件中声明coding: utf-8 ¹并且不使用Unicode文字，那么这就是您要发送的内容。 coding: utf-8声明源文件的编码，因此请确保您实际上是以UTF-8编码保存源。

使用Unicode文字时，Python会解释声明的编码中的源字符串，并将其转换为Unicode字符串。打印Unicode字符串时，Python将使用终端编码对字符串进行编码，或者缺少终端编码，对Python 2使用默认编码ascii。

一个例子：

# coding: utf8

print '£9.2 billion'  # Sends UTF-8 to cp437 terminal (gibberish)
print u'£9.2 billion' # Correctly prints on cp437 terminal.
print 'Sheffield’s'   # Sends UTF-8 to cp437 terminal (gibberish)

# Replaces Unicode characters that are unsupported in cp437.
print u'Sheffield’s £9.2 billion'.encode('cp437','xmlcharrefreplace')

print u'Sheffield’s'  # UnicodeEncodeError.

输出

┬ú9.2 billion
£9.2 billion
SheffieldΓÇÖs
Sheffield&#8217;s £9.2 billion
Traceback (most recent call last):
  File "C:\Documents and Settings\metolone\Desktop\x.py", line 10, in <module>
    print u'SheffieldΓÇÖs'  # UnicodeEncodeError.
  File "C:\dev\python27\lib\encodings\cp437.py", line 12, in encode
    return codecs.charmap_encode(input,errors,encoding_map)
UnicodeEncodeError: 'charmap' codec can't encode character u'\u2019' in position 9: character maps to <undefined>

因此，不要指望在Windows控制台上正确打印所有Unicode。使用支持UTF-8的Python IDE，例如PythonWin（pywin32扩展名中提供）。

在Windows控制台中需要两件事来正确显示Unicode字符：一种映射要显示的Unicode字符的编码，以及一种支持这些字符的正确字形的字体。例如，如果您将控制台代码页更改为Windows-1252（chcp 1252）并将控制台字体更改为Consolas或Lucida控制台而不是光栅字体，那么如果使用Unicode文字（{{{}，则原始程序将起作用。 1}}）。

Answer 2

找到了解决方案。

以下代码，工作得很好。

p = p.encode('utf-8') if isinstance(p,unicode)  else p

Answer 3

看起来像cp437。试试这个：

import codecs, sys
sys.stdout = codecs.getwriter('UTF-8')(sys.stdout)
print u"valued at £9.2 billion."

这适用于Python 2.6。

Answer 4

p = "While other species..."

应改为

p = u"While other species..."

注意引号前面的u。

您需要的是所谓的Unicode文字。在Python 2中，默认情况下字符串文字不是Unicode。

使用Python unicode的特殊字符问题

4 个答案:

输出