Question

我已经问过有关替换特定模式（Regex: Match a specific pattern, exclude if match is in a specific context）的正则表达式问题。这都是为了预处理文本数据以进行训练。

现在，我想使用正则表达式替换大熊猫数据框中除Unicode字母以外的任何内容。我用过

获取似乎可以解决我的问题\p{^L}+的正则表达式。后来我意识到，我发现在Perl中有效的表达式（Perl兼容正则表达式[PCRE]）不一定在Python中有效。我发现regex package也支持此表达式。但是，熊猫似乎还不支持正则表达式，或者我使用的方式不正确：

import regex
import pandas as pd
df = pd.DataFrame({"text": ["Room: 25m²", "I have eaten ¼ of the cake."]})
df["text"] = df["text"].str.replace(regex.compile("\p{^L}+"), " ")

# Returns a TypeError: object of type '_regex.Pattern' has no len()

因此，我试图找到使用re软件包的方法。我在这里找到了answer。所以我用这种方式：

import re
import pandas as pd
df = pd.DataFrame({"text": ["Room: 25m²", "I have eaten ¼ of the cake."]})
df["text"] = df["text"].str.replace("[\W\d_]", " ")

它确实替换了许多特殊字符。它不会将m替换为2的幂或只有小数的表达式。这两个字符我都不认为是字母，而是数字或unicode中的特殊字符。那么我该如何处理那些特殊字符呢？重新包装有可能吗？我不想使用特定的unicode来匹配这些情况。如果可能的话，将理解一般的解决方案。

Answer 1

[\W\d_]是一个正则表达式，它与任何非单词char（与\w不匹配的任何char）匹配，它与带有\d和_的数字匹配。请注意，支持Unicode的Python 3 regex中的\d仅与\p{Nd}（数字，十进制）匹配：

匹配任何Unicode十进制数字（即Unicode字符类别[Nd]中的任何字符）。

此模式不会在您的字符串中删除的字符属于\p{No} Unicode类别（数字，其他）。

因此，如果您还打算从\p{No}中删除所有这些字符，则需要将它们添加到模式中：

r'[\u00B2\u00B3\u00B9\u00BC-\u00BE\u09F4-\u09F9\u0B72-\u0B77\u0BF0-\u0BF2\u0C78-\u0C7E\u0D58-\u0D5E\u0D70-\u0D78\u0F2A-\u0F33\u1369-\u137C\u17F0-\u17F9\u19DA\u2070\u2074-\u2079\u2080-\u2089\u2150-\u215F\u2189\u2460-\u249B\u24EA-\u24FF\u2776-\u2793\u2CFD\u3192-\u3195\u3220-\u3229\u3248-\u324F\u3251-\u325F\u3280-\u3289\u32B1-\u32BF\uA830-\uA835\U00010107-\U00010133\U00010175-\U00010178\U0001018A\U0001018B\U000102E1-\U000102FB\U00010320-\U00010323\U00010858-\U0001085F\U00010879-\U0001087F\U000108A7-\U000108AF\U000108FB-\U000108FF\U00010916-\U0001091B\U000109BC\U000109BD\U000109C0-\U000109CF\U000109D2-\U000109FF\U00010A40-\U00010A47\U00010A7D\U00010A7E\U00010A9D-\U00010A9F\U00010AEB-\U00010AEF\U00010B58-\U00010B5F\U00010B78-\U00010B7F\U00010BA9-\U00010BAF\U00010CFA-\U00010CFF\U00010E60-\U00010E7E\U00011052-\U00011065\U000111E1-\U000111F4\U0001173A\U0001173B\U000118EA-\U000118F2\U00011C5A-\U00011C6C\U00016B5B-\U00016B61\U0001D360-\U0001D371\U0001E8C7-\U0001E8CF\U0001F100-\U0001F10C\W\d_]+'

请参见regex demo。

您可能会在this page页上看到这些字符。

另外，请注意数字，字母类别，请参见\p{Nl} char list here。

Answer 2

这应该对您有用：

import regex
import pandas as pd
df = pd.DataFrame({"text": ["Room: 25m²", "I have eaten ¼ of the cake."]})


regex_pat = re.compile(r"[^a-zA-Z\s]")
df["text"] = df["text"].str.replace(regex_pat, "")

输出：

0                       Room m
1    I have eaten  of the cake
Name: text, dtype: object

正则表达式：匹配除Unicode字母外的所有内容

2 个答案: