Question

以下数据（来自pandas数据框）存在一些问题：

Text
0   Selected moments from Fifa game t...
1   What I learned is that I am ...
3   Bill Gates kept telling us it was comi...
5   scenario created a month before the...
... ...
1899    Events for May 19 – October 7 - October CTOvision.com
1900    Office of Event Services and Campus Center Ope...
1901    How the CARES Act May Affect Gift Planning in ...
1902    City of Rohnert Park: Home
1903    iHeartMedia, Inc.

我需要提取每行的唯一单词数（删除标点符号后）。因此，例如：

我尝试如下进行操作：

df["Unique"]=df['Text'].str.lower()
df["Unique"]==Counter(word_tokenize('\n'.join( file["Unique"])))

但是我没有任何计数，只有一个单词列表（在该行中没有出现频率）。

你能告诉我出什么问题了吗？

Answer 1

如果不需要计数，请先删除所有标点符号。杠杆套。 str.split.map(set)将为您提供一套。之后计算集合中的元素。集合不包含多个唯一元素。

被束缚

df['Text'].str.replace(r'[^\w\s]+', '').str.split().map(set).str.len()

逐步

df[Text]=df['Text'].str.replace(r'[^\w\s]+', '')
df['New Text']=df.Text.str.split().map(set).str.len()

Answer 2

所以，我只是根据评论进行更新。此解决方案也考虑了标点符号。

df['Unique'] =  df['Text'].apply(lambda x: x.translate(str.maketrans('', '', string.punctuation)).strip()).str.split(' ').apply(len)

Answer 3

尝试

from collections import Counter

dict = {'A': {0:'John', 1:'Bob'},
        'Desc': {0:'Bill ,Gates Started Microsoft at 18 Bill', 1:'Bill Gates, Again .Bill Gates  and Larry Ellison'}}

df = pd.DataFrame(dict)
df['Desc']=df['Desc'].str.replace(r'[^\w\s]+', '')
print(df.loc[:,"Desc"])
 
print(Counter(" ".join(df.loc[0:0,"Desc"]).split(" ")).items())
print(len(Counter(" ".join(df.loc[0:0,"Desc"]).split(" ")).items()))

计算熊猫列中的唯一单词

3 个答案: