在一个组中找到“异常值”

时间:2015-03-14 17:46:00

标签: r data-cleaning

我正在处理出院数据。具有相同Patient_ID的所有住院(病例)应该是同一个人。但是我发现Pat_ID有不同的年龄和性别。

想象一下,我有一个这样的数据集:

Case_ID <- 1:8
Pat_ID <- c(rep("1",4), rep("2",3),"3")
Sex <- c(rep(1,4), rep(2,2),1,1)
Age <- c(rep(33,3),76,rep(19,2),49,15)
Pat_File <- data.frame(Case_ID, Pat_ID, Sex,Age)

Case_ID Pat_ID Sex Age
1       1      1   33
2       1      1   33
3       1      1   33
4       1      1   76
5       2      2   19
6       2      2   19
7       2      1   49
8       3      1   15 

使用彼此不同的情况识别Pat_ID是相对容易的。我通过在函数聚合的帮助下计算年龄和/或性别的平均值(编码为1和2)来找到这些ID,然后计算平均值与年龄或性别之间的差异。我想自动删除/识别年龄或性别偏离患者身份证大部分病例的情况。在我的例子中,我想删除案例4和7.

3 个答案:

答案 0 :(得分:2)

我相信这种方法有效,但我怀疑它是最快捷或最有效的方法。

基本上我用分组变量分割数据帧。然后我找到了&#39;模式&#39;对于您关心的变量。然后我们过滤了那些没有包含所有模式的观察结果。然后我们把所有东西都重新组合在一起:

library(dplyr) # I used dplyr to 'filter' though you could do it another way
temp <- split(Pat_File, Pat_ID)

Mode.Sex <- lapply(temp, function(x) { temp1 <- table(as.vector(x$Sex)); names(temp1)[temp1 == max(temp1)]})

Mode.Age <- lapply(temp, function(x) { temp1 <- table(as.vector(x$Age)); names(temp1)[temp1 == max(temp1)]})

temp.f<-NULL
for(i in 1:length(temp)){
  temp.f[[i]] <- temp[[i]] %>% filter(Sex==Mode.Sex[[i]] & Age==Mode.Age[[i]])
}

do.call("rbind", temp.f)

#  Case_ID Pat_ID Sex Age
#1       1      1   1  33
#2       2      1   1  33
#3       3      1   1  33
#4       5      2   2  19
#5       6      2   2  19
#6       8      3   1  15

答案 1 :(得分:2)

你可以尝试

library(data.table)

使用Mode Is there a built-in function for finding the mode?

  Mode <- function(x) {
    ux <- unique(x)
    ux[which.max(tabulate(match(x, ux)))]
 }

setDT(Pat_File)[, .SD[Age==Mode(Age) & Sex==Mode(Sex)] , by=Pat_ID]
#    Pat_ID Case_ID Sex Age
#1:      1       1   1  33
#2:      1       2   1  33
#3:      1       3   1  33
#4:      2       5   2  19
#5:      2       6   2  19
#6:      3       8   1  15

测试其他案例,

 Pat_File$Sex[6] <- 1
 Pat_File$Age[4] <- 16
 setDT(Pat_File)[, .SD[Age==Mode(Age) & Sex==Mode(Sex)] , by=Pat_ID]
 #    Pat_ID Case_ID Sex Age
 #1:      1       1   1  33
 #2:      1       2   1  33
 #3:      1       3   1  33
 #4:      2       6   1  19
 #5:      3       8   1  15

答案 2 :(得分:0)

以下是使用sqldf包的另一种方法: 1)根据Pat_ID,Sex和Age创建具有唯一组的新数据帧(称为data_groups) 2)对于每个唯一的组,检查每个其他组的Pat_ID,如果一个组的Pat_ID与另一个组匹配,请选择计数较低的组并存储在新的向量中(low_counts) 3)获取新的datafame(data_groups)并从新的vector(low_counts)中取出Pat_ID 4)与Pat_File重新组合

以下是代码:

library(sqldf)

# Create new dataframe with unique groups based on Pat_ID, Sex, and Age
data_groups <- sqldf("SELECT *, COUNT(*) FROM Pat_File GROUP BY Pat_ID, Sex, Age")
# Create New Vector to Store Pat_IDs with Sex and Age that differ from mode
low_counts <- vector()
# Unique groups
data_groups

for(i in 1:length(data_groups[,1])){
  for(j in 1:length(data_groups[,1])){
    if(i<j){
      k <- length(low_counts)+1
      result <- data_groups[i,2]==data_groups[j,2]
      if(is.na(result)){result <- FALSE}
      if(result==TRUE){
        if(data_groups[i,5]<data_groups[j,5]){low_counts[k] <- data_groups[i,1]}      
        else{low_counts[k] <- data_groups[j,1]}
      }
    }
  }
}

low_counts <- as.data.frame(low_counts)
# Take out lower counts
data_groups <- sqldf("SELECT * FROM data_groups WHERE Case_ID NOT IN (SELECT * FROM low_counts)")

Pat_File <- sqldf("SELECT Pat_File.Case_ID, Pat_File.Pat_ID, Pat_File.Sex, Pat_File.Age FROM data_groups, Pat_File WHERE data_groups.Pat_ID=Pat_File.Pat_ID AND data_groups.Sex=Pat_File.Sex AND data_groups.Age=Pat_File.Age ORDER BY Pat_File.Case_ID")

Pat_File

其中提供以下结果:

  Case_ID Pat_ID Sex Age
1       1      1   1  33
2       2      1   1  33
3       3      1   1  33
4       5      2   2  19
5       6      2   2  19
6       8      3   1  15