Question

我有一个55000行的表，看起来像那样（左表）： sample table

（生成样本数据的代码如下）

现在我需要将此表的每一行转换为6行，每行包含一个字母“hexamer”（图片右表）并进行一些计算：

# input for the function is one row of source table, output is 6 rows
splithexamer <- function(x){
  dir <- x$dir # strand direction: +1 or -1
  pos <- x$pos # hexamer position
  out <- x[0,] # template of output
  hexamer <- as.character(x$hexamer)
  for (i in 1:nchar(hexamer)) {
    letter <- substr(hexamer, i, i)
    if (dir==1) {newpos <- pos+i-1;}
    else        {newpos <- pos+6-i;}
    y <- x
    y$pos <- newpos
    y$letter <- letter
    out <- rbind(out,y)
  }
  return(out);
} 


# Sample data generation:
set.seed(123)
size <- 55000
letters <- c("G","A","T","C")
df<-data.frame(
  HSid=paste0("Hs.", 1:size),
  hexamer=replicate(n=size, paste0(sample(letters,6,replace=T), collapse="")),
  chr=sample(c(1:23,"X","Y"),size,replace=T),
  pos=sample(1:99999,size,replace=T),
  dir=sample(c(1,-1),size,replace=T)
)

现在我想得到一些建议，将我的功能应用到每一行是最有效的方法。到目前为止，我尝试了以下内容：

# Variant 1: for() with rbind
tmp <- data.frame()
for (i in 1:nrow(df)){
tmp<-rbind(tmp,splithexamer(df[i,]));
}

# Variant 2: for() with direct writing to file
for (i in 1:nrow(df)){
write.table(splithexamer(df[i,]),file="d:/test.txt",append=TRUE,quote=FALSE,col.names=FALSE)
}

# Variant 3: ddply
tmp<-ddply(df, .(HSid), .fun=splithexamer)

# Variant 4: apply - I don't know correct syntax
tmp<-apply(X=df, 1, FUN=splithexamer) # this causes an error

所有这些都非常慢，我想知道是否有更好的方法来解决这个问题...

Answer 1

使用data.table的解决方案：

df$hexamer <- as.character(df$hexamer)
dt <- data.table(df)
dt[, id := seq_len(nrow(df))]
setkey(dt, "id")
dt.out <- dt[, { mod.pos <- pos:(pos+5); if(dir == -1) mod.pos <- rev(mod.pos); 
                list(split = unlist(strsplit(hexamer, "")), 
                    mod.pos = mod.pos)}, by=id][dt][, id := NULL]
dt.out
#         split mod.pos     HSid hexamer chr   pos dir
#      1:     G   95982     Hs.1  GCTCCA   5 95982   1
#      2:     C   95983     Hs.1  GCTCCA   5 95982   1
#      3:     T   95984     Hs.1  GCTCCA   5 95982   1
#      4:     C   95985     Hs.1  GCTCCA   5 95982   1
#      5:     C   95986     Hs.1  GCTCCA   5 95982   1
#     ---                                             
# 329996:     A   59437 Hs.55000  AATCTG   7 59436   1
# 329997:     T   59438 Hs.55000  AATCTG   7 59436   1
# 329998:     C   59439 Hs.55000  AATCTG   7 59436   1
# 329999:     T   59440 Hs.55000  AATCTG   7 59436   1
# 330000:     G   59441 Hs.55000  AATCTG   7 59436   1

主线说明：

by=id将按id分组，因为它们都是唯一的，所以它会按每行分组，一次一个。
然后，{}中的mod.pos到pos:(pos+6-1)以及dir == -1是否会将其反转。
现在，list参数：它通过使用split从您的六角网创建6个核苷酸来创建列strsplit，并设置我们已经计算过的mod.pos前一步。
这会产生data.table列id, split and mod.pos。
下一部分[dt]是data.table's X[Y]语法的典型用法，它根据键列（= id对data.tables执行连接，这里）。由于每id行有6行，因此在此加入期间，dt中的所有其他列都会重复。

我建议您首先查看data.table 常见问题，然后再查看文档（简介）。可以通过安装软件包并加载它然后键入?data.table来获取这些链接。我还建议你逐一完成许多示例，并提供一个测试数据表。实际上可以理解data.table的功能。

希望这有帮助。

大表处理（需要建议）

1 个答案: