合并带有时间戳块的日志文件

时间:2018-08-26 03:45:41

标签: logging text-processing text-parsing

如果每一行都以时间开头,则合并这些行然后进行排序很简单。我正在尝试将数十年的聊天记录合并在一起,否则聊天记录的纯文本在开始和结束时都由时间戳记来分隔。每个文件都有几个部分。

Session Start (Bob): Sun Nov 30 19:33:38 2003
Bob: hey what's up?
Michael: oh nothing
Session Close (Bob): Mon Dec 1 02:22:18 2003

Session Start (Bob): Thu Dec 4 09:33:38 2003
Michael: long time no hear
Session Close (Bob): Thu Dec 4 13:22:18 2003

每个人都有多个文件,它们代表时间的重叠部分。如果一个文件在11月和1月举行会议,则另一个文件可能在12月和2月举行会议。我想将它们全部合并到一个按时间顺序排列的文件中。

更复杂的是,有时由于崩溃而没有会话关闭,而只是另一个会话开始。会话关闭应该暗示在此之前发生。如果有任何歧义或重叠,则脚本不应合并这些块。

以任何语言或命令行环境打开解决方案。

1 个答案:

答案 0 :(得分:2)

awk(对于GNU impl。gawk)适合该任务。主要思想是找到一个好的记录分隔符和字段分隔符。
在这种情况下,RS="Session Start "(包括尾随空格)和FS="\n"。 对于输出字段分隔符OFS,可以使用管道或其他符号。最后,输出按第一个日期字段排序。 此解决方案可能会导致排长队,但可以帮助您开始使用更好的解决方案。

#!/bin/bash

gawk 'BEGIN{ RS="Session Start " ; FS="\n"; OFS="|"} {
split($1,a,": ")
# put date first on first field
$1=a[2] " " a[1]
print $0
}' file1.txt file2.txt | sort --field-separator="|" -k 2,2 -k 3,3 -k 5,5

文件1

Session Start (Bob): Sun Nov 30 19:33:38 2003
Bob: hey what's up?
Michael: oh nothing
Session Close (Bob): Mon Dec 1 02:22:18 2003

Session Start (Bob): Thu Dec 4 09:33:38 2003
Michael: long time no hear
Session Close (Bob): Thu Dec 4 13:22:18 2003

文件2

Session Start (Bob): Tue Dic 2 19:33:38 2003
Bob: hey what's up?
Michael: oh nothing
Session Close (Bob): Tue Dic 2 20:22:18 2003

Session Start (Bob): Wed Jan 15 09:33:38 2003
Michael: long time no hear
Session Close (Bob): Wed Jan 15 13:22:18 2003

输出

Sun Nov 30 19:33:38 2003 (Bob)|Bob: hey what's up?|Michael: oh nothing|Session Close (Bob): Mon Dec 1 02:22:18 2003||
Tue Dec 2 19:33:38 2003 (Bob)|Bob: hey what's up?|Michael: oh nothing|Session Close (Bob): Tue Dec 2 20:22:18 2003||
Thu Dec 4 09:33:38 2003 (Bob)|Michael: long time no hear|Session Close (Bob): Thu Dec 4 13:22:18 2003|
Wed Jan 15 09:33:38 2003 (Bob)|Michael: long time no hear|Session Close (Bob): Wed Jan 15 13:22:18 2003|