大文本文件（命令行）的自动重复行删除

Question

我收到大文本文件

  

大小超过1.5GB

主要包含重复的行。我需要 command prompt way 删除这些重复的行，并生成一个独特行 as fast as possible 的新文件。

请注意我会在任务计划程序中设置它，因此我需要一个在初始设置后需要 no human intervention 的解决方案。

另外我不能使用Linux，必须使用Windows，提前谢谢。