如何在使用PowerShell断开连接后恢复FTP上传?

时间:2017-06-27 09:04:38

标签: powershell ftp ftpwebrequest

我有一个PowerShell脚本,我用它来传输从美国到欧洲的7.3 Gb文件。该脚本工作正常,直到偶尔连接断开并且传输停止。

我尝试了多个版本的try-catch和重试计数器,这样如果连接失败,它会重试发送相同的块。

这通常有效但问题是当连接断开时,如果连接设法将一半块发送到FTP位置然后连接失败,它会再次尝试发送整个块,所以当它完成时我可以结束发送更大的文件。

这个较大的文件也是一个损坏/无效的文件,因为它只是一个比它应该拥有更多位和字节的堆。

我用来FTP文件的代码是:

# FTP connection details
$ftp_addr = "ftp://ftp.example.com/Backups/"
$user = "abc"
$pass = "1234"

$bufSize = 256mb

# some more irrelevant code here where I identify files to be FTP'ed etc.
# ......

# Initialize connection to FTP
$ftp = [System.Net.FtpWebRequest]::Create($destination_filename+".zip")
$ftp = [System.Net.FtpWebRequest]$ftp
$ftp.Method = [System.Net.WebRequestMethods+Ftp]::UploadFile
$ftp.Credentials = new-object System.Net.NetworkCredential($user, $pass)

$ftp.Timeout = -1              #infinite timeout
$ftp.ReadWriteTimeout = -1     #infinite timeout

$ftp.UseBinary = $true
$ftp.UsePassive = $true

$requestStream = $ftp.GetRequestStream()
$fileStream = [System.IO.File]::OpenRead($backup_target_app_data)
$chunk = New-Object byte[] $bufSize

try {

    while( $bytesRead = $fileStream.Read($chunk,0,$bufsize) )
    {
        $retryCount = 0

        while ($retryCount -ne 30) {
            try {
                    $requestStream.write($chunk, 0, $bytesRead)
                    $requestStream.Flush()
                }
            catch { 
                    $retryCount += 0 
                }
        }
    }

    $FileStream.Close()
    $requestStream.Close()

现在,我不确定如何处理这个问题。我一直在考虑将我的块大小从256mb缩小到TCP数据包的大小,但据我所知,这些也会有所不同(最多64Kb)。

所以,我正在寻找一种方法以某种方式处理这种连接丢失,因为我现在还不确定如何做到这一点。任何帮助都非常感谢。

1 个答案:

答案 0 :(得分:5)

连接被FtpWebRequest中断后恢复传输的唯一方法是重新连接并开始写入文件的末尾。

使用FtpWebRequest.ContentOffset

或者使用可以自动恢复传输的FTP库。

例如WinSCP .NET assembly。有了它,可恢复的上传就像以下一样简单:

# Load WinSCP .NET assembly
Add-Type -Path "WinSCPnet.dll"

# Setup session options
$sessionOptions = New-Object WinSCP.SessionOptions -Property @{
    Protocol = [WinSCP.Protocol]::Ftp
    HostName = "ftp.example.com"
    UserName = "user"
    Password = "mypassword"
}

$session = New-Object WinSCP.Session

# Connect
$session.Open($sessionOptions)

# Resumable upload
$transferResult = $session.PutFiles("C:\path\file.zip", "/home/user/file.zip").Check()

(我是WinSCP的作者)