你如何用Python传输二进制数据?

时间:2009-04-22 02:11:13

标签: python http file client-server protocol-buffers

我第一次开始使用客户端服务器程序,而且我对于我正在做什么的开始感到非常不足。

我将使用Google Protocol Buffers在我的客户端和服务器之间传输二进制数据。我将使用Python变体。根据我的理解,基本思想是客户端将序列化数据,将其发送到服务器,然后将数据反序列化。

问题是,我真的不知道从哪里开始将二进制数据发送到服务器。我希望它像HTTP请求一样“简单”,但我一直在谷歌搜索传输二进制数据的方法,并在大量的教程,指南和文档中迷失方向。我甚至无法通过调查HTTP传输来判断我是否正在咆哮错误的树(我希望能够使用它,所以如果需要安全性,我可以将它打败到HTTPS)。我真的不想进入套接字编程的水平 - 我想在转向之前使用可用的库。 (我也更喜欢标准的Python库,不过如果有一个完美的第三方库,我会住。)

所以,如果有人有一个很好的起点(或想要自己解释一下)如何通过Python传输二进制数据的好方法,我将不胜感激。我正在运行的服务器当前正在使用mod_python运行Apache。

4 个答案:

答案 0 :(得分:4)

每当你要将二进制数据从一个系统移动到另一个系统时,需要记住几件事。

不同的计算机以不同方式存储相同的信息。这对内存和网络都有影响。更多信息(http://en.wikipedia.org/wiki/Endianness

因为你正在使用python,你可以在这里减少一些松弛(假设客户端和服务器都在python中)并且只使用cPickle来序列化你的数据。如果你真的想要二进制文件,你将不得不熟悉python的struct模块(http://docs.python.org/library/struct.html)。并学习如何打包/解压缩数据。

我首先要开始使用简单的线路协议服务器,直到你克服了网络通信的困难。如果你从来没有这样做过,它会很快混淆。如何发出命令,如何传递数据,如何重新同步错误等...

如果您已经了解客户端/服务器协议设计的基础知识,那么首先在磁盘上练习打包和解包二进制结构。对于这样的情况,我也会参考HTTP和FTP的RFC。

-------基于评论的编辑-------- 通常,这类事情是通过向服务器发送一个“标题”来完成的,该标题包含文件的校验和以及文件的大小(以字节为单位)。请注意,我不是指HTTP标头,您可以根据需要自定义它。事件链需要像这样......

CLIENT: "UPLOAD acbd18db4cc2f85cedef654fccc4a4d8 253521"
SERVER: "OK"
(server splits the text line to get the command, checksum, and size)
CLIENT: "010101101010101100010101010etc..." (up to 253521 bytes)
(server reasembles all received data into a file, then checksums it to make sure it matches the original)
SERVER: "YEP GOT IT"
CLIENT: "COOL CYA"

这个过于简化,但我希望你能看到我在这里谈论的内容。

答案 1 :(得分:3)

我不确定我的问题是否正确,但也许您可以查看twisted project

正如您在常见问题解答中所看到的,“Twisted是一个用Python编写的网络引擎,支持多种协议。它包含一个Web服务器,众多聊天客户端,聊天服务器,邮件服务器等等.Twisted由一个组成。可单独访问的子项目数量[...]“。

文档非常好,互联网上有很多例子。希望它有所帮助。

答案 2 :(得分:1)

我想这取决于您与Google协议缓冲区的关联程度,但您可能希望查看Thrift

  

Thrift 是一个软件框架   可扩展的跨语言服务   发展。它结合了一个软件   堆栈与代码生成引擎   构建有效工作的服务   并且在C ++,Java之间无缝地,   Python,PHP,Ruby,Erlang,Perl,   Haskell,C#,Cocoa,Smalltalk和   OCaml的。

有一个很好的例子可以开始他们的主页。

答案 3 :(得分:0)

一个简单的问题:为什么二进制?有效负载本身是二进制的,还是只是更喜欢二进制格式? 如果是前者,也可以使用带有JSON或XML的base64编码;它确实占用了更多空间(~34%),并且处理开销更多,但对于许多用例来说不一定足够重要。