使用协议缓冲区和内部数据模型

时间:2012-02-14 06:26:58

标签: java protocol-buffers datamodel

我有Picture的现有内部数据模型,如下所示:

package test.model;
public class Picture {

  private int height, width;
  private Format format;

  public enum Format {
    JPEG, BMP, GIF
  }

  // Constructor, getters and setters, hashCode, equals, toString etc.
}

我现在想要使用protocol buffers对其进行序列化。我编写了一个Picture.proto文件,它反映了Picture类的字段,并在test.model.protobuf包下编译了一个类名为PictureProtoBuf的代码:

package test.model.protobuf;

option java_package = "test.model.protobuf";
option java_outer_classname = "PictureProtoBuf";

message Picture {
  enum Format {
    JPEG = 1;
    BMP = 2;
    GIF = 3;
  }
  required uint32 width = 1;
  required uint32 height = 2;
  required Format format = 3;
}

现在我假设如果我有Picture我要序列化并发送到某个地方,我必须创建一个PictureProtoBuf对象并映射所有字段,如下所示:

Picture p = new Picture(100, 200, Picture.JPEG);
PictureProtoBuf.Picture.Builder output = PictureProtoBuf.Picture.newBuilder();
output.setHeight(p.getHeight());
output.setWidth(p.getWidth());

当我的数据模型中有枚举时,我才会失败。我现在使用的丑陋方式是:

output.setFormat(PictureProtoBuf.Picture.Format.valueOf(p.getFormat().name());

但是,这很容易破坏并且依赖于我的内部数据模型和协议缓冲区数据模型之间的枚举名称一致(这不是一个很好的假设,因为.proto文件中的枚举名称必须是唯一的)。如果来自内部模型的.name()调用与protobuf生成的枚举名称不匹配,我可以看到我必须在枚举上手工制作switch语句。

我想我的问题是我是否以正确的方式进行此操作?我是否应该废弃我的内部数据模型(test.model.Picture)以支持protobuf生成的模型(test.model.protobuf.PictureProtoBuf)?如果是这样,我如何实现我在内部数据模型中所做的一些细节(例如hashCode()equals(Object)toString()等等?)

3 个答案:

答案 0 :(得分:5)

虽然现有的答案都很好,但我决定进一步了解Marc Gravell的建议来研究protostuff。

您可以使用protostuff runtime module和动态ObjectSchema在运行时为内部数据模型创建模式

我的代码现在缩减为:

// Do this once
private static Schema<Picture> schema = RuntimeSchema.getSchema(Picture.class);
private static final LinkedBuffer buffer = LinkedBuffer.allocate(DEFAULT_BUFFER_SIZE);

// For each Picture you want to serialize...
Picture p = new Picture(100, 200, Picture.JPEG);
byte[] result = ProtobufIOUtil.toByteArray(p, schema, buffer);
buffer.clear();
return result;

当您的内部数据模型中包含大量属性时,这是对Google protobuf库(请参阅我的问题)的一个很大改进。我也无法检测到速度惩罚(无论如何,我的用例!)

答案 1 :(得分:4)

如果您可以控制内部数据模型,则可以修改test.model.Picture,以便枚举值知道相应的protobuf等效项,可能会将对应关系传递给您的枚举构造函数。

例如,使用Guava's BiMap(具有唯一值的双向地图),我们会得到类似

的内容
enum ProtoEnum { // we don't control this
  ENUM1, ENUM2, ENUM3;
}

enum MyEnum {
  ONE(ProtoEnum.ENUM1), TWO(ProtoEnum.ENUM2), THREE(ProtoEnum.ENUM3);

  static final ImmutableBiMap<MyEnum, ProtoEnum> CORRESPONDENCE;

  static {
    ImmutableBiMap.Builder<ProtoEnum, MyEnum> builder = ImmutableBiMap.builder();
    for (MyEnum x : MyEnum.values()) {
      builder.put(x.corresponding, x);
    }
    CORRESPONDENCE = builder.build();
  }

  private final ProtoEnum corresponding;

  private MyEnum(ProtoEnum corresponding) {
    this.corresponding = corresponding;
  }
}

然后,如果我们要查找与MyEnum对应的ProtoEnum,我们只需MyEnum.CORRESPONDENCE.get(protoEnum),而另一方面,我们只需MyEnum.CORRESPONDENCE.inverse().get(myEnum)myEnum.getCorresponding()

答案 2 :(得分:1)

一种方法是仅保留生成的枚举:

package test.model;
public class Picture {

  private int height, width;
  private PictureProtoBuf.Picture.Format format;

 // Constructor, getters and setters, hashCode, equals, toString etc.
}

我已经使用了几次,在你的情况下它可能有意义也可能没有意义。不过,建议您使用protobuf生成的类作为数据模型(或扩展它们以添加功能)。

相关问题