为什么Flink只有Avro的keyValue接收器编写器?

时间:2018-02-07 09:17:57

标签: apache-flink avro parquet

我想知道为什么Flink会有一个AvroKeyValueSinkWriter,但是没有一个简单的AvroSinkWriter具有常规Schema(非键值)。

我使用它生成近流式Avro文件,我每小时将它们批量处理一次Parquet文件。 我使用了Flink的BucktingSink。

Key-Value Schema让我在生成Parquet时遇到了一些困难, 我错过了什么?谢谢!

1 个答案:

答案 0 :(得分:0)

你找不到Flink的任何帮助。

文档依赖于javadoc,示例几乎是单行的,如字数和其他废话。

我还没有看到" pro" flink编码器可以做,了解正确的方法来完成一些最简单的任务。从Kafka读取,解析avro或json记录,然后在文件系统或hdfs上放入特定数据会很棒。你不会找到任何这样的例子。

你会认为现在可以在网上搜索一些可靠的复杂例子。

这些项目中的大多数都要求您阅读所有源代码并尝试找出方法。

最后,Spring启动并将代码堵塞到服务中比购买Flink更容易,而且在某种程度上是Spark。

祝你好运。