Question

我按照指南在Alluxio上部署火花。当我尝试从alluxio加载数据以运行rdd操作时，

val ccc = sc.textFile（＆＃34; alluxio：// localhost：19998 / findbugs.xml＆＃34;）
ccc.count

错误显示如下：

16/07/24 23:27:16 INFO logger.type: getFileStatus(alluxio://localhost:19998/findbugs.xml)
16/07/24 23:27:16 ERROR logger.type: Frame size (273247862) larger than max length (16777216)!
alluxio.org.apache.thrift.transport.TTransportException: Frame size (273247862) larger than max length (16777216)!
    at alluxio.org.apache.thrift.transport.TFramedTransport.readFrame(TFramedTransport.java:137)
    at alluxio.org.apache.thrift.transport.TFramedTransport.read(TFramedTransport.java:101)
    at alluxio.org.apache.thrift.transport.TTransport.readAll(TTransport.java:86)

java版本是1.8.0_74，spark：1.2.0; alluxio 1.2.0
这个问题困扰了我这么长时间。

Answer 1

此错误的典型原因是使用错误的端口连接到Alluxio主站。默认端口是19998.您可以尝试重新启动spark-shell并连接到正确的端口。

此错误的另一个可能原因是客户端和主服务器具有不同的安全设置。身份验证类型（配置参数alluxio.security.authentication.type）应在客户端和主服务器上匹配。以下是有关配置参数的信息：http://www.alluxio.org/docs/master/en/Configuration-Settings.html#security-configuration

火花在Tachyon（alluxio）。帧大小（273247862）大于最大长度（16777216）

1 个答案: