Question

快速了解Pig UDF。

我有一个自定义UDF，我想接受多个列：

package pigfuncs;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import org.apache.pig.EvalFunc;
import org.apache.pig.FuncSpec;
import org.apache.pig.data.DataBag;
import org.apache.pig.data.DataType;
import org.apache.pig.data.Tuple;
import org.apache.pig.impl.logicalLayer.FrontendException;
import org.apache.pig.impl.logicalLayer.schema.Schema;

public class DataToXML extends EvalFunc<String> {


      public DataToXML() {

      }

      @Override
      public List<FuncSpec> getArgToFuncMapping()
          throws FrontendException {
        List<FuncSpec> funcList = new ArrayList<FuncSpec>();
        funcList.add(new FuncSpec(this.getClass().getName(),
            new Schema(new Schema.FieldSchema(null, DataType.CHARARRAY))));

        return funcList;
      }

      @Override
      public String exec(Tuple t) throws IOException {


        if (t == null || t.size() == 0)
          return "";


        StringBuilder result = new StringBuilder();

        result.append("<Num>");
        result.append((String) t.get(0));
        result.append("</Num>");

        result.append("<Tags>");
        result.append((String) t.get(1));
        result.append("</Tags");


        return result.toString();
      }

}

我想通过2列;数量和数据。我希望输出为XYZabc

我无法弄清楚如何让猪脚本调用它，每个组合都会导致不同的错误！

摘自我的剧本：

-- apply some sort of UDF that returns the exact line without the stop words
nostop = FOREACH cleansed GENERATE lotnum,pigfuncs.StopWords(description) as data;

-- put into xml
out = FOREACH nostop GENERATE pigfuncs.DataToXML(lotnum, data);

这个错误是：

无法将rapp.pigfuncs.DataToXML的匹配函数推断为多个或不适合。请使用明确的演员。

希望这对猪大师来说很容易：）

邓肯

Answer 1

您的getArgToFuncMapping()实施表明您只期待一个参数。（您只向funcList添加了一个字段。）如果您不打算根据参数的类型为此UDF提供多个实现，则不需要实现getArgToFuncMapping()。只是跳过它，这个错误就会消失。

Pig UDF接受多个输入

1 个答案: