Question

我收到“意外”错误。我试过几次，但仍然无法加载数据。还有其他方法可以加载数据吗？

gs://log_data/r_mini_raw_20120510.txt.gzto567402616005:myv.may10c
Errors:
Unexpected. Please try again.
Job ID: job_4bde60f1c13743ddabd3be2de9d6b511
Start Time: 1:48pm, 12 May 2012
End Time: 1:51pm, 12 May 2012
Destination Table: 567402616005:myvserv.may10c
Source URI: gs://log_data/r_mini_raw_20120510.txt.gz
Delimiter: ^
Max Bad Records: 30000
Schema:
zoneid: STRING
creativeid: STRING
ip: STRING

更新：

我正在使用可在此处找到的文件：

http://saraswaticlasses.net/bad.csv.zip

bq load -F '^' --max_bad_record=30000 mycompany.abc bad.csv  id:STRING,ceid:STRING,ip:STRING,cb:STRING,country:STRING,telco_name:STRING,date_time:STRING,secondary:STRING,mn:STRING,sf:STRING,uuid:STRING,ua:STRING,brand:STRING,model:STRING,os:STRING,osversion:STRING,sh:STRING,sw:STRING,proxy:STRING,ah:STRING,callback:STRING

我收到错误“加载操作中的BigQuery错误：意外。请再试一次。”

同样的文件可以在Ubuntu上运行，而它不能在CentOS 5.4（最终版）中运行是否需要检查操作系统编码？

Answer 1

您上传的文件有未终止的报价。你能删除该行并再试一次吗？我已经提交了一个内部bigquery错误，以便能够更优雅地处理这个案例。

$grep '"' bad.csv
3000^0^1.202.218.8^2f1f1491^CN^others^2012-05-02 20:35:00^^^^^"Mozilla/5.0^generic web browser^^^^^^^^

当我从我的工作站（Ubuntu）运行负载时，我收到有关该行的警告。请注意，如果您使用的是较大的文件，则不会看到此警告，而只会出现故障。

$bq show --format=prettyjson  -j job_e1d8636e225a4d5f81becf84019e7484
...
"status": {
  "errors": [
  {
    "location": "Line:29057 / Field:12", 
    "message": "Missing close double quote (\") character: field starts with: <Mozilla/>", 
    "reason": "invalid"
  }
]

Answer 2

我怀疑您输入数据中的行或字段超过了64 KB的限制。也许重新检查数据的格式，检查它是否正确gzip，如果所有其他方法都失败了，请尝试导入未压缩的数据。（一种可能性是整个压缩文件被解释为超出上述限制的单个行/字段。）

要回答原始问题，还有一些其他方法可以导入数据：您可以使用命令行工具或Web UI直接从本地计算机上载，也可以使用原始API。但是，所有这些机制（包括您使用的Google存储导入）都会通过相同的CSV解析器漏斗，因此它们可能会以相同的方式失败。

加载数据时出现意外错误

2 个答案: