nginx将$ request_body记录为十六进制

Question

我正在尝试将请求的请求体记录到我的api，而nginx正在将所有引号（以及其他一些字符，如空格和制表符）转换为十六进制字符。

这是我的日志格式

log_format postdata '{"ts": "$time_iso8601", "status": $status, "req": "$uri", "meth": "$request_method", "body": "$request_body"}';

以下是记录的内容

{"ts": "2015-05-20T15:31:11-07:00", "status": 400, "req": "/v2/track", "meth": "POST", "body": {\x22id\x22:\x22user id\x22}}

如何防止这种情况，以便生成的日志行

{"ts": "2015-05-20T15:31:11-07:00", "status": 400, "req": "/v2/track", "meth": "POST", "body": {"id":"user id"}}

Answer 1

希望这会对某人有所帮助。 为了记录整个json请求未转义。 请添加http阻止此配置

http {
 log_format postdata escape=json $request_body;
 access_log /var/log/nginx/access.log postdata;
 .....
}

Answer 2

你不能停止逃避它，并且必须对其进行后期处理。

Python2示例：

line = '{\x22id\x22:\x22user id\x22}'
line.decode('unicode_escape')
>> u'{"id":"user id"}'

Python3示例：

line = '{\x22id\x22:\x22user id\x22}'
bytes(line, 'utf-8').decode('unicode_escape')
>> '{"id":"user id"}'

Ruby示例（来自https://stackoverflow.com/a/18752208/2398354）：

require 'yaml'
line = '{\x22id\x22:\x22user id\x22}'
YAML.load(%Q(---\n"#{line}"\n))
=> "{\"id\":\"user id\"}"

注意：如果使用logstash

后期处理文件，则最后一个示例很有用

Answer 3

从1.13开始，有一个“ escape = none”参数可以关闭数据转义。

http://nginx.org/en/docs/http/ngx_http_log_module.html#log_format

log_format  api_request_log escape=none '[$time_local] $request \n$request_body';

Answer 4

像其他人说的那样，没有办法在nginx配置中解决这个问题。 但是后处理它并不困难。如果请求正文是JSON格式的，那么你可能会遇到很多\ x0A（换行符）和\ x22（＆＃34;）。

在查看日志文件之前，先用sed清除那些。

以下是您的命令：LANG='' sed -E 's/(\\x0A|\\x22)//g' access.log