与ARGF混淆#set_encoding

时间:2013-03-27 18:19:52

标签: ruby encoding character-encoding

ARGF.set_encoding说:

  

如果指定了单个参数,则从ARGF读取的字符串将使用指定的编码进行标记。

     

如果给出两个用冒号分隔的编码名称,例如“ascii:utf-8”,读取字符串从第一个编码(外部编码)转换为第二个编码(内部编码),然后用第二个编码标记。

所以我尝试了下面的内容:

p RUBY_VERSION
p ARGF.external_encoding
ARGF.set_encoding('ascii')
p ARGF.readlines($/)

输出:

D:\Rubyscript\My ruby learning days>ruby true.rb a.txt
"2.0.0"
#<Encoding:IBM437>
["Hi! How are you?\n", "I am doing good,thanks."]

p RUBY_VERSION
p ARGF.external_encoding
ARGF.set_encoding(ARGF.external_encoding,'ascii')
p ARGF.readlines($/)

输出:

D:\Rubyscript\My ruby learning days>ruby true.rb a.txt
"2.0.0"
#<Encoding:IBM437>
["Hi! How are you?\n", "I am doing good,thanks."]

未找到编码更改。所以请告诉我正确的方法。

1 个答案:

答案 0 :(得分:5)

编码IBM437ASCII(和UTF-8)具有相同的ASCII字符字节序列。所以你不会看到与String#inspect的区别。但是,您可以检查输入字符串的String#encoding值。

p RUBY_VERSION
p ARGF.external_encoding
ARGF.set_encoding(ARGF.external_encoding,'ascii')
p ARGF.readlines($/).map{|s| s.encoding}

在Ruby( 1.9及更高版本)中,String是一个用某些编码标记的字节序列。您可以从String#encoding获取编码。

所以中文“中”可以用不同的方式表示:

e4 b8 ad          # tagged with encoding UTF-8
d6 d0             # tagged with encoding GBK
2d 4e             # tagged with encoding UTF-16le

我总是用UTF-8编写脚本,也就是说,我脚本的内部编码是UTF-8。有时我想处理用GBK编码的文本文件(例如名为“a.txt”并具有内容“中”)。然后我可以为IO对象设置外部编码和内部编码,Ruby将为我做转换。

ARGF.set_encoding('GBK', 'UTF-8')
str = ARGF.readline
puts str.encoding

# run             $ script.rb a.txt

Ruby从“a.txt”读取"\xd6\xd0",因为我已将外部编码指定为GBK,所以它使用编码GBK标记数据。并且我已将内部编码指定为UTF-8,因此Ruby执行从GBK字节序列到UTF-8的转换,这导致"\xe4\xb8\xad"标记为UTF-8。此字符串与我脚本中的其他字符串具有相同的编码,因此我可以轻松使用它。

这很有用,因为当两个String操作数具有不同的,不兼容的编码时,许多String方法都会失败。例如:

# encoding: utf-8
a = "中"                  # tagged with UTF-8
b = "中".encode('gbk')    # tagged with GBK
puts a + b
#=> Encoding::CompatibilityError: incompatible character encodings: UTF-8 and GBK