Question

我可以从word2vec网站下载GoogleNews-vectors-negative300.bin.gz。 .bin文件（大约3.4GB）是一种对我没用的二进制格式。 Tomas Mikolov assures us＆＃34;将二进制格式转换为文本格式应该相当简单（尽管这需要更多的磁盘空间）。检查距离工具中的代码，读取二进制文件相当简单。＆＃34;不幸的是，我不太了解C http://word2vec.googlecode.com/svn/trunk/distance.c。

据说gensim也可以这样做，但我发现的所有教程似乎都是关于从文本转换，而不是其他方式。

有人可以建议修改C代码或gensim发出文本的说明吗？

Answer 1

我使用此代码加载二进制模型，然后将模型保存到文本文件

from gensim.models.keyedvectors import KeyedVectors

model = KeyedVectors.load_word2vec_format('path/to/GoogleNews-vectors-negative300.bin', binary=True)
model.save_word2vec_format('path/to/GoogleNews-vectors-negative300.txt', binary=False)

参考文献：API和nullege。

注意：

以上代码适用于gensim的新版本。对于之前的版本，我使用了此代码：

from gensim.models import word2vec

model = word2vec.Word2Vec.load_word2vec_format('path/to/GoogleNews-vectors-negative300.bin', binary=True)
model.save_word2vec_format('path/to/GoogleNews-vectors-negative300.txt', binary=False)

Answer 2

在word2vec-toolkit邮件列表上，Thomas Mensink以小型C程序的形式提供了answer，它将.bin文件转换为文本。这是distance.c文件的修改。我用下面的Thomas代码替换了原来的distance.c并重建了word2vec（make clean; make），并将编译后的距离重命名为readbin。然后./readbin vector.bin将创建vector.bin的文本版本。

//  Copyright 2013 Google Inc. All Rights Reserved.
//
//  Licensed under the Apache License, Version 2.0 (the "License");
//  you may not use this file except in compliance with the License.
//  You may obtain a copy of the License at
//
//      http://www.apache.org/licenses/LICENSE-2.0
//
//  Unless required by applicable law or agreed to in writing, software
//  distributed under the License is distributed on an "AS IS" BASIS,
//  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
//  See the License for the specific language governing permissions and
//  limitations under the License.

#include <stdio.h>
#include <string.h>
#include <math.h>
#include <malloc.h>

const long long max_size = 2000;         // max length of strings
const long long N = 40;                  // number of closest words that will be shown
const long long max_w = 50;              // max length of vocabulary entries

int main(int argc, char **argv) {
  FILE *f;
  char file_name[max_size];
  float len;
  long long words, size, a, b;
  char ch;
  float *M;
  char *vocab;
  if (argc < 2) {
    printf("Usage: ./distance <FILE>\nwhere FILE contains word projections in the BINARY FORMAT\n");
    return 0;
  }
  strcpy(file_name, argv[1]);
  f = fopen(file_name, "rb");
  if (f == NULL) {
    printf("Input file not found\n");
    return -1;
  }
  fscanf(f, "%lld", &words);
  fscanf(f, "%lld", &size);
  vocab = (char *)malloc((long long)words * max_w * sizeof(char));
  M = (float *)malloc((long long)words * (long long)size * sizeof(float));
  if (M == NULL) {
    printf("Cannot allocate memory: %lld MB    %lld  %lld\n", (long long)words * size * sizeof(float) / 1048576, words, size);
    return -1;
  }
  for (b = 0; b < words; b++) {
    fscanf(f, "%s%c", &vocab[b * max_w], &ch);
    for (a = 0; a < size; a++) fread(&M[a + b * size], sizeof(float), 1, f);
    len = 0;
    for (a = 0; a < size; a++) len += M[a + b * size] * M[a + b * size];
    len = sqrt(len);
    for (a = 0; a < size; a++) M[a + b * size] /= len;
  }
  fclose(f);
  //Code added by Thomas Mensink
  //output the vectors of the binary format in text
  printf("%lld %lld #File: %s\n",words,size,file_name);
  for (a = 0; a < words; a++){
    printf("%s ",&vocab[a * max_w]);
    for (b = 0; b< size; b++){ printf("%f ",M[a*size + b]); }
    printf("\b\b\n");
  }  

  return 0;
}

我从printf删除了“\ b \ b”。

顺便说一下，生成的文本文件仍然包含文本词和一些不必要的空格，我不想进行一些数值计算。我使用bash命令从每行删除了初始文本列和尾随空白。

cut --complement -d ' ' -f 1 GoogleNews-vectors-negative300.txt > GoogleNews-vectors-negative300_tuples-only.txt
sed 's/ $//' GoogleNews-vectors-negative300_tuples-only.txt

Answer 3

格式为IEEE 754单精度二进制浮点格式：binary32 http://en.wikipedia.org/wiki/Single-precision_floating-point_format 他们使用little-endian。

举个例子：

第一行是字符串格式：＆＃34; 3000000 300 \ n＆＃34; （vocabSize＆amp; vecSize，getByte到byte ==＆＃39; \ n＆＃39;）
下一行包括词汇首先是字，然后是（300 * 4字节的浮点值，每个4字节）尺寸）：
```
getByte till byte==32 (space). (60 47 115 62 32 => <\s>[space])
```
然后每个接下来的4个字节将代表一个浮点数

下一个4字节：0 0 -108 58 =＆gt; 0.001129150390625。

您可以查看维基百科链接以了解具体方法，让我以此为例：

（little-endian - ＆gt;逆序）00111010 10010100 00000000 00000000

首先是sign bit =＆gt; sign = 1（else = -1）
next 8 bits =＆gt; 117 =＆gt; exp = 2 ^（117-127）
next 23 bits =＆gt; pre = 0 * 2 ^（ - 1）+ 0 * 2 ^（ - 2）+ 1 * 2 ^（ - 3）+ 1 * 2 ^（ - 5）

value = sign * exp * pre

Answer 4

您可以在word2vec中加载二进制文件，然后保存文本版本，如下所示：

from gensim.models import word2vec
 model = word2vec.Word2Vec.load_word2vec_format('Path/to/GoogleNews-vectors-negative300.bin', binary=True)
 model.save("file.txt")

`

Answer 5

我正在使用gensim处理GoogleNews-vectors-negative300.bin，并在加载模型时加入binary = True标记。

from gensim import word2vec

model = word2vec.Word2Vec.load_word2vec_format('Path/to/GoogleNews-vectors-negative300.bin', binary=True)

似乎工作正常。

Answer 6

我有类似的问题，我希望将bin / non-bin（gensim）模型输出为CSV。

这是在python上执行该操作的代码，它假设您已安装gensim：

https://gist.github.com/dav009/10a742de43246210f3ba

Answer 7

convertvec是一个小工具，可以为word2vec库转换不同格式的矢量。

将矢量从二进制转换为纯文本：

./ convertvec bin2txt input.bin output.txt

将矢量从纯文本转换为二进制文件：

./ convertvec txt2bin input.txt output.bin

Answer 8

如果您收到错误：

ImportError: No module named models.word2vec

那是因为有一个API更新。这将有效：

from gensim.models.keyedvectors import KeyedVectors

model = KeyedVectors.load_word2vec_format('./GoogleNews-vectors-negative300.bin', binary=True)
model.save_word2vec_format('./GoogleNews-vectors-negative300.txt', binary=False)

Answer 9

以下是我使用的代码：

import codecs
from gensim.models import Word2Vec

def main():
    path_to_model = 'GoogleNews-vectors-negative300.bin'
    output_file = 'GoogleNews-vectors-negative300_test.txt'
    export_to_file(path_to_model, output_file)


def export_to_file(path_to_model, output_file):
    output = codecs.open(output_file, 'w' , 'utf-8')
    model = Word2Vec.load_word2vec_format(path_to_model, binary=True)
    print('done loading Word2Vec')
    vocab = model.vocab
    for mid in vocab:
        #print(model[mid])
        #print(mid)
        vector = list()
        for dimension in model[mid]:
            vector.append(str(dimension))
        #line = { "mid": mid, "vector": vector  }
        vector_str = ",".join(vector)
        line = mid + "\t"  + vector_str
        #line = json.dumps(line)
        output.write(line + "\n")
    output.close()

if __name__ == "__main__":
    main()
    #cProfile.run('main()') # if you want to do some profiling

Answer 10

快速更新，因为现在有更简单的方法。

如果您使用https://github.com/dav/word2vec中的word2vec，则会有一个名为-binary的附加选项接受1生成二进制文件或0生成文本文件。此示例来自repo中的demo-word.sh：

time ./word2vec -train text8 -output vectors.bin -cbow 1 -size 200 -window 8 -negative 25 -hs 0 -sample 1e-4 -threads 20 -binary 0 -iter 15

将word2vec bin文件转换为文本

10 个答案: