Question

我通过线性回归的例子学习TensorFlow的基础知识。使用scikit-learn执行线性回归效果很好：

import numpy as np
from sklearn.datasets import fetch_california_housing
from sklearn.linear_model import LinearRegression

housing = fetch_california_housing()

lin_reg = LinearRegression()
lin_reg.fit(housing.data, housing.target.reshape(-1, 1))

print(np.r_[lin_reg.intercept_.reshape(-1, 1), lin_reg.coef_.T])

返回以下结果：

[[ -3.69419202e+01]
 [  4.36693293e-01]
 [  9.43577803e-03]
 [ -1.07322041e-01]
 [  6.45065694e-01]
 [ -3.97638942e-06]
 [ -3.78654265e-03]
 [ -4.21314378e-01]
 [ -4.34513755e-01]]

使用numpy（Normal normal）执行相同的操作也可以正常工作：

m, n = housing.data.shape
housing_data_plus_bias = np.c_[np.ones((m, 1)), housing.data]

X = housing_data_plus_bias
y = housing.target.reshape(-1, 1)
theta_numpy = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y)

print(theta_numpy)

输出：

[[ -3.69419202e+01]
 [  4.36693293e-01]
 [  9.43577803e-03]
 [ -1.07322041e-01]
 [  6.45065694e-01]
 [ -3.97638942e-06]
 [ -3.78654265e-03]
 [ -4.21314378e-01]
 [ -4.34513755e-01]]

但是，当我在运行线性回归之前导入TensorFlow时，我得到可变且不准确的结果：

import tensorflow as tf
import numpy as np
from sklearn.datasets import fetch_california_housing
from sklearn.linear_model import LinearRegression

housing = fetch_california_housing()

lin_reg = LinearRegression()
lin_reg.fit(housing.data, housing.target.reshape(-1, 1))

print(np.r_[lin_reg.intercept_.reshape(-1, 1), lin_reg.coef_.T])

产生以下结果（每次都有不同的值）：

[[  2.91247440e+32]
 [ -1.62971964e+11]
 [  1.42425463e+14]
 [ -4.82459003e+16]
 [ -1.33258747e+17]
 [ -2.04315813e+29]
 [  5.51179654e+14]
 [  5.92729561e+20]
 [  8.86284674e+21]]

如果我在导入tensorflow之前运行任一计算，然后导入tensorflow并再次重复计算，我会得到正确的结果。

任何想法是什么原因以及我如何确保在导入TensorFlow后从numpy / scikit-learn获得正确的结果？

我在Ubuntu上使用tensorflow-gpu从Anaconda 4.3.30运行Python 3.5.4。

numpy version: 1.12.1
tensorflow version: 1.3.0

Answer 1

Anaconda发行版默认使用英特尔的数学核心库（MKL），当与this issue及其他参考问题中报告的TensorFlow结合使用时，似乎会导致Numpy和SciPy出现多个问题

从pip重新安装Numpy和SciPy解决了这个问题：

首先，使用conda创建一个包含所需包的新环境：

$ conda create --name env_name python=3.5 tensorflow-gpu scikit-learn

激活环境：

$ source activate env_name

使用pip：

重新安装Numpy和SciPy

$ pip install --ignore-installed --upgrade numpy scipy

缺点是你无法从MKL提供的性能提升中受益。例如，使用Scikit-Learn构建的支持向量机，在没有MKL的环境中，在11分钟内训练需要6分钟训练MKL。但是，您可以创建另一个具有MKL（默认情况下）的环境，以便在不需要TensorFlow时使用。

tensorflow导入导致numpy计算错误

1 个答案: