运行导入tensorflow后非法指令(核心转储)

时间:2018-03-04 10:54:06

标签: python tensorflow pip virtualenv

我创建了一个全新的虚拟环境:virtualenv -p python2 test_venv/ 并安装了tensorflow:pip install --upgrade --no-cache-dir tensorflow

import tensorflow给了我Illegal instruction (core dumped)

请帮助我了解发生了什么以及如何解决问题。谢谢。

CPU信息:

-cpu
          description: CPU
          product: Intel(R) Core(TM) i3 CPU       M 330  @ 2.13GHz
          bus info: cpu@0
          version: CPU Version
          capabilities: x86-64 fpu fpu_exception wp vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx rdtscp constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf pni dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm sse4_1 sse4_2 popcnt lahf_lm tpr_shadow vnmi flexpriority ept vpid dtherm arat cpufreq

使用gdb:

获得Stacktrace
#0  0x00007fffe5793880 in std::pair<std::__detail::_Node_iterator<std::pair<tensorflow::StringPiece const, std::function<bool (tensorflow::Variant*)> >, false, true>, bool> std::_Hashtable<tensorflow::StringPiece, std::pair<tensorflow::StringPiece const, std::function<bool (tensorflow::Variant*)> >, std::allocator<std::pair<tensorflow::StringPiece const, std::function<bool (tensorflow::Variant*)> > >, std::__detail::_Select1st, std::equal_to<tensorflow::StringPiece>, tensorflow::StringPieceHasher, std::__detail::_Mod_range_hashing, std::__detail::_Default_ranged_hash, std::__detail::_Prime_rehash_policy, std::__detail::_Hashtable_traits<true, false, true> >::_M_emplace<std::pair<tensorflow::StringPiece, std::function<bool (tensorflow::Variant*)> > >(std::integral_constant<bool, true>, std::pair<tensorflow::StringPiece, std::function<bool (tensorflow::Variant*)> >&&) ()
   from /media/gerry/hdd_1/ws_hdd/test_venv/local/lib/python2.7/site-packages/tensorflow/python/../libtensorflow_framework.so
#1  0x00007fffe5795735 in tensorflow::UnaryVariantOpRegistry::RegisterDecodeFn(std::string const&, std::function<bool (tensorflow::Variant*)> const&) () from /media/gerry/hdd_1/ws_hdd/test_venv/local/lib/python2.7/site-packages/tensorflow/python/../libtensorflow_framework.so
#2  0x00007fffe5770a7c in tensorflow::variant_op_registry_fn_registration::UnaryVariantDecodeRegistration<tensorflow::Tensor>::UnaryVariantDecodeRegistration(std::string const&) ()
   from /media/gerry/hdd_1/ws_hdd/test_venv/local/lib/python2.7/site-packages/tensorflow/python/../libtensorflow_framework.so
#3  0x00007fffe56ea165 in _GLOBAL__sub_I_tensor.cc ()
   from /media/gerry/hdd_1/ws_hdd/test_venv/local/lib/python2.7/site-packages/tensorflow/python/../libtensorflow_framework.so
#4  0x00007ffff7de76ba in call_init (l=<optimized out>, argc=argc@entry=2, argv=argv@entry=0x7fffffffd5c8, env=env@entry=0xa7b4d0)
    at dl-init.c:72
#5  0x00007ffff7de77cb in call_init (env=0xa7b4d0, argv=0x7fffffffd5c8, argc=2, l=<optimized out>) at dl-init.c:30
#6  _dl_init (main_map=main_map@entry=0xa11920, argc=2, argv=0x7fffffffd5c8, env=0xa7b4d0) at dl-init.c:120
#7  0x00007ffff7dec8e2 in dl_open_worker (a=a@entry=0x7fffffffb5c0) at dl-open.c:575
#8  0x00007ffff7de7564 in _dl_catch_error (objname=objname@entry=0x7fffffffb5b0, errstring=errstring@entry=0x7fffffffb5b8, 
    mallocedp=mallocedp@entry=0x7fffffffb5af, operate=operate@entry=0x7ffff7dec4d0 <dl_open_worker>, args=args@entry=0x7fffffffb5c0)
    at dl-error.c:187
#9  0x00007ffff7debda9 in _dl_open (
    file=0x7fffea7cbc34 "/media/gerry/hdd_1/ws_hdd/test_venv/local/lib/python2.7/site-packages/tensorflow/python/_pywrap_tensorflow_internal.so", mode=-2147483646, caller_dlopen=0x51ad19 <_PyImport_GetDynLoadFunc+233>, nsid=-2, argc=<optimized out>, argv=<optimized out>, env=0xa7b4d0)
    at dl-open.c:660
#10 0x00007ffff75ecf09 in dlopen_doit (a=a@entry=0x7fffffffb7f0) at dlopen.c:66
#11 0x00007ffff7de7564 in _dl_catch_error (objname=0x9b1870, errstring=0x9b1878, mallocedp=0x9b1868, operate=0x7ffff75eceb0 <dlopen_doit>, 
    args=0x7fffffffb7f0) at dl-error.c:187
#12 0x00007ffff75ed571 in _dlerror_run (operate=operate@entry=0x7ffff75eceb0 <dlopen_doit>, args=args@entry=0x7fffffffb7f0) at dlerror.c:163
#13 0x00007ffff75ecfa1 in __dlopen (file=<optimized out>, mode=<optimized out>) at dlopen.c:87
#14 0x000000000051ad19 in _PyImport_GetDynLoadFunc ()
#15 0x000000000051a8e4 in _PyImport_LoadDynamicModule ()
#16 0x00000000005b7b1b in ?? ()
#17 0x00000000004bc3fa in PyEval_EvalFrameEx ()
#18 0x00000000004c136f in PyEval_EvalFrameEx ()
#19 0x00000000004b9ab6 in PyEval_EvalCodeEx ()
#20 0x00000000004b97a6 in PyEval_EvalCode ()
#21 0x00000000004b96df in PyImport_ExecCodeModuleEx ()
#22 0x00000000004b2b06 in ?? ()
#23 0x00000000004a4ae1 in ?? ()

9 个答案:

答案 0 :(得分:45)

我会使用旧版本。看起来你的CPU不支持AVX指令。

Release Page

引用
Breaking Changes
Prebuilt binaries are now built against CUDA 9.0 and cuDNN 7.
Prebuilt binaries will use AVX instructions. This may break TF on older CPUs.

您至少有两个选择:

  1. 使用tensorflow 1.5或更早版本

  2. 从源代码构建

  3. 关于您对差异的关注,您将错过新功能,但大多数基本功能和文档都没有那么不同。

答案 1 :(得分:5)

不幸的是,1.6给了很多人同样的错误。我在装有旧Core2 CPU的机器上安装1.7后收到了它。我已经用1.5安顿下来了,因为我无法在机器上安装最新处理器的大显卡!

答案 2 :(得分:0)

对此,有一个issue on github,不幸的是,张量流团队对此似乎没什么兴趣。

网络上有一些社区构建可能会根据您的情况而起作用:

答案 3 :(得分:0)

如已接受的答案中所述,可以通过安装旧版本的TensorFlow(v1.5)或从源代码构建来解决此问题。在这两者之间,尽管付出了额外的努力,但从源头上进行构建可以说是一条首选的路线。确认二进制文件包含TensorFlow的最新组件。

This article解释了如何从源代码构建TensorFlow并针对较旧的CPU进行优化。关键在于检测CPU标志并在配置构建时启用所有CPU标志以进行优化。

以下命令用于检测常见的CPU优化标志:

$ grep flags -m1 /proc/cpuinfo | cut -d ":" -f 2 | tr '[:upper:]' '[:lower:]' | { read FLAGS; OPT="-march=native"; for flag in $FLAGS; do case "$flag" in "sse4_1" | "sse4_2" | "ssse3" | "fma" | "cx16" | "popcnt" | "avx" | "avx2") OPT+=" -m$flag";; esac; done; MODOPT=${OPT//_/\.}; echo "$MODOPT"; }

如果通过执行命令,未显示-mavx和/或-mavx2,则可以确认缺少AVX支持,并且应该使用输出中显示的其他优化标志来完成源构建。

a related article中,更详细地讨论了此问题的常见根本原因,并将其作为补充参考。

答案 4 :(得分:0)

我遇到了类似的问题,事实证明这是由于我的CPU稍旧,并且在1.6或更高版本的TensorFlow https://www.tensorflow.org/install/source

中无法很好地工作
  

注意:从TensorFlow 1.6开始,二进制文件使用的AVX指令可能无法在较旧的CPU上运行。

因此,如前所述,您可以安装TensorFlow 1.5,或者如果您仍然想要最新版本的TF,则需要使用conda来安装它(两个解决方案都与我合作)

对于conda安装:

conda create -n tensorflow
conda install tensorflow-gpu -n tensorflow

https://github.com/tensorflow/tensorflow/issues/17411

答案 5 :(得分:0)

以下步骤对我有用。 (删除现有的张量流)

内部conda虚拟环境

第1步:使用pip安装keras-application

第2步:安装tensorflow(无需降级)

答案 6 :(得分:0)

我会使用 docker 将 tf 降级到以前的版本。您可以在 dockerhub 上找到不同的标签

例如:

void Main()
{
    XDocument xsdoc = XDocument.Parse(@"<?xml version='1.0' encoding='utf-8'?>
        <Project ToolsVersion='15.0'
                 xmlns='http://schemas.microsoft.com/developer/msbuild/2003'>
            <ItemGroup>
                <ProjectReference Include='..\ProjectReferencesToolkit.Core\ProjectReferencesToolkit.Core.csproj'>
                    <Project>{6c167ddd-7ce8-4087-9f8c-6986145b97d1}</Project>
                    <Name>ProjectReferencesToolkit.Core</Name>
                </ProjectReference>
            </ItemGroup>
            <Import Project='$(MSBuildToolsPath)\Microsoft.CSharp.targets'/>
        </Project>");
        
        string SearchFor = @"ProjectReferencesToolkit.Core.csproj";
        
        XNamespace ns = xsdoc.Root.GetDefaultNamespace();
        XElement xelem = xsdoc.Descendants(ns + "ProjectReference")
            .FirstOrDefault(x => x.Attribute("Include").Value.EndsWith(SearchFor));
        
        Console.WriteLine(xelem);
}

答案 7 :(得分:0)

它可能与 TensorFlow、Keras、Pytorch 没有直接关系。抱歉。

但它发生在我的 L4T(Nvidia Jetson AGX Xavier)上,当我安装最新版本的 NumPy、pandas、protobuf 时,它引发了奇怪的错误,同时在控制台上我不知道为什么,我的意思是真的,如果有人可以,我会很感激。它警告我 Pandas 的依赖项 python-dateutil=2.8.1

为了弄清楚这一点 回到兔子洞,我尝试了这些步骤:

pip3 uninstall numpy 
pip3 uninstall pandas
pip3 uninstall protobuf 
pip3 uninstall python-dateutil 

然后尝试使用特定版本安装它们

pip3 install numpy==1.13.3
pip3 install pandas==0.22.0
pip3 install protobuf==3.0.0

它现在适用于 TensorFlow:1.5.0,PyTorch:1.6、1.7

答案 8 :(得分:0)

从 tensorflow==2.3.1 到 tensorflow==2.4.0 的类似问题 预构建的二进制文件在当前 cpu 芯片短缺的情况下无法很好地工作,这使得很多人难以升级。

可能需要自己构建 tensorflow 才能使用 tensorflow_probability 的最新功能(取决于 tf 2.4.0)

编辑2: 来自https://github.com/tensorflow/tensorflow/releases/tag/v2.4.1

<块引用>

此版本从 TF 2.4.0 中删除了 AVX2 要求。

看起来我不是唯一一个在 avx2 支持方面遇到困难的人

相关问题