Question

我一直在编写命令行Python脚本，但最近我对速度感到非常沮丧。

我不一定谈论处理速度，调度任务或其他命令行工具特定的进程（通常是设计/实现问题），而是说我只是在运行工具来获取帮助菜单，或显示最低限度的信息。

例如，Mercurial约为0.080scs，GIT为0.030scs

我已经研究过Mercurial的源代码（毕竟它是Python）但是得到快速响应脚本的答案仍然没有找到我。

我认为imports以及你如何管理它们是初步减速的一个重要原因。但对于Python中快速响应的快速响应命令行脚本，是否有最佳实践？

导入os和optparse并执行main（）以解析一些参数选项的单个Python脚本在我的机器上需要0.160scs才能显示帮助菜单......

这比运行git慢5倍！

编辑：

我不应该提到git，因为它是用C语写的。但Mercurial部分仍然存在，不，pyc感觉不是很大的改进（至少对我来说）。

编辑2：

虽然延迟导入是Mercurial加速的关键，但他们键的速度变慢了常规Python脚本没有自带生成的脚本pkg_resources，例如：

from pkg_resources import load_entry_point

如果您手动生成了不使用pkg_resources的脚本，您应该看到至少2倍的速度增加。

然而！请注意，pkg_resources确实提供了一种很好的版本依赖方式，因此请确保您知道不使用它基本上意味着可能存在版本冲突。

Answer 1

除了编译Python文件外，Mercurial还会根据需要修改导入，这确实会缩短启动时间。它将__builtin__.__import__设置为demandimport模块中自己的导入函数。

如果您查看/ usr / lib /中的hg脚本（或者您机器上的任何位置），您可以通过以下方式自行查看：

try:
    from mercurial import demandimport; demandimport.enable()
except ImportError:
    import sys
    sys.stderr.write("abort: couldn't find mercurial libraries in [%s]\n" %
                     ' '.join(sys.path))
    sys.stderr.write("(check your install and PYTHONPATH)\n")
    sys.exit(-1)

如果您将demandimport行更改为pass，您会发现启动时间大幅增加。在我的机器上，它似乎大约加倍。

我建议研究demandimport.py以了解如何在自己的项目中应用类似的技术。

P.S。我确定你知道Git是用C语写的，所以我对它的启动时间很快并不感到惊讶。

Answer 2

我很抱歉 - 但肯定不是困扰你的0.08秒。虽然你不是说它感觉你正在运行一个“outter”shell（或其他语言）scritp，它在循环中调用了几百个Python脚本 - 这是这些启动时间发挥作用的唯一方式。所以，要么在你的问题中隐瞒这些重要信息，要么你的父亲是this guy。

所以，假设你有一个外部脚本调用python进程的命令：在Python中编写这个外部脚本，并在同一个进程中导入你需要的python东西并从那里运行它。因此，您将为每个脚本执行完成解释器启动和模块导入。

例如，这甚至适用于mercurial。您可以导入“mercurial”以及其中的适当子模块和调用函数，这些函数执行与等效命令行参数相同的操作

快速响应命令行脚本

2 个答案: