Question

我正在研究一个不断抓取数据的Python脚本，但这需要相当长的时间。有没有一种安全的方法来阻止长时间运行的python脚本？循环将运行超过10分钟，我需要一种方法来阻止它，如果我想要它已经运行。

如果我从一个cron作业执行它，那么我假设它只会运行直到它完成，所以我该如何阻止它？

此外，如果我从浏览器运行它，只需调用该文件。我假设停止加载页面会停止它，对吗？

以下是场景：
我有一个python脚本，它从页面收集信息并将其放入队列中。然后我想要另一个处于无限循环中的python脚本，它只检查队列中的新项目。让我们说我希望无限循环从早上8点开始到晚上8点结束。我该如何做到这一点？

Answer 1

让我给你一个替代方案。看起来您想要某种信息的实时更新。您可以使用pub / sub接口（发布/订阅）。由于您使用的是python，因此有很多可能性。

其中一个是使用Redis发布/子功能：http://redis.io/topics/pubsub/ - 这里是相应的python模块：redis-py

- 更新 -

实施例

以下是dirkk0（question / answer）的示例：

import sys
import threading

import cmd


def monitor():
    r = redis.Redis(YOURHOST, YOURPORT, YOURPASSWORD, db=0)

    channel = sys.argv[1]
    p = r.pubsub()

    p.subscribe(channel)

    print 'monitoring channel', channel
    for m in p.listen():
        print m['data']


class my_cmd(cmd.Cmd):
    """Simple command processor example."""

    def do_start(self, line):
        my_thread.start()

    def do_EOF(self, line):
        return True

if __name__ == '__main__':
    if len(sys.argv) == 1:
        print "missing argument! please provide the channel name."
    else:
        my_thread = threading.Thread(target=monitor)
        my_thread.setDaemon(True)

        my_cmd().cmdloop()

- 更新2 -

另外，请看本教程：

http://blog.abourget.net/2011/3/31/new-and-hot-part-6-redis-publish-and-subscribe/

Answer 2

我想解决这个问题的一种方法是为一个循环运行一个脚本，即：

检查脚本的其他实例是否正在运行
查看队列并处理在那里找到的所有内容

现在，您可以在上午8点到晚上8点之间每分钟从cron运行此脚本。唯一的缺点是新物品可能需要一段时间才能得到处理。

Answer 3

我认为持有浏览器页面并不一定会停止python脚本，我建议您使用FORK在父进程的控制下启动脚本：

示例：

导入操作系统，时间，信号

def child():
   print 'A new child ',  os.getpid( )
   time.sleep(5)
   os._exit(0)  

def parent():
   while True:
      newpid = os.fork()
      if newpid == 0:
         child()
      else:
         pids = (os.getpid(), newpid)
         print "parent: %d, child: %d" % pids
         print "start counting time for child process...!"
         time1 = time.clock()
         while True:
                  #time.sleep(1)
                  time2 = time.clock()
                  # Check if the execution time for child process exceeds 10 minutes... 
                  if time2-time1 >= 2 :
                           os.kill(int(newpid), signal.SIGKILL)
                           break

      if raw_input( ) == 'q': break

parent()

在无限循环中停止python脚本

3 个答案:

实施例