如何创建通过GUI控制其他软件的软件？

Question

我需要编写一个软件，该软件将控制Windows 7计算机上的另一个软件（通过图形界面，因为它不公开任何其他界面）。您对此有什么建议吗？它需要接受某些输入（包括文件）（通过Internet连接，可能只是专用的Web服务），使用该输入来导航软件，并通过同一连接发送回修改的文件（由软件本身修改的文件）。

我目前的想法是使用Python并简单地捕获屏幕，尝试读出显示的信息，并控制鼠标指示程序单击何处。是否有任何可用于此类工作的库，这将使其变得更容易？或者，也许除了Python之外，还有其他技术/库能够更轻松地实现这一目标？也许有可用的技术具有内置功能，例如了解（Win 7）窗口，按钮和文本等元素。

谢谢！

Answer 1

AlSweigart写的一本很棒的书“用python自动处理无聊的东西”是一个好的开始，

本章讨论使用“ Controlling the Keyboard and Mouse with GUI Automation”的“ pyautogui”

Answer 2

如果您不需要在其他计算机上运行它，Sikuli是一种简便的方法

  

使用Python并简单地捕获屏幕，尝试读出显示的信息，并控制鼠标指示程序单击位置

如其网站上所述，

  

自动化您在计算机显示器上看到的内容

请记住，SikuliX支持作为脚本语言 Python语言级别2.7，已经是on a deadclock。

Answer 3

现有的免费应用程序可直观地实现桌面自动化：

• PyAutoGui-如果想使用Python最好
• Sikuli-Python 2.7
• UI.Vision-具有command line并支持screen scraping（从屏幕，OCR获取文本）

图书馆：

如果要从头开始编写软件，请查看 OpenCV 。这是所有这些应用程序使用的核心图像识别库。您可以将其与任何编程语言一起使用，例如。 G。 C＃。