如何在Python异步非阻塞子进程中运行命令？

本文共计3080个文字，预计阅读时间需要13分钟。

1. `asyncio.subprocess.Process` 是从 `asyncio` 模块中执行命令的方式。它允许我们在异步环境中使用非阻塞的 I/O 进行读写操作，从而在子进程中执行命令。

1. 什么是 asyncio.subprocess.Process

我们可以从 asyncio 执行命令。在允许使用非阻塞 I/O 进行读写操作的子进程中，该命令将被执行。

asyncio模块中的subprocess模块提供了表示由asyncio运行的子进程的Process类。在 asyncio 程序中，它提供了子进程的句柄，使得可以对其进行操作，如等待和终止。

该 API 与 multiprocessing.Process 类非常相似，可能与 subprocess.Popen 类更相似。具体来说，它与 subprocess.Popen 共享 wait()、communicate() 和 send_signal() 等方法以及 stdin、stdout 和 stderr 等属性。

现在我们知道了 asyncio.subprocess.Process 类是什么，让我们看看如何在我们的 asyncio 程序中使用它。

我们不会直接生成 asyncio.subprocess.Process 实例。与此相反，当在 asyncio 程序中运行子进程时，一个类的实例将被自动创建。

有两种方法可以将外部程序作为子流程执行并获取 Process 实例，它们是：

• asyncio.create_subprocess_exec() 用于直接运行命令。

• 使用asyncio.create_subprocess_shell()函数可以通过使用shell来运行命令。

让我们依次看一下每个示例。

2. 如何直接运行命令

命令是在命令行（终端或命令提示符）上执行的程序。这是另一个直接运行的程序。

Linux 和 macOS 上的常见示例可能是：

• ‘ls’ 列出目录的内容

• ‘cat’报告文件的内容

• “data”报告日期

• ‘echo’ 报告一个字符串

• ‘sleep’ 睡眠几秒钟

通过使用 create_subprocess_exec() 函数，我们可以在 asyncio 程序中执行命令。

asyncio.create_subprocess_exec() 函数接受一个命令并直接执行它。

这很有用，因为它允许命令在子进程中执行，并允许 asyncio 协程读取、写入和等待它。

与 asyncio.create_subprocess_shell() 函数不同，asyncio.create_subprocess_exec() 不会使用 shell 执行命令。

这意味着 shell 提供的功能，例如 shell 变量、脚本和通配符，在执行命令时不可用。

这也意味着执行命令可能更安全，因为没有机会进行 shell 注入。

现在我们知道了 asyncio.create_subprocess_exec() 的作用，让我们看看如何使用它。

2.1. 如何使用 Asyncio create_subprocess_exec()

asyncio.create_subprocess_exec() 函数将在子进程中执行给定的字符串命令。

它返回一个代表子进程的 asyncio.subprocess.Process 对象。

由于 create_subprocess_exec() 函数是协程，我们需要等待它。它会在子流程启动后返回，而不是在子流程完成时返回。

... # execute a command in a subprocess process = await asyncio.create_subprocess_exec('ls')

在使用 create_subprocess_exec() 函数时，必须将该命令的参数作为后续参数提供。

... # execute a command with arguments in a subprocess process = await asyncio.create_subprocess_exec('ls', '-l')

我们可以通过等待 wait() 方法来等待子进程完成。

... # wait for the subprocess to terminate await process.wait()

我们可以通过调用 terminate() 或 kill() 方法直接停止子进程，这将在子进程中引发一个信号。

... # terminate the subprocess process.terminate()

标准输入输出和错误将通过 stdin、stderr 和 stdout 进行处理。我们可以让 asyncio 程序处理子进程的输入或输出。

这可以通过指定输入或输出流并指定要重定向的常量来实现，例如 asyncio.subprocess.PIPE。

例如，我们可以将命令的输出重定向到 asyncio 程序：

... # start a subprocess and redirect output process = await asyncio.create_subprocess_exec('ls', stdout=asyncio.subprocess.PIPE)

然后我们可以通过 asyncio.subprocess.Process 实例通过 communicate() 方法读取程序的输出。

此方法是协程，必须等待。它用于通过子流程发送和接收数据。

... # read data from the subprocess line = process.communicate()

我们还可以通过以字节为单位设置“input”参数，通过 communicate() 方法将数据发送到子进程。

... # start a subprocess and redirect input process = await asyncio.create_subprocess_exec('ls', stdin=asyncio.subprocess.PIPE) # send data to the subprocess process.communicate(input=b'Hello\n')

在后台，asyncio.subprocess.PIPE 将子进程配置为指向 StreamReader 或 StreamWriter，用于向子进程发送数据或从子进程发送数据，并且 communicate() 方法将从配置的读取器读取或写入字节。

我们可以通过子进程通过 stdin、stdout 和 stderr 属性直接与 StreamReader 或 StreamWriter 交互。

... # read a line from the subprocess output stream line = await process.stdout.readline()

让我们看一些使用 create_subprocess_exec() 函数的实际案例，现在我们已经掌握了如何使用它。

2.2. Asyncio create_subprocess_exec() 示例

我们可以探索如何在 asyncio 的子进程中运行命令。在这个例子中，我们将执行“echo”命令来报告一个字符串。

echo 命令将直接在标准输出上报告提供的字符串。下面列出了完整的示例。

请注意，此示例假设您可以访问“echo”命令，我不确定它是否适用于 Windows。

# SuperFastPython.com # example of executing a command as a subprocess with asyncio import asyncio # main coroutine async def main(): # start executing a command in a subprocess process = await asyncio.create_subprocess_exec('echo', 'Hello World') # report the details of the subprocess print(f'subprocess: {process}') # entry point asyncio.run(main())

运行示例首先创建 main() 协程并将其作为 asyncio 程序的入口点执行。

main() 协程运行并调用 create_subprocess_exec() 函数来执行命令。

main() 协程在创建子进程时挂起。返回一个 Process 实例。

main() 协程恢复并报告子进程的详细信息。 main() 进程终止，asyncio 程序终止。

echo 命令的输出在命令行上报告。这突出了我们如何从 asyncio 程序执行命令。

Hello World subprocess: <Process 50249>3. 如何通过 Shell 运行命令

我们可以使用 shell 执行命令。称为命令行解释器 (CLI)，shell 是用来操作命令行界面的用户界面。它将代表用户解释和执行命令。

它还提供诸如用于脚本、通配符、管道、shell 变量（例如 PATH）等的原始编程语言等功能。

例如，我们可以将一条命令的输出重定向为另一条命令的输入，比如将“/etc/services”文件的内容重定向到word count命令“wc”中，统计行数：

cat /etc/services | wc -l

基于 Unix 的操作系统中的 shell 示例包括：

shell 已经在运行，它被用来启动 Python 程序。您无需执行任何特殊操作即可获取或访问 shell。

我们可以通过 create_subprocess_shell() 函数从 asyncio 程序执行命令。

asyncio.create_subprocess_shell() 函数接受一个命令并使用当前用户 shell 执行它。

这很有用，因为它不仅允许执行命令，还允许使用 shell 的功能，例如重定向、通配符等。

该命令将在执行 asyncio 程序的进程的子进程中执行。重要的是，asyncio 程序能够与子进程异步交互，例如通过协程。

通过 shell 而不是直接执行命令时，可能会有安全考虑。

这是因为请求执行命令和正在执行的命令之间至少存在一层间接和解释，允许可能的恶意注入。

现在我们知道了 asyncio.create_subprocess_shell() 的作用，让我们看看如何使用它。

3.1. 如何使用 Asyncio create_subprocess_shell()

asyncio.create_subprocess_shell() 函数将通过当前 shell 执行给定的字符串命令。

它返回一个表示进程的 asyncio.subprocess.Process 对象。

它和上一节中介绍的 create_subprocess_shell() 函数非常类似。不过，我们将回顾如何使用该函数以及如何通过 Process 实例与流程交互（以防您直接跳到本节）。

我们需要等待create_subprocess_shell()函数完成，因为它是一个协程。它会在子流程启动后返回，而不是在子流程完成时返回。

... # start a subprocess process = await asyncio.create_subprocess_shell('ls')

我们可以通过等待 wait() 方法来等待子进程完成。

... # wait for the subprocess to terminate await process.wait()

我们可以通过调用 terminate() 或 kill() 方法直接停止子进程，这将在子进程中引发一个信号。

命令的输入和输出将由 shell 处理，例如标准输入、标准错误和标准输出。

我们可以让 asyncio 程序处理子进程的输入或输出。

这可以通过指定输入或输出流并指定要重定向的常量来实现，例如 asyncio.subprocess.PIPE。

例如，我们可以将命令的输出重定向到 asyncio 程序：

... # start a subprocess and redirect output process = await asyncio.create_subprocess_shell('ls', stdout=asyncio.subprocess.PIPE)

然后我们可以通过 asyncio.subprocess.Process 实例通过 communicate() 方法读取程序的输出。

此方法是协程，必须等待。它用于通过子流程发送和接收数据。

... # read data from the subprocess line = process.communicate()

我们还可以通过以字节为单位设置“input”参数，通过 communicate() 方法将数据发送到子进程。

... # start a subprocess and redirect input process = await asyncio.create_subprocess_shell('ls', stdin=asyncio.subprocess.PIPE) # send data to the subprocess process.communicate(input=b'Hello\n')

在后台，asyncio.subprocess.PIPE 将子进程配置为指向 StreamReader 或 StreamWriter，用于向子进程发送数据或从子进程发送数据，并且 communicate() 方法将从配置的读取器读取或写入字节。

我们可以通过子进程通过 stdin、stdout 和 stderr 属性直接与 StreamReader 或 StreamWriter 交互。

... # read a line from the subprocess output stream line = await process.stdout.readline()

现在我们已经掌握了如何使用 create_subprocess_shell() 函数，接下来让我们查看一些实际工作示例。

3.2. Asyncio create_subprocess_shell() 示例

我们可以尝试用 shell 在 asyncio 的子进程中执行指令。在这个例子中，我们将执行“echo”命令来报告一个字符串。

echo 命令将直接在标准输出上报告提供的字符串。下面列出了完整的示例。

请注意，此示例假设您可以访问“echo”命令，我不确定它是否适用于 Windows。

# SuperFastPython.com # example of executing a shell command as a subprocess with asyncio import asyncio # main coroutine async def main(): # start executing a shell command in a subprocess process = await asyncio.create_subprocess_shell('echo Hello World') # report the details of the subprocess print(f'subprocess: {process}') # entry point asyncio.run(main())

首先创建 main() 协程并将其作为入口点运行的是 asyncio 程序的示例。在 main() 协程中，通过调用 create_subprocess_shell() 函数来执行命令。

main() 协程在运行时调用 create_subprocess_shell() 函数来执行命令。main() 协程恢复并报告子进程的详细信息。 main() 进程终止，asyncio 程序终止。

echo 命令的输出在命令行上报告。这个例子清晰地展示了我们如何利用 shell 从 asyncio 程序中运行命令。

subprocess: <Process 43916> Hello World