drmaa Python包如何实现集群任务高效管理？

本文共计2363个文字，预计阅读时间需要10分钟。

目录

1. DRMAA简介

2.安装和配置

3.示例

3.1. 开始和终止会话 3.2. 运行工作 3.3. 等待工作 3.4. 控制工作 3.5. 查询工作状态

目录

• ​​1. drmaa简介​​
• ​​2. 安装和配置​​
• ​​3. 示例​​

• ​​3.1 开始和终止会话​​
• ​​3.2 运行工作​​
• ​​3.3 等待工作​​
• ​​3.4 控制工作​​
• ​​3.5 查询工作状态​​

• ​​4. 应用​​

• ​​4.1 写一个简单应用​​
• ​​4.2 应用示例2​​

搭建流程时，我们把各个模块脚本都写好了，现在通过编写主程序将模块串起来，那么怎么样依次（或者并行）将任务自动投递到集群呢？就是说这一步运行完之后，下一步自动运行。我们当然可以在脚本中设一个标志，反复检查这一个标志是否出现来决定是否运行下一步，但这种方法太原始，太多弊端了，耗内存，无法并行，且不可预料的出错。那么，有没有相应的工具来管理集群任务投递？有，python的drmaa包可以实现。