如何将JupyterNotebook运行Python代码的传参方式改写成长尾？
- 内容介绍
- 文章标签
- 相关推荐
本文共计847个文字，预计阅读时间需要4分钟。
目录 + Jupyter Notebook 运行 Python 代码实现传参 + 例如，使用 argv[1] 时出现 + 例如，在如下命令行中+ jupyter notebook 参数化化运行 python + Updates Notes Codes in py file in notebook + 总结 + Jupyter Notebook 运行 Python 代码实现传参
目录- Jupyter Notebook运行Python代码实现传参
- 例如，使用argv[1]时出现
- 例如，在如下命令行中
- jupyter notebook参数化运行python
- Updates
- Notes
- Codes
- in py file
- in notebook
- 总结
在Jupyter Notebook中，运行Python源代码非常方便，但是如何模拟命令行方式运行时的输入参数呢？
如果直接使用sys.argv会出现错误。
例如，使用argv[1]时出现导致上述错误的原因为：在Jupyter Notebook中运行Python代码时，argv中有三个默认参数，分别是：
argv[0]: ‘路径\test.py' （源代码文件名） argv[1]: ‘-f' argv[2]: '路径\kernel-…json'
而在命令行方式下运行Python代码时，argv[0]与上述argv[0]相同，但argv[1]为命令行中紧随在test.py之后的字符串
例如，在如下命令行中python test.py test.txt argv[1]为 test.txt
因此，解决方案就是对 list argv 进行修改，如下面的代码所示：
#需要sys模块来使用argv from sys import argv #查看当前的argv列表 print(len(argv)) print(argv) #直接修改argv argv[1] = 'test.txt' #也可以添加新的参数 argv.append('test.txt')
这样，在后续代码中， .py 和 .ipynb源代码一致，无需为在Jupyter Notebook中运行而进行修改。
jupyter notebook参数化运行python Updates（2019.8.14 19:53）吃饭前用这个方法实战了一下，吃完回来一看好像不太行：跑完一组参数之后，到跑下一组参数时好像没有释放之占用的 GPU，于是 notebook 上的结果，后面好几条都报错说 cuda out of memory。
现在改成：将 notebook 中的代码写在一个 python 文件中，然后用命令行运行这个文件，比如：
# autorun.py import os # print(os.getcwd()) over = [ # 之前手工改参数跑完的参数组合 [0, 1, 1], [0, 1, 2], [0, 1, 3], [0, 2, 1], [1, 0, 1], [1, 2, 1] ] for alpha in range(1, 4, 1): for beta in range(3): for gamma in range(3): if [alpha, beta, gamma] in over: continue os.system(f'python main.py --alpha {alpha} --beta {beta} --gamma {gamma}')
这里的 main.py 是训练用的主文件。改在 py 里用 os.system 跑，希望跑一组参数之后完会自动释放资源再跑下一组（?）
Notes有多组参数组合需要尝试，不想每组参数都人工修改 python 代码，再在 notebook 中 %run 它。
python 参数通过的 argparse 接收，在 notebook 中写个多重循环遍历参数组合传给 python 程序自动运行。
记录一个简例。
Codestest_dir
|- test.py
|- test.ipynb
in py file# test.py import argparse parser = argparse.ArgumentParser() parser.add_argument('--number', type=int, default=0, help='number') parser.add_argument('--string', type=str, default='abc', help='string') args = parser.parse_args() print('number:', args.number, type(args.number)) print('string:', args.string, type(args.string))
in notebook注意传参数时 $ 的使用
# test.ipynb for i in range(3): for s in ('a', 'b', 'c'): %run test.py --number $i --string $s
本文共计847个文字，预计阅读时间需要4分钟。
目录 + Jupyter Notebook 运行 Python 代码实现传参 + 例如，使用 argv[1] 时出现 + 例如，在如下命令行中+ jupyter notebook 参数化化运行 python + Updates Notes Codes in py file in notebook + 总结 + Jupyter Notebook 运行 Python 代码实现传参
目录- Jupyter Notebook运行Python代码实现传参
- 例如，使用argv[1]时出现
- 例如，在如下命令行中
- jupyter notebook参数化运行python
- Updates
- Notes
- Codes
- in py file
- in notebook
- 总结
在Jupyter Notebook中，运行Python源代码非常方便，但是如何模拟命令行方式运行时的输入参数呢？
如果直接使用sys.argv会出现错误。
例如，使用argv[1]时出现导致上述错误的原因为：在Jupyter Notebook中运行Python代码时，argv中有三个默认参数，分别是：
argv[0]: ‘路径\test.py' （源代码文件名） argv[1]: ‘-f' argv[2]: '路径\kernel-…json'
而在命令行方式下运行Python代码时，argv[0]与上述argv[0]相同，但argv[1]为命令行中紧随在test.py之后的字符串
例如，在如下命令行中python test.py test.txt argv[1]为 test.txt
因此，解决方案就是对 list argv 进行修改，如下面的代码所示：
#需要sys模块来使用argv from sys import argv #查看当前的argv列表 print(len(argv)) print(argv) #直接修改argv argv[1] = 'test.txt' #也可以添加新的参数 argv.append('test.txt')
这样，在后续代码中， .py 和 .ipynb源代码一致，无需为在Jupyter Notebook中运行而进行修改。
jupyter notebook参数化运行python Updates（2019.8.14 19:53）吃饭前用这个方法实战了一下，吃完回来一看好像不太行：跑完一组参数之后，到跑下一组参数时好像没有释放之占用的 GPU，于是 notebook 上的结果，后面好几条都报错说 cuda out of memory。
现在改成：将 notebook 中的代码写在一个 python 文件中，然后用命令行运行这个文件，比如：
# autorun.py import os # print(os.getcwd()) over = [ # 之前手工改参数跑完的参数组合 [0, 1, 1], [0, 1, 2], [0, 1, 3], [0, 2, 1], [1, 0, 1], [1, 2, 1] ] for alpha in range(1, 4, 1): for beta in range(3): for gamma in range(3): if [alpha, beta, gamma] in over: continue os.system(f'python main.py --alpha {alpha} --beta {beta} --gamma {gamma}')
这里的 main.py 是训练用的主文件。改在 py 里用 os.system 跑，希望跑一组参数之后完会自动释放资源再跑下一组（?）
Notes有多组参数组合需要尝试，不想每组参数都人工修改 python 代码，再在 notebook 中 %run 它。
python 参数通过的 argparse 接收，在 notebook 中写个多重循环遍历参数组合传给 python 程序自动运行。
记录一个简例。
Codestest_dir
|- test.py
|- test.ipynb
in py file# test.py import argparse parser = argparse.ArgumentParser() parser.add_argument('--number', type=int, default=0, help='number') parser.add_argument('--string', type=str, default='abc', help='string') args = parser.parse_args() print('number:', args.number, type(args.number)) print('string:', args.string, type(args.string))
in notebook注意传参数时 $ 的使用
# test.ipynb for i in range(3): for s in ('a', 'b', 'c'): %run test.py --number $i --string $s