如何使用Pandas高效读取SQL脚本文件?
- 内容介绍
- 文章标签
- 相关推荐
本文共计1046个文字,预计阅读时间需要5分钟。
之前有群友反应用户反馈导入数据库后再从数据库读取数据有点慢,想了解是否有可以直接读取SQL脚本到Pandas的方法。解析SQL脚本文本文件,将其转换为CSV格式并加载。
之前有群友反应同事给了他一个几百MB的sql脚本,导入数据库再从数据库读取数据有点慢,想了解下有没有可以直接读取sql脚本到pandas的方法。
解析sql脚本文本文件替换成csv格式并加载
我考虑了一下sql脚本也就只是一个文本文件而已,而且只有几百MB,现代的机器足以把它一次性全部加载到内存中,使用python来处理也不会太慢。
我简单研究了一下sql脚本的导出格式,并根据格式写出了以下sql脚本的读取方法。
注意:该读取方法只针对SQLyog导出的mysql脚本测试,其他数据库可能代码需要根据实际情况微调。
本文共计1046个文字,预计阅读时间需要5分钟。
之前有群友反应用户反馈导入数据库后再从数据库读取数据有点慢,想了解是否有可以直接读取SQL脚本到Pandas的方法。解析SQL脚本文本文件,将其转换为CSV格式并加载。
之前有群友反应同事给了他一个几百MB的sql脚本,导入数据库再从数据库读取数据有点慢,想了解下有没有可以直接读取sql脚本到pandas的方法。
解析sql脚本文本文件替换成csv格式并加载
我考虑了一下sql脚本也就只是一个文本文件而已,而且只有几百MB,现代的机器足以把它一次性全部加载到内存中,使用python来处理也不会太慢。
我简单研究了一下sql脚本的导出格式,并根据格式写出了以下sql脚本的读取方法。
注意:该读取方法只针对SQLyog导出的mysql脚本测试,其他数据库可能代码需要根据实际情况微调。

