如何用Python解析Markdown文档中的图片并保存在本地？
- 内容介绍
- 相关推荐
本文共计739个文字，预计阅读时间需要3分钟。
背景+前言简述：书籍犹如良药，让我心情舒畅，大部分博客都发布在简书上。固然简书提供了打包导出功能，但仅能导出文字，图片的文字描述仍需在简书服务器上查看。
背景前阵子简书好像说是凉了，搞得我有点小慌，毕竟我的大部分博客都是放在简书上面的，虽然简书提供了打包导出功能，但是只能导出文字，图片的话还是存在简书服务器上面，再加上我一直想要重新做一个个人博客，于是就有了这篇文章。
思路首先是要解析markdown文档，然后获取到其中的所有图片，再把图片按md文件分好目录保存。
解析markdown文档这里我用了misaka模块，据说是python的markdown解析器里性能最好的，不过这个的文档着实是精简，太少内容了，写得不清不楚的，基本功能看来就是把markdown文档解析为html文档，但是好像没有直接操作markdown元素的方法。
没事，我可以像平时写爬虫那样解析html呀，不就曲线救国拿到图片了吗~
这里就用BeautifulSoup啦
很简单，就是requests，没啥好说的。
实现 遍历文件首先要遍历文件夹里面的所有md文档：
def get_files_list(dir):
"""
获取一个目录下所有文件列表，包括子目录
:param dir:
:return:
"""
files_list = []
for root, dirs, files in os.walk(dir, topdown=False):
for file in files:
files_list.append(os.path.join(root, file))
return files_list
解析md文档 获取所有图片
先用misaka把markdown转换成html，然后再拿出所有img。
def get_pics_list(md_content):
"""
获取一个markdown文档里的所有图片链接
:param md_content:
:return:
"""
md_render = misaka.Markdown(misaka.HtmlRenderer())
html = md_render(md_content)
soup = BeautifulSoup(html, features='html.parser')
pics_list = []
for img in soup.find_all('img'):
pics_list.append(img.get('src'))
return pics_list
下载图片
def download_pics(url, file):
img_data = requests.get(url).content
filename = os.path.basename(file)
dirname = os.path.dirname(file)
targer_dir = os.path.join(dirname, f'{filename}.assets')
if not os.path.exists(targer_dir):
os.mkdir(targer_dir)
with open(os.path.join(targer_dir, f'{uuid.uuid4().hex}.jpg'), 'w+') as f:
f.buffer.write(img_data)
完整代码
本项目的完整代码已经上传到GitHub了，地址如下：
github.com/Deali-Axy/Markdown-Image-Parser
pip install -r requirements.txt
python spider.py
欢迎与我交流
- 打代码直播间：live.bilibili.com/11883038
- 微信公众号：DealiAxy
- 知乎：www.zhihu.com/people/dealiaxy
- 博客：blog.deali.cn
本文共计739个文字，预计阅读时间需要3分钟。
背景+前言简述：书籍犹如良药，让我心情舒畅，大部分博客都发布在简书上。固然简书提供了打包导出功能，但仅能导出文字，图片的文字描述仍需在简书服务器上查看。
背景前阵子简书好像说是凉了，搞得我有点小慌，毕竟我的大部分博客都是放在简书上面的，虽然简书提供了打包导出功能，但是只能导出文字，图片的话还是存在简书服务器上面，再加上我一直想要重新做一个个人博客，于是就有了这篇文章。
思路首先是要解析markdown文档，然后获取到其中的所有图片，再把图片按md文件分好目录保存。
解析markdown文档这里我用了misaka模块，据说是python的markdown解析器里性能最好的，不过这个的文档着实是精简，太少内容了，写得不清不楚的，基本功能看来就是把markdown文档解析为html文档，但是好像没有直接操作markdown元素的方法。
没事，我可以像平时写爬虫那样解析html呀，不就曲线救国拿到图片了吗~
这里就用BeautifulSoup啦
很简单，就是requests，没啥好说的。
实现 遍历文件首先要遍历文件夹里面的所有md文档：
def get_files_list(dir):
"""
获取一个目录下所有文件列表，包括子目录
:param dir:
:return:
"""
files_list = []
for root, dirs, files in os.walk(dir, topdown=False):
for file in files:
files_list.append(os.path.join(root, file))
return files_list
解析md文档 获取所有图片
先用misaka把markdown转换成html，然后再拿出所有img。
def get_pics_list(md_content):
"""
获取一个markdown文档里的所有图片链接
:param md_content:
:return:
"""
md_render = misaka.Markdown(misaka.HtmlRenderer())
html = md_render(md_content)
soup = BeautifulSoup(html, features='html.parser')
pics_list = []
for img in soup.find_all('img'):
pics_list.append(img.get('src'))
return pics_list
下载图片
def download_pics(url, file):
img_data = requests.get(url).content
filename = os.path.basename(file)
dirname = os.path.dirname(file)
targer_dir = os.path.join(dirname, f'{filename}.assets')
if not os.path.exists(targer_dir):
os.mkdir(targer_dir)
with open(os.path.join(targer_dir, f'{uuid.uuid4().hex}.jpg'), 'w+') as f:
f.buffer.write(img_data)
完整代码
本项目的完整代码已经上传到GitHub了，地址如下：
github.com/Deali-Axy/Markdown-Image-Parser
pip install -r requirements.txt
python spider.py
欢迎与我交流
- 打代码直播间：live.bilibili.com/11883038
- 微信公众号：DealiAxy
- 知乎：www.zhihu.com/people/dealiaxy
- 博客：blog.deali.cn