如何用Go语言实现Markdown解析器?实战文本处理技巧分享

2026-04-30 19:581阅读0评论SEO资源
  • 内容介绍
  • 文章标签
  • 相关推荐

本文共计1065个文字,预计阅读时间需要5分钟。

如何用Go语言实现Markdown解析器?实战文本处理技巧分享

因为您需要的是简单——不是功能完整,而是可控制、可调试,并能嵌入到小工具中而不带有一堆依赖。目前,库中有几百个文件,使用goldmark的扩展机制绕三圈才适配得好一个自定义节点。而blackfriday已归档且不支持Go modules早期版本的路径解析,容易出错。真的动手写,核心就是两件事:

strings.Split 不能直接切 Markdown 块,得按空行+缩进状态走

Markdown 块级元素(比如段落、列表项、代码块)靠空行分隔,但空行可能被缩进干扰,比如 YAML front matter 后紧接一个缩进的列表,strings.Split 一刀切会把整个 front matter 和后续内容混成一块。正确做法是逐行扫描,维护一个 inList 状态和当前缩进深度:

  • 遇到以 - * 或数字加 . 开头的行,且缩进 ≤ 当前列表层级,就开启新列表项
  • 连续空行只算一个分隔符;单个空行在代码块里不算分隔(得看是否在 ``` 内)
  • strings.TrimSpace 判断空行,别用 == "",因为可能含 \t 或 \r

行内解析必须用状态机,正则替换会吃掉嵌套强调

比如 *a *b* c* 这种嵌套斜体,用 regexp.ReplaceAllString 两次(先处理 ** 再处理 *)会错乱。实际得边扫边记栈:inEminStronginCode 三个布尔值,遇到 * 就翻转对应状态,同时记录起始位置。关键细节:

  • ` 是行内代码的边界,但两个反引号 `` 表示空格允许的代码片段,得单独判断长度
  • 链接 [text](url) 的右括号必须匹配最内层左括号,不能靠正则捕获组硬写,得数括号嵌套层数
  • 转义字符 \* 要在状态机里跳过,否则会被当成强调符起点

输出 HTML 时别拼字符串,用 html.EscapeString 处理所有原始文本

用户输入的 Markdown 可能含 <script></script><img onerror=alert(1)>,如果直接把解析后的文本塞进 "<p>" + text + "</p><div class="aritcle_card flexRow"> <div class="artcardd flexRow"> <a class="aritcle_card_img" href="/ai/1147" title="GoEnhance"><img src="https://img.php.cn/upload/ai_manual/000/000/000/175680088716761.png" alt="GoEnhance" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a> <div class="aritcle_card_info flexColumn"> <a href="/ai/1147" title="GoEnhance">GoEnhance</a> <p>全能AI视频制作平台:通过GoEnhance AI让视频创作变得比以往任何时候都更简单。</p> </div> <a href="/ai/1147" title="GoEnhance" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a> </div> </div> <p><span>立即学习</span>“<a href="https://pan.quark.cn/s/00968c3c2c15" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">go语言免费学习笔记(深入)</a>”;</p>",XSS 就来了。必须对所有非标签部分调用 html.EscapeString

  • 只有你自己生成的 HTML 标签(如 "<strong>"</strong>"
  • )可以直写
  • 用户写的链接 URL 要额外过一遍 url.PathEscapenet/urlQueryEscape,防止 javascript:alert(1) 注入
  • 代码块内容用 html.EscapeString 后再换行转 <br>,别漏掉末尾换行符

真正难的不是语法识别,是状态同步——块级缩进状态、行内嵌套栈、HTML 转义边界,这三个地方一松动,输出就不可信。写完跑一遍 go test -v 加 20 个混合测试用例,重点看 *a **b* c**- `x y`、含 & 的段落,比补文档重要得多。

本文共计1065个文字,预计阅读时间需要5分钟。

如何用Go语言实现Markdown解析器?实战文本处理技巧分享

因为您需要的是简单——不是功能完整,而是可控制、可调试,并能嵌入到小工具中而不带有一堆依赖。目前,库中有几百个文件,使用goldmark的扩展机制绕三圈才适配得好一个自定义节点。而blackfriday已归档且不支持Go modules早期版本的路径解析,容易出错。真的动手写,核心就是两件事:

strings.Split 不能直接切 Markdown 块,得按空行+缩进状态走

Markdown 块级元素(比如段落、列表项、代码块)靠空行分隔,但空行可能被缩进干扰,比如 YAML front matter 后紧接一个缩进的列表,strings.Split 一刀切会把整个 front matter 和后续内容混成一块。正确做法是逐行扫描,维护一个 inList 状态和当前缩进深度:

  • 遇到以 - * 或数字加 . 开头的行,且缩进 ≤ 当前列表层级,就开启新列表项
  • 连续空行只算一个分隔符;单个空行在代码块里不算分隔(得看是否在 ``` 内)
  • strings.TrimSpace 判断空行,别用 == "",因为可能含 \t 或 \r

行内解析必须用状态机,正则替换会吃掉嵌套强调

比如 *a *b* c* 这种嵌套斜体,用 regexp.ReplaceAllString 两次(先处理 ** 再处理 *)会错乱。实际得边扫边记栈:inEminStronginCode 三个布尔值,遇到 * 就翻转对应状态,同时记录起始位置。关键细节:

  • ` 是行内代码的边界,但两个反引号 `` 表示空格允许的代码片段,得单独判断长度
  • 链接 [text](url) 的右括号必须匹配最内层左括号,不能靠正则捕获组硬写,得数括号嵌套层数
  • 转义字符 \* 要在状态机里跳过,否则会被当成强调符起点

输出 HTML 时别拼字符串,用 html.EscapeString 处理所有原始文本

用户输入的 Markdown 可能含 <script></script><img onerror=alert(1)>,如果直接把解析后的文本塞进 "<p>" + text + "</p><div class="aritcle_card flexRow"> <div class="artcardd flexRow"> <a class="aritcle_card_img" href="/ai/1147" title="GoEnhance"><img src="https://img.php.cn/upload/ai_manual/000/000/000/175680088716761.png" alt="GoEnhance" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a> <div class="aritcle_card_info flexColumn"> <a href="/ai/1147" title="GoEnhance">GoEnhance</a> <p>全能AI视频制作平台:通过GoEnhance AI让视频创作变得比以往任何时候都更简单。</p> </div> <a href="/ai/1147" title="GoEnhance" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a> </div> </div> <p><span>立即学习</span>“<a href="https://pan.quark.cn/s/00968c3c2c15" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">go语言免费学习笔记(深入)</a>”;</p>",XSS 就来了。必须对所有非标签部分调用 html.EscapeString

  • 只有你自己生成的 HTML 标签(如 "<strong>"</strong>"
  • )可以直写
  • 用户写的链接 URL 要额外过一遍 url.PathEscapenet/urlQueryEscape,防止 javascript:alert(1) 注入
  • 代码块内容用 html.EscapeString 后再换行转 <br>,别漏掉末尾换行符

真正难的不是语法识别,是状态同步——块级缩进状态、行内嵌套栈、HTML 转义边界,这三个地方一松动,输出就不可信。写完跑一遍 go test -v 加 20 个混合测试用例,重点看 *a **b* c**- `x y`、含 & 的段落,比补文档重要得多。