如何用Go语言实现Markdown解析器?实战文本处理技巧分享
- 内容介绍
- 文章标签
- 相关推荐
本文共计1065个文字,预计阅读时间需要5分钟。
因为您需要的是简单——不是功能完整,而是可控制、可调试,并能嵌入到小工具中而不带有一堆依赖。目前,库中有几百个文件,使用goldmark的扩展机制绕三圈才适配得好一个自定义节点。而blackfriday已归档且不支持Go modules早期版本的路径解析,容易出错。真的动手写,核心就是两件事:
strings.Split 不能直接切 Markdown 块,得按空行+缩进状态走
Markdown 块级元素(比如段落、列表项、代码块)靠空行分隔,但空行可能被缩进干扰,比如 YAML front matter 后紧接一个缩进的列表,strings.Split 一刀切会把整个 front matter 和后续内容混成一块。正确做法是逐行扫描,维护一个 inList 状态和当前缩进深度:
- 遇到以
-、*或数字加.开头的行,且缩进 ≤ 当前列表层级,就开启新列表项 - 连续空行只算一个分隔符;单个空行在代码块里不算分隔(得看是否在
```内) - 用
strings.TrimSpace判断空行,别用== "",因为可能含 \t 或 \r
行内解析必须用状态机,正则替换会吃掉嵌套强调
比如 *a *b* c* 这种嵌套斜体,用 regexp.ReplaceAllString 两次(先处理 ** 再处理 *)会错乱。实际得边扫边记栈:inEm、inStrong、inCode 三个布尔值,遇到 * 就翻转对应状态,同时记录起始位置。关键细节:
-
`是行内代码的边界,但两个反引号``表示空格允许的代码片段,得单独判断长度 - 链接
[text](url)的右括号必须匹配最内层左括号,不能靠正则捕获组硬写,得数括号嵌套层数 - 转义字符
\*要在状态机里跳过,否则会被当成强调符起点
输出 HTML 时别拼字符串,用 html.EscapeString 处理所有原始文本
用户输入的 Markdown 可能含 <script></script> 或 <img onerror=alert(1)>,如果直接把解析后的文本塞进 "<p>" + text + "</p><div class="aritcle_card flexRow">
<div class="artcardd flexRow">
<a class="aritcle_card_img" href="/ai/1147" title="GoEnhance"><img
src="https://img.php.cn/upload/ai_manual/000/000/000/175680088716761.png" alt="GoEnhance" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
<div class="aritcle_card_info flexColumn">
<a href="/ai/1147" title="GoEnhance">GoEnhance</a>
<p>全能AI视频制作平台:通过GoEnhance AI让视频创作变得比以往任何时候都更简单。</p>
</div>
<a href="/ai/1147" title="GoEnhance" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a>
</div>
</div>
<p><span>立即学习</span>“<a href="https://pan.quark.cn/s/00968c3c2c15" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">go语言免费学习笔记(深入)</a>”;</p>",XSS 就来了。必须对所有非标签部分调用 html.EscapeString:
- 只有你自己生成的 HTML 标签(如
"<strong>"</strong>、")可以直写 - 用户写的链接 URL 要额外过一遍
url.PathEscape或net/url的QueryEscape,防止javascript:alert(1)注入 - 代码块内容用
html.EscapeString后再换行转<br>,别漏掉末尾换行符
真正难的不是语法识别,是状态同步——块级缩进状态、行内嵌套栈、HTML 转义边界,这三个地方一松动,输出就不可信。写完跑一遍 go test -v 加 20 个混合测试用例,重点看 *a **b* c**、- `x y`、含 & 和 的段落,比补文档重要得多。
本文共计1065个文字,预计阅读时间需要5分钟。
因为您需要的是简单——不是功能完整,而是可控制、可调试,并能嵌入到小工具中而不带有一堆依赖。目前,库中有几百个文件,使用goldmark的扩展机制绕三圈才适配得好一个自定义节点。而blackfriday已归档且不支持Go modules早期版本的路径解析,容易出错。真的动手写,核心就是两件事:
strings.Split 不能直接切 Markdown 块,得按空行+缩进状态走
Markdown 块级元素(比如段落、列表项、代码块)靠空行分隔,但空行可能被缩进干扰,比如 YAML front matter 后紧接一个缩进的列表,strings.Split 一刀切会把整个 front matter 和后续内容混成一块。正确做法是逐行扫描,维护一个 inList 状态和当前缩进深度:
- 遇到以
-、*或数字加.开头的行,且缩进 ≤ 当前列表层级,就开启新列表项 - 连续空行只算一个分隔符;单个空行在代码块里不算分隔(得看是否在
```内) - 用
strings.TrimSpace判断空行,别用== "",因为可能含 \t 或 \r
行内解析必须用状态机,正则替换会吃掉嵌套强调
比如 *a *b* c* 这种嵌套斜体,用 regexp.ReplaceAllString 两次(先处理 ** 再处理 *)会错乱。实际得边扫边记栈:inEm、inStrong、inCode 三个布尔值,遇到 * 就翻转对应状态,同时记录起始位置。关键细节:
-
`是行内代码的边界,但两个反引号``表示空格允许的代码片段,得单独判断长度 - 链接
[text](url)的右括号必须匹配最内层左括号,不能靠正则捕获组硬写,得数括号嵌套层数 - 转义字符
\*要在状态机里跳过,否则会被当成强调符起点
输出 HTML 时别拼字符串,用 html.EscapeString 处理所有原始文本
用户输入的 Markdown 可能含 <script></script> 或 <img onerror=alert(1)>,如果直接把解析后的文本塞进 "<p>" + text + "</p><div class="aritcle_card flexRow">
<div class="artcardd flexRow">
<a class="aritcle_card_img" href="/ai/1147" title="GoEnhance"><img
src="https://img.php.cn/upload/ai_manual/000/000/000/175680088716761.png" alt="GoEnhance" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
<div class="aritcle_card_info flexColumn">
<a href="/ai/1147" title="GoEnhance">GoEnhance</a>
<p>全能AI视频制作平台:通过GoEnhance AI让视频创作变得比以往任何时候都更简单。</p>
</div>
<a href="/ai/1147" title="GoEnhance" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a>
</div>
</div>
<p><span>立即学习</span>“<a href="https://pan.quark.cn/s/00968c3c2c15" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">go语言免费学习笔记(深入)</a>”;</p>",XSS 就来了。必须对所有非标签部分调用 html.EscapeString:
- 只有你自己生成的 HTML 标签(如
"<strong>"</strong>、")可以直写 - 用户写的链接 URL 要额外过一遍
url.PathEscape或net/url的QueryEscape,防止javascript:alert(1)注入 - 代码块内容用
html.EscapeString后再换行转<br>,别漏掉末尾换行符
真正难的不是语法识别,是状态同步——块级缩进状态、行内嵌套栈、HTML 转义边界,这三个地方一松动,输出就不可信。写完跑一遍 go test -v 加 20 个混合测试用例,重点看 *a **b* c**、- `x y`、含 & 和 的段落,比补文档重要得多。

