PHP中PCRE正则解析如何实现长尾词提取？

本文共计655个文字，预计阅读时间需要3分钟。

一、前言及博客中的字符集解析

在博客中，我们经常遇到字符集的问题。这里并不是字符集的事情，而是在PHP中，很多函数的处理默认是按照Unicode中的UTF-8编码格式进行的。下面简单介绍一个PHP函数——`mb_split`。

二、PHP函数mb_split简介

`mb_split`函数是PHP中用于按照指定字符集分割字符串的函数。其语法如下：

phpstring mb_split(string $pattern, string $string[, string $encoding='UTF-8'])

参数说明：- `$pattern`：用于分割字符串的模式，可以是字符或正则表达式。- `$string`：要分割的字符串。- `$encoding`：可选参数，指定字符串的编码，默认为UTF-8。

函数返回一个包含分割后字符串的数组。

示例：

phpstring $str='这是一段测试文本，包含中文和英文。';string $pattern='，';string $result=mb_split($pattern, $str);

print_r($result);

输出：

Array( [0]=> 这是一段测试文本 [1]=> 包含中文和英文。)

一、前言

前面的博客里，有对字符集的解析。这里就不是字符集的事儿了，在PHP中很多函数的处理默认是unicode中的UTF-8编码格式。那么废话不多说，直接开始正题。

二、PHP函数mb_split解析

<?php $preg_strings = '测、试、一、下'; $preg_str = mb_split('、', $preg_strings); print_r($preg_str);

输出效果

Array( [0] => 测 [1] => 试 [2] => 一 [3] => 下)

此函数默认底层解析，以UTF-8的编码格式解析。以分隔符（、）的UNICODE的16进制码点分割字符$preg_strings。

三、PHP函数preg_split解析

分割字符串“测试一下”

<?php $strings = '测试一下'; $mb_arr = preg_split('//u', $strings, -1, PREG_SPLIT_NO_EMPTY); print_r($mb_arr);

打印结果如下：

Array( [0] => 测 [1] => 试 [2] => 一 [3] => 下 )

四、PCRE中的/u解析

在PHP中，正则的定界符可以为#、%、/等等。

在一个正则中有时后面会有些修饰符。那么他们都是什么意思呢？

比如：

%[\x{4e00}-\x{9fa5}]+%u

其中后面的修饰符u代码表以正则匹配以utf-8的编码格式匹配。

例子一：

<?php $strings = '测试一下'; $is_true = preg_match_all('%[\x{4e00}-\x{9fa5}]+%u', $strings, $match); var_dump($is_true);

打印结果如下：

Array( [0] => Array ( [0] => 测试一下 ) )

这里的[\x{4e00}-\x{9fa5}]是什么意思呢？

在PHP正则中\x用来表示16进制。

中文的UNICODE码点在4E00 - 9FFF （这里说的都是16进制）

所以，正则匹配写法就是区间[]，[\x{4E00}-\x{9FFF}]

这两个正则的效果都是一样的。