php github敏感词过滤,写了一个敏感词过滤的方法

大概逻辑就是:循环敏感词库的内容,然后 1. 直接在用户提交的字符串中匹配 2. 去除特殊符号后匹配 3. 提取其中的中文部分,组成整句,进行匹配 4. 提前英文部分,以单词为单位,进行匹配。 这四种可以想象为四个级别,判断的时候,增加或者减少条件判断,能够调整过滤级别

一般常规的越过敏感词验证是在其中加上干扰符号,例如 一个傻¥%&×叉 ,也有可能是夹杂单词,例如 一个傻tm叉 ,单词中如果是 f-u-c-k ,这样的都可以被处理。越过的方法是夹杂其他语种的词汇就行,例如 é-f-é-u-é-c-é-k-é ,这样的暂时未处理。

代码如下:

// $str = 他是个傻@B bitchSADF啊,傻xx逼! é-f-é-u-é-c-é-k-é?;

if (!function_exists(sensitiveWordFilter)) {

function sensitiveWordFilter($str)

{

// $words = getSensitiveWords();

$words = [fuck, 傻逼, bitch啊]; // 建议从文件或者缓存中读取敏感词列表,英文约定小写

$flag = false;

// 提取中文部分,防止其中夹杂英语等

preg_match_all("/[x{4e00}-x{9fa5}]+/u", $str, $match);

$chinsesArray &

大概逻辑就是:循环敏感词库的内容,然后 1. 直接在用户提交的字符串中匹配 2. 去除特殊符号后匹配 3. 提取其中的中文部分,组成整句,进行匹配 4. 提前英文部分,以单词为单位,进行匹配。 这四种可以想象为四个级别,判断的时候,增加或者减少条件判断,能够调整过滤级别 一般常规的越过敏感词验证是在其中加上干扰符号,例如 一个傻¥%&×叉 ,也有可能是夹杂单词,例如 一个傻tm叉 ,单词中如果是 f-u-c-k ,这样的都可以被处理。越过的方法是夹杂其他语种的词汇就行,例如 é-f-é-u-é-c-é-k-é ,这样的暂时未处理。 代码如下: // $str = 他是个傻@B bitchSADF啊,傻xx逼! é-f-é-u-é-c-é-k-é?; if (!function_exists(sensitiveWordFilter)) { function sensitiveWordFilter($str) { // $words = getSensitiveWords(); $words = [fuck, 傻逼, bitch啊]; // 建议从文件或者缓存中读取敏感词列表,英文约定小写 $flag = false; // 提取中文部分,防止其中夹杂英语等 preg_match_all("/[x{4e00}-x{9fa5}]+/u", $str, $match); $chinsesArray &
经验分享 程序员 微信小程序 职场和发展