一：需求

基于網站中用戶進行輸入的地方惡意使用敏感詞等，在用戶輸入之后進行敏感詞屏蔽，相比于網絡上的大多數算法，DFA算法屬于效率比較高的一種，以下是具體實現。

二：實現

（1）：目錄結構

[root@rainsty DirtyWordOfFilter]# ll total 20 -rw-r--r-- 1 root root 1398 Apr 20 21:39 api.py -rw-r--r-- 1 root root 45 Apr 20 21:39 __init__.py drwxr-xr-x 2 root root 4096 Apr 22 22:47 __pycache__ drwxr-xr-x 2 root root 4096 Apr 20 21:39 static -rw-r--r-- 1 root root 220 Apr 20 21:39 __version__.py [root@rainsty DirtyWordOfFilter]#

（2）：詞庫

將需要過濾的詞，做成json文件，利用python的dict數據結構，實現快速查詢。 實例如下：WordLibrary.json {"一":{"夜":{"情":{"\u0000":0},"歡":{"\u0000":0}},"本":{"道":{"\u0000":0}}} }

(3)：API代碼

----api.py

import os import jsonHERE = os.path.realpath(__file__).strip()[:-6]class DFAFilter(object):def __init__(self):self.keyword_chains = {}with open(os.path.join(HERE, 'static', 'WordLibrary.json'), 'r', encoding='utf-8') as f:self.keyword_chains = json.loads(f.read())self.delimit = '\x00'def filter(self, message, word_re="*"):message = message.lower()ret = []start = 0while start < len(message):level = self.keyword_chainsstep_ins = 0for char in message[start:]:if char in level:step_ins += 1if self.delimit not in level[char]:if step_ins == 1:level = level[char]else:ret.append(word_re * step_ins)start += step_ins - 1breakelse:ret.append(word_re * step_ins)start += step_ins - 1breakelse:ret.append(message[start])breakelse:ret.append(message[start])start += 1return ''.join(ret)

三：源碼地址分享

源碼地址：Github:[https://github.com/Rainstyed/rainsty/tree/master/Algorithm/DirtyWordOfFilter]

總結

以上是生活随笔為你收集整理的敏感词过滤算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。