v0.0.4-debug-更新了词库，去除了过于敏感的词语

.gitignore

@@ -4,7 +4,7 @@ __pycache__/
 *.py[cod]
 *$py.class
 
-*.ini
+config/
 
 # C extensions
 *.so
@@ -71,4 +71,5 @@ temp/
 *.json
 test_rawdata/
 temp\AI审查结果.json
-mineru_temp/
+mineru_temp/
+config/config.ini

config/config.ini

@@ -1,128 +0,0 @@
-
-
-[model]
-MODEL_TYPE=gemini
-
-
-
-[gemini]
-GEMINI_SERVER_URL=https://generativelanguage.googleapis.com/v1beta/openai/
-GEMINI_MODEL_ID=gemini-2.0-flash
-GEMINI_API_KEY=AIzaSyBwcjYoxci4QM1mqIaVcbIf_zmsrN9yuWE
-
-[deepseek]
-DEEPSEEK_SERVER_URL=https://api.deepseek.com
-DEEPSEEK_MODEL_ID=deepseek-chat
-DEEPSEEK_API_KEY=sk-9fe722389bac47e9ab30cf45b32eb736
-
-[doubao]
-DOUBAO_SERVER_URL=https://ark.cn-beijing.volces.com/api/v3/
-DOUBAO_MODEL_ID=doubao-seed-1-6-flash-250715
-DOUBAO_API_KEY=c98686df-506f-432c-98de-32e571a8e916
-
-
-[qwen]
-QWEN_SERVER_URL=https://api-inference.modelscope.cn/v1/
-QWEN_MODEL_ID=Qwen/Qwen3-4B
-QWEN_API_KEY=ms-9ad4a379-d592-4acd-b92c-8bac08a4a045
-
-
-[ai_review]
-# 调试模式配置
-MAX_REVIEW_UNITS=1
-REVIEW_MODE=first
-# REVIEW_MODE=all/random/first
-
-
-
-[app]
-APP_CODE=lq-agent
-APP_SECRET=sx-73d32556-605e-11f0-9dd8-acde48001122
-
-
-[launch]
-HOST = 0.0.0.0
-LAUNCH_PORT = 8002
-
-[redis]
-REDIS_URL=redis://127.0.0.1:12001/0
-REDIS_HOST=127.0.0.1
-REDIS_PORT=12001
-REDIS_DB=0
-; REDIS_PASSWORD=123456
-REDIS_MAX_CONNECTIONS=50
-
-[log]
-LOG_FILE_PATH=logs
-LOG_FILE_MAX_MB=10
-LOG_BACKUP_COUNT=5
-CONSOLE_OUTPUT=True
-
-[user_lists]
-USERS=['user-001']
-
-
-[siliconflow]
-SLCF_MODEL_SERVER_URL=https://api.siliconflow.cn/v1
-SLCF_API_KEY=sk-npqfinszhdvnwvensnjmlqtihgevehqiyfwunedxnefkmrud
-SLCF_CHAT_MODEL_ID=test-model
-SLCF_EMBED_MODEL_ID=netease-youdao/bce-embedding-base_v1
-SLCF_REANKER_MODEL_ID=BAAI/bge-reranker-v2-m3
-SLCF_VL_CHAT_MODEL_ID=THUDM/GLM-4.1V-9B-Thinking
-
-[lq_qwen3_8b]
-QWEN_LOCAL_1_5B_SERVER_URL=http://192.168.91.253:9002/v1
-QWEN_LOCAL_1_5B_MODEL_ID=Qwen3-8B
-QWEN_LOCAL_1_5B_API_KEY=dummy
-
-[lq_qwen3_4b]
-QWEN_LOCAL_1_5B_SERVER_URL=http://192.168.91.253:9001/v1
-QWEN_LOCAL_1_5B_MODEL_ID=Qwen3-4B
-QWEN_LOCAL_1_5B_API_KEY=dummy
-
-[rerank_model]
-BGE_RERANKER_SERVER_RUL=http://192.168.91.253:9005/v1/rerank
-BGE_RERANKER_MODEL_ID=BAAI/bge-reranker-v2-m3
-BGE_RERANKER_API_KEY=dummy
-BGE_RERANKER_TOP_N=10
-
-[lq_qwen3_8B_lora]
-LQ_QWEN3_8B_LQ_LORA_SERVER_URL=http://192.168.91.253:9006/v1
-LQ_QWEN3_8B_LQ_LORA_MODEL_ID=Qwen3-8B-lq-lora
-LQ_QWEN3_8B_LQ_LORA_API_KEY=dummy
-
-
-
-[mysql]
-MYSQL_HOST=192.168.92.61
-MYSQL_PORT=13306
-MYSQL_USER=root
-MYSQL_PASSWORD=lq@123
-MYSQL_DB=lq_db
-MYSQL_MIN_SIZE=1
-MYSQL_MAX_SIZE=5
-MYSQL_AUTO_COMMIT=True
-
-
-[pgvector]
-PGVECTOR_HOST=124.223.140.149
-PGVECTOR_PORT=7432
-PGVECTOR_DB=vector_db
-PGVECTOR_USER=vector_user
-PGVECTOR_PASSWORD=pg16@123
-
-
-[milvus]
-MILVUS_HOST=192.168.92.61
-MILVUS_PORT=19530
-MILVUS_DB=lq_db
-MILVUS_COLLECTION=first_bfp_collection_test
-MILVUS_USER=
-MILVUS_PASSWORD=
-
-
-[hybrid_search]
-# 混合检索权重配置
-DENSE_WEIGHT=0.3
-SPARSE_WEIGHT=0.7
-

core/construction_review/component/reviewers/base_reviewer.py

@@ -169,7 +169,7 @@ class BaseReviewer(ABC):
                         "issue_point": f"发现敏感词: {item['word']}",
                         "location": f"{review_location_label or '文档内容'} (位置: {item['position']}-{item['end_position']})，上下文: {context}",
                         "suggestion": f"建议删除或替换敏感词 '{item['word']}'",
-                        "reason": f"该词属于敏感词库中的禁用词汇",
+                        "reason": f"该词属于敏感词库{item['source']}中的禁用词汇",
                         "risk_level": "高风险"
                     }
                     issues.append(issue)

core/construction_review/component/reviewers/sensitive_words/COVID-19词库.txt

@@ -15,14 +15,9 @@ p4病毒实验室
 总书记
 总书记
 红十字会
-疫情
 肺炎
 習近平
-中央
-疫情
-政府
 負面
-疫情
 習主席
 凝聚力
 疫情蔓延
@@ -73,4 +68,4 @@ p4病毒实验室
 监察委+确诊+李文亮
 武漢+光復
 湖北+五大诉求
-武汉+五大诉求
+武汉+五大诉求

core/construction_review/component/reviewers/sensitive_words/GFW补充词库.txt

@@ -11,7 +11,6 @@
 1989年诺贝尔和平奖
 1肖
 20周年
-20年
 20年前天安门
 20周年
 219.84.8.146:82
@@ -44,7 +43,6 @@
 5星洪辉
 5星红辉
 5肖
-6.4
 6.4事件
 6.4学潮
 6.4运动
@@ -1218,7 +1216,6 @@ zj50.cn
 保鲜专栏毒害世人
 信号拦截器
 信 心之门
-信息
 俪影蝎心
 修改宪法
 修改投注单
@@ -1247,7 +1244,6 @@ zj50.cn
 假钱
 偏要推到胡
 做ai
-做一次
 做事的不 如告密的受信赖
 做人像吴官一样正
 做人的不如做狗的受宠
@@ -1318,7 +1314,6 @@ zj50.cn
 免费a片
 免费上网
 免费和我 要上床
-党
 党下台
 党亡
 党匪
@@ -1426,7 +1421,6 @@ zj50.cn
 公司丽人
 公司佳丽
 公器公用
-公安
 公安局好 单位强权部门
 公安恶人
 公安打死人
@@ -1631,7 +1625,6 @@ zj50.cn
 养生会馆
 养身会所
 养身会馆
-兼职
 兼职上门
 兼职不讲价
 兼职专职
@@ -1730,7 +1723,6 @@ zj50.cn
 利用公款下饭店
 别怪我搞台独
 别有用心的太阳
-制作
 制服诱惑
 刺激器
 刺激套环
@@ -1749,7 +1741,6 @@ zj50.cn
 力月西
 办各种证件
 办学 历
-办理
 办理各种证件
 办理各类证件
 办理学历
@@ -1879,7 +1870,6 @@ zj50.cn
 半波
 半自动枪
 华为胡主席签了签名照
-华人
 华人妇女
 华仔依依不舍的目送胡主 席离开
 华夏民生艰
@@ -1992,7 +1982,6 @@ zj50.cn
 发功
 发囵
 发娼 粉
-发情
 发愣工
 发抡
 发抡功
@@ -2068,7 +2057,6 @@ zj50.cn
 右马拉胺
 叶倩彤
 号码复制机
-司机
 司法独立
 吃了原告吃被告
 吃喝嫖赌样样都来活了103岁
@@ -2313,7 +2301,6 @@ zj50.cn
 国际声援西藏运动
 国际支持西藏网络
 国际西藏运动
-圆满
 国家主席李世民
 土共独裁
 土制
@@ -2673,7 +2660,6 @@ zj50.cn
 宇宙真理
 宇明网
 守口如瓶奖
-安全
 安全套随身带
 安眠酮
 安纳 咖
@@ -3001,7 +2987,6 @@ zj50.cn
 开幕式含义新说法
 开心转
 开我小阴唇
-开特
 开腿卖B挣大钱
 开锁器
 异性按摩
@@ -3325,7 +3310,6 @@ zj50.cn
 抢老人
 护士的穴
 护士门
-护法
 报仇收帐
 抬抬女
 抵制央视
@@ -3429,7 +3413,6 @@ zj50.cn
 拿破仑1968
 拿车那就是3年
 拿车那就是三年
-挂牌
 挂牌出肖
 指挥长温公
 按摩 技师
@@ -3444,7 +3427,6 @@ zj50.cn
 振蛋
 挺趣蛋
 捅鸡局
-捆绑
 捐款就像发情
 损毁商铺
 损毁民房
@@ -3565,7 +3547,6 @@ zj50.cn
 放光明电视台
 放入春药
 政匪
-政府
 政府交换被抓获
 政府 他妈的
 政府吃屎
@@ -3785,7 +3766,6 @@ zj50.cn
 朱瑟
 朱镕基
 机关枪
-机打
 机构效仿范跑跑
 机枪
 杀人党
@@ -4399,7 +4379,6 @@ zj50.cn
 游行抗议
 湖竟套
 湖锦涛看到女兵
-湿润
 湿穴
 湿身诱惑
 溜狗
@@ -4480,7 +4459,6 @@ zj50.cn
 炸药包给飞车党抢
 点击这里浏览 我的全部
 点击进入我的
-点数
 点鸾倒凤
 炼功
 烂党
@@ -4599,7 +4577,6 @@ zj50.cn
 猪容鸡
 猪聋畸
 猫女凤舞
-独立
 独裁政权
 玉乳护肤
 玉体酥乳
@@ -4620,7 +4597,6 @@ zj50.cn
 玩枪拼勃
 玩社会
 玫瑰粉推
-环境保护
 现代艳帝传奇
 现在到处是贪污犯
 现在卖b有 点难
@@ -4681,7 +4657,6 @@ zj50.cn
 电压双眼皮
 电子解密
 电老虎水阎王
-电话
 电话充值q币
 男人不嫖娼对不起党中央
 男人 四睡
@@ -4845,7 +4820,6 @@ zj50.cn
 神隐秘的作工
 神雕外传之 郭襄
 祥萨仁波切
-禁区
 禁尾
 禁止重庆人进京
 禁食祷告日
@@ -5090,7 +5064,6 @@ zj50.cn
 群发卡
 群发器
 群奸
-群殴
 群体事件
 翻下包皮
 老.虎.机
@@ -5129,10 +5102,8 @@ zj50.cn
 聊天服务
 职业是做鸡
 联动分子
-联系
 联系qq
 联系妹妹
-联系电话
 联邦共和
 聘女ds
 聚宝箱
@@ -5250,7 +5221,6 @@ zj50.cn
 臀部油压
 臂推
 自wei
-自制
 自制手枪
 自动枪
 自在游神
@@ -5544,7 +5514,6 @@ zj50.cn
 视频强制
 视频房间
 视频激情
-视频监控
 视频秀
 视频窥探器
 视频绣
@@ -6308,7 +6277,6 @@ zj50.cn
 高薪服务人员
 高薪服务生
 高薪诚聘
-高跟
 鬼畜
 魏京生
 魔女乖乖粉

core/construction_review/component/reviewers/sensitive_words/其他词库.txt

@@ -44,7 +44,6 @@ chengdu
 台湾猪
 进化不完全的生命体
 震死他们
-
 10010
 10086
 10159
@@ -52,9 +51,7 @@ chengdu
 13725516608
 13875448369
 15112886328
-189
 6-4tianwang
-64
 68170802
 6a6.net
 7.31
@@ -115,7 +112,6 @@ incest
 jiangdongriji
 l2590803027
 lihongzhi
-ma
 making
 minghui
 minghuinews

core/construction_review/component/reviewers/sensitive_words/反动词库.txt

@@ -134,7 +134,6 @@ renquan
 shangfang
 信访
 访民
-集合
 集会
 组织集体
 静坐
@@ -154,7 +153,6 @@ youxing
 亢议
 抵制
 低制
-底制
 di制
 抵zhi
 dizhi
@@ -554,4 +552,4 @@ qingzhen
 中共洗脑
 中共邪教
 中共政治游戏
-中共邪毒素
+中共邪毒素

core/construction_review/component/reviewers/sensitive_words/广告类型.txt

@@ -1,16 +1,12 @@
-兼职
 招聘
-网络
 QQ
 招聘
 有意者
-到货
 本店
 代购
 扣扣
 客服
 微店
-兼职
 兼值
 淘宝
 小姐
@@ -23,15 +19,12 @@ JS
 技师
 推油
 胸推
-BT
 毒龙
 口爆
-兼职
 楼凤
 足交
 口暴
 口交
-全套
 SM
 桑拿
 吞精
@@ -39,7 +32,6 @@ SM
 婊子
 乳方
 操逼
-全职
 性伴侣
 网购
 网络工作

core/construction_review/component/reviewers/sensitive_words/政治类型.txt

@@ -267,7 +267,6 @@ g产
 g匪
 共匪
 仇共
-政府
 症腐
 政腐
 政付

core/construction_review/component/reviewers/sensitive_words/新思想启蒙.txt

@@ -11,4 +11,4 @@
 理工男脉冲
 性压抑大一统
 性压抑大一统理论
-性压抑相对论
+性压抑相对论

core/construction_review/component/reviewers/sensitive_words/施工方案绝对化用语.txt

@@ -1,2 +1,2 @@
 绝对安全
-不可能发生
+不可能发生

core/construction_review/component/reviewers/sensitive_words/暴恐词库.txt

@@ -175,4 +175,4 @@ cannabis
 benzodiazepines
 甲基安非他明
 吗啡
-安非他命
+安非他命

core/construction_review/component/reviewers/sensitive_words/民生词库.txt

@@ -4,8 +4,6 @@
 拆迁
 纠纷
 纠纷
-盗窃
-盗窃
 安眠酮
 代药物毒品类：血浆
 普萘洛尔
@@ -485,7 +483,6 @@ falu
 珐伦
 珐仑
 珐沦
-五不
 五不争鸣论坛
 五出三进
 五套功法
@@ -546,7 +543,6 @@ Flg
 讲法
 基督
 基督教
-护法
 回教
 教徒
 功友
@@ -568,4 +564,4 @@ Flg
 红志
 车库
 经文
-车仑
+车仑

core/construction_review/component/reviewers/sensitive_words/涉枪涉爆.txt

@@ -4,7 +4,7 @@
 出售炸药
 出售炸药 电话
 制作火药配方
-炸药出售 
+炸药出售
 出售雷管炸药
 火药配方
 在家里做原子弹
@@ -33,7 +33,7 @@ tnt炸药成分
 tnt炸药配方
 各种炸药配方大全
 炸药的成分
-燃烧弹的制作方 
+燃烧弹的制作方
 黑火药的配方
 黑火药的制作
 黑火药比例
@@ -208,7 +208,7 @@ ATOM弹制造
 卖64手枪
 卖92手枪
 卖钢珠枪QQ
-哪里能买到自制手枪  
+哪里能买到自制手枪
 哪里有钢珠枪
 哪里有连发猎枪买卖
 哪里有卖双管猎
@@ -259,10 +259,10 @@ ATOM弹制造
 折叠狗QQ
 转让 猎枪
 子弹货到付款
-自制手枪哪里买  
+自制手枪哪里买
 自制手枪哪里有卖
 阻击枪/汽枪/高压气枪
-组装手枪  
+组装手枪
 最新销售汽狗
 出售警用手铐|仿真枪
 猎枪|真枪
@@ -280,7 +280,7 @@ ATOM弹制造
 弓弩营销中心
 弓弩一百专卖店
 弓弩销售
-弓弩网 
+弓弩网
 弓弩网
 弓弩图纸
 弓弩特许经销
@@ -295,7 +295,7 @@ ATOM弹制造
 中国弓弩网
 中国弓弩狩猎网
 中国弓驽网
-制作简易弓弩 
+制作简易弓弩
 郑州弓弩专卖
 赵氏弓弩专卖网
 赵氏弓弩专卖店
@@ -343,7 +343,7 @@ ATOM弹制造
 弓弩免定金货到付款
 弓弩麻醉箭
 弓弩麻醉镖
-弓弩论坛 
+弓弩论坛
 钢珠弓弩专卖网
 钢珠弓弩专卖店
 打狗弓弩三步倒

core/construction_review/component/reviewers/sensitive_words/色情类型.txt

@@ -176,7 +176,6 @@
 色盟
 色情网站
 色区
-色色
 色诱
 色欲
 色b
@@ -202,7 +201,6 @@
 汤加丽
 套弄
 体奸
-体位
 舔脚
 舔阴
 调教

core/construction_review/component/reviewers/sensitive_words/色情词库.txt

@@ -208,7 +208,6 @@
 色盟
 色情网站
 色区
-色色
 色诱
 色欲
 色b
@@ -236,7 +235,6 @@
 汤加丽
 套弄
 体奸
-体位
 舔脚
 舔阴
 调教
@@ -430,8 +428,6 @@ sb
 混蛋
 媚外
 和弦
-兼职
-限量
 铃声
 性伴侣
 男公关
@@ -443,7 +439,6 @@ sb
 做爱
 性爱
 发生关系
-按摩
 快感
 处男
 猛男
@@ -455,8 +450,6 @@ a片
 内裤
 浑圆
 咪咪
-发情
-刺激
 白嫩
 粉嫩
 兽性
@@ -465,7 +458,6 @@ a片
 sm
 阉割
 高潮
-裸露
 不穿
 一丝不挂
 脱光
@@ -770,7 +762,6 @@ narcotic
 色盟
 色情网站
 色区
-色色
 色诱
 色欲
 色b
@@ -798,7 +789,6 @@ narcotic
 汤加丽
 套弄
 体奸
-体位
 舔脚
 舔阴
 调教
@@ -926,4 +916,4 @@ sm女王
 xiao77
 xing伴侣
 tokyohot
-yin荡
+yin荡

core/construction_review/component/reviewers/sensitive_words/贪腐词库.txt

@@ -1,4 +1,3 @@
-腐败
 贪污
 gcd
 共贪党
@@ -241,4 +240,4 @@ gong和
 肖怀枢
 刘广智 空军
 姬胜德 总参
-廖伯年 北京
+廖伯年 北京

core/construction_review/component/reviewers/sensitive_words/非法网址.txt

@@ -1392,7 +1392,7 @@
 9.lcyl.info
 9.product8.cn
 9.yanzhaomen.tv
-900788.com 
+900788.com
 900wcp.cn
 901s.count.xj.cn
 902a9.3322.org
@@ -1574,7 +1574,6 @@
 9xddw2.cn
 9xxoobbcc.3322.org
 9xxx33.cn
-
 Ac.qvxd.info
 BSDY.INFO
 CUIQING.NET.CN
@@ -2100,7 +2099,7 @@ asdfadgtyuyipfgjns.cx.cc
 asdgfqws29.3322.org
 asdkdfg.3322.org
 asdklj.cn
-asdrewwyqs7.3322.org 
+asdrewwyqs7.3322.org
 asdwdwdq.cn
 asdww2322.cn
 asdzxc.com
@@ -3559,7 +3558,7 @@ dl02.softdown-load.com.cn
 dl3.kanlela.com
 dl4.kanlela.com
 dl6.kanlela.com
-dl8899.3322.org 
+dl8899.3322.org
 dlhost1.new-hua.com.cn
 dll.perfectoptimizer.com
 dlplayer.aiavba.com
@@ -6159,7 +6158,7 @@ pearlpearl.com.br
 pefpuklkoyl.com
 peke18.laweb.es
 peke18.notengodominio.com
-perejopa.com 
+perejopa.com
 perfectteam.org
 perlamutratoro.com
 pes.mv121.cn
@@ -10550,7 +10549,7 @@ www.caipiao128.com
 www.caipiao238.cn
 www.caipiao5166.cn
 www.caipiao5166.cnn
-www.caipiao568.com 
+www.caipiao568.com
 www.caipiao688.com
 www.caipiao777.cn
 www.caipiao899.com
@@ -12713,7 +12712,7 @@ www.qqzaj.com
 www.qqzock.cn
 www.qraashxi.com
 www.qsqwyt.net
-www.qt0955.cn  
+www.qt0955.cn
 www.qt6878.cn
 www.qtdyf.cn
 www.qtq178.cn