117 Commits

Author SHA1 Message Date
chaoge 30fb58915d fix: 从备份恢复 reminder.py 文件
历史已清除敏感信息,恢复干净版本
2026-05-26 11:14:47 +08:00
chaoge fa5cecd6d1 fix(security,stability): 完成API安全与稳定性修复
- 安全: 修复鉴权失败返回码(HTTP 401/403替代200)
- 安全: 新增SafeQueryBuilder封堵SQL注入入口
- 安全: 移除Pydantic json_encoders弃用配置
- 稳定: 统一后台任务托管与生命周期管理
- 稳定: 新增TaskManager统一管理后台任务
- 文档: 更新README.md与.env.example
- 重构: routers.py使用安全SQL构建器替代字符串拼接
2026-05-25 20:08:35 +08:00
chaoge 2c613d5531 fix海达 2026-05-24 13:41:42 +08:00
chaoge b347c6af57 feat: 日志历史查询页面重构优化
- 页面布局重构:header集成查询控件,分页移至tabs右侧
- 样式美化:全局等宽字体、Bootstrap图标、组件阴影动画
- 级别过滤改为≥逻辑,关键词支持多字段(路径/URL/请求体/响应体)
- 时间范围可选(支持查询全部数据)
- 统计数据改为后端计算(总数+级别分布)
- 高级筛选分解到各页签,边界隔离修复
- 表头冻结、列表自适应高度
- 新增日志查询索引迁移脚本
2026-05-23 15:39:53 +08:00
chaoge ad03e904d0 fix(mds): 修复数据去重bug并添加手动删除权限控制
数据去重Bug修复:
- 修复复合主键查询错误(只使用第一个主键字段)
- 修复existing_map只保留最后一条记录的问题
- 修复内部重复数据未检查数据库已存在记录的问题
- 删除staging_routers.py中重复调用apply_dedup_strategy的代码

手动删除权限控制:
- 新增ManualRemoveMode枚举(never/now/next)
- 根据MDS_MANUAL_REMOVE环境变量控制删除行为
- never: 禁止手动删除,隐藏删除按钮
- now: 立即删除
- next: 标记为removing状态,下次推送时删除
- 清理历史数据接口也受权限控制
- 前端通过模板注入获取配置,无需API请求

修改文件:
- apps/data_opt/mds/utils/duplicate_checker.py
- apps/data_opt/mds/staging_routers.py
- apps/data_opt/mds/_base.py
- core/routes_register.py
- static/mds/js/data-table.js
- static/mds/js/mds-page-controller.js
- static/mds/pages/template.html
2026-05-22 13:58:05 +08:00
chaoge bf42299ead 重构: 迁移至统一日志系统
- 新增 globalobjects/logger/ 模块化日志系统
- 支持异步写入、多目标输出、敏感信息脱敏
- 完全向后兼容原有logger API
- 备份旧版本为 logger_v1_backup.py 和 logger_v2_backup.py
- 更新 .env.example 和 AGENTS.md 文档
2026-05-22 00:23:30 +08:00
chaoge a33f9557a3 优化缓冲表操作体验 2026-05-18 16:09:07 +08:00
chaoge ad7cf97551 20260517 2026-05-18 05:39:20 +08:00
chaoge 90eb88369c 使用loguru 2026-05-17 09:47:19 +08:00
chaoge 6e4d97dc0e mds页面整合 2026-05-15 20:55:23 +08:00
chaoge 5524762604 继续优化物料缓冲表 2026-05-13 17:16:49 +08:00
chaoge 4557a48beb 优化ubuntu部署脚本 2026-05-09 00:36:50 +08:00
chaoge 56d68a2555 ubuntu部署脚本 2026-05-08 21:16:07 +08:00
chaoge ec31142ce1 优化租户提示器 2026-05-08 15:08:36 +08:00
chaoge 999a1640a0 优化监控 2026-05-07 15:32:33 +08:00
chaoge 936510ee56 hotfix 2026-05-06 10:24:29 +08:00
chaoge 2840021ff8 hotfix 2026-05-05 13:17:24 +08:00
chaoge 35e8f9f3bc hotfix 2026-05-05 12:50:55 +08:00
chaoge 8e83476aaf 添加日志历史查询 2026-05-04 19:55:12 +08:00
chaoge 987891574c 优化监控面板 2026-05-03 17:50:19 +08:00
chaoge c3b421a282 优化日志流显示样式 2026-05-02 10:48:40 +08:00
chaoge 053b2296b3 新窗口 2026-05-01 21:32:37 +08:00
chaoge 15396829c1 监控面板添加实时日志 2026-05-01 19:52:43 +08:00
chaoge a45ccd76e8 rollback 2026-04-30 21:32:45 +08:00
chaoge e2cf60813d 优化限流逻辑 2026-04-28 18:59:07 +08:00
chaoge 5210a53c1a 进一步封装 2026-04-28 13:59:32 +08:00
chaoge 6161c7ca92 清理冗余、小范围调整结构 2026-04-28 06:24:04 +08:00
chaoge 3b535652f2 T+优化为面向对象 2026-04-27 20:24:15 +08:00
chaoge 1b464a084a 创建多进程一键部署脚本 2026-04-26 21:54:30 +08:00
chaoge 79b85667d4 binlog位置记录改为文件 2026-04-26 18:09:51 +08:00
chaoge c20fc8443f hotfix 2026-04-26 14:25:10 +08:00
chaoge 9359bb7523 hotfix 2026-04-26 14:03:09 +08:00
chaoge 4fe4b1ba5e 优化装饰器函数,合并 2026-04-26 13:51:06 +08:00
chaoge 9fd0625d42 优化数据库组件、aps组件 2026-04-25 15:08:57 +08:00
chaoge bd91cab428 初步完成 2026-04-24 22:55:49 +08:00
chaoge b7124bab3b 准备优化db_manager错误处理机制 2026-04-24 19:54:04 +08:00
chaoge 909313b44c 优化并发性能 2026-04-24 14:36:04 +08:00
chaoge 8165267341 优化binlog监听线程池性能 2026-04-23 08:31:33 +08:00
chaoge 5c6aef5fa1 使用装饰器实现事件消息的外发 2026-04-21 22:54:23 +08:00
chaoge c662716a51 优化缓存逻辑为按需加载 2026-04-21 16:25:07 +08:00
chaoge e33f6837fc 优化数据库监听解耦机制,将事件处理放入新进程 2026-04-20 21:29:20 +08:00
chaoge 5ecbf5e571 数据库操作该为分批 2026-04-20 15:26:15 +08:00
chaoge ea32677ba9 hotfix 2026-04-19 22:32:21 +08:00
chaoge 4050df95cb 建立生产数据缓存机制 2026-04-19 19:30:50 +08:00
chaoge 76969c0891 不搞异步版本,转而优化SQL查询性能 2026-04-19 03:41:24 +08:00
chaoge db4b6d267a 日志数据库持久化小问题修正 2026-04-17 21:58:46 +08:00
chaoge ad10fda88c 完成基础日志的数据库记录 2026-04-17 15:04:00 +08:00
chaoge 7016d62b38 移动settings.py 2026-04-16 13:30:02 +08:00
chaoge 48da6e705d 准备优化monitor.js 2026-04-15 16:23:33 +08:00
chaoge 009e508b18 优化监控面板 2026-04-11 14:48:33 +08:00