71 Commits

Author SHA1 Message Date
admin 52e980ba2e feat: 添加SQLite监控表自动初始化功能
1. 新增ensure_sqlite_monitor_tables函数检查并创建SQLite监控表
2. 在lifespan启动流程中加入SQLite表检查步骤
3. 重构监控表初始化脚本,支持本地执行模式
4. 优化模型差异检测,支持SQL脚本自动建表
2026-06-01 16:47:35 +08:00
DevBox 750e8853f1 feat: 多项优化和修复
1. 修复数据库完整性错误:staging_routers.py 添加 _retry_count 字段默认值 0

2. 时区配置规范化:.env 和 settings.py 使用 IANA 格式(Asia/Shanghai),保持向后兼容

3. Docker 部署优化:
   - Portainer 禁用 Edge 功能,释放 8000 端口
   - Uptime Kuma 和 Portainer 设为默认启动服务

4. 新增部署模板:创建 scripts/deploy_docker/mount 目录结构
2026-05-27 01:39:44 +00:00
chaoge fa5cecd6d1 fix(security,stability): 完成API安全与稳定性修复
- 安全: 修复鉴权失败返回码(HTTP 401/403替代200)
- 安全: 新增SafeQueryBuilder封堵SQL注入入口
- 安全: 移除Pydantic json_encoders弃用配置
- 稳定: 统一后台任务托管与生命周期管理
- 稳定: 新增TaskManager统一管理后台任务
- 文档: 更新README.md与.env.example
- 重构: routers.py使用安全SQL构建器替代字符串拼接
2026-05-25 20:08:35 +08:00
chaoge f7acae8dee fix(security,config): 移除默认高权限密码,统一数据库配置逻辑
- 删除core/settings.py中的默认高权限配置项
- 重构binlog监听工具的凭据获取逻辑,不再硬编码root账号与默认密码
- 重写项目README文档,更新配置说明与启动流程
- 新增API安全与稳定性修复计划文档,梳理后续优化方向
2026-05-25 14:24:44 +08:00
chaoge ad03e904d0 fix(mds): 修复数据去重bug并添加手动删除权限控制
数据去重Bug修复:
- 修复复合主键查询错误(只使用第一个主键字段)
- 修复existing_map只保留最后一条记录的问题
- 修复内部重复数据未检查数据库已存在记录的问题
- 删除staging_routers.py中重复调用apply_dedup_strategy的代码

手动删除权限控制:
- 新增ManualRemoveMode枚举(never/now/next)
- 根据MDS_MANUAL_REMOVE环境变量控制删除行为
- never: 禁止手动删除,隐藏删除按钮
- now: 立即删除
- next: 标记为removing状态,下次推送时删除
- 清理历史数据接口也受权限控制
- 前端通过模板注入获取配置,无需API请求

修改文件:
- apps/data_opt/mds/utils/duplicate_checker.py
- apps/data_opt/mds/staging_routers.py
- apps/data_opt/mds/_base.py
- core/routes_register.py
- static/mds/js/data-table.js
- static/mds/js/mds-page-controller.js
- static/mds/pages/template.html
2026-05-22 13:58:05 +08:00
chaoge bf42299ead 重构: 迁移至统一日志系统
- 新增 globalobjects/logger/ 模块化日志系统
- 支持异步写入、多目标输出、敏感信息脱敏
- 完全向后兼容原有logger API
- 备份旧版本为 logger_v1_backup.py 和 logger_v2_backup.py
- 更新 .env.example 和 AGENTS.md 文档
2026-05-22 00:23:30 +08:00
chaoge f785f23389 合并db_init_manager 2026-05-21 21:47:19 +08:00
chaoge 784a3f68cf 优化数据库连接初始化机制 2026-05-21 19:59:43 +08:00
chaoge 21f7f04c04 创建AGENTS文件,通过账套名称切换模式 2026-05-21 15:47:33 +08:00
chaoge 005524b3b3 优化缓冲表首页 2026-05-21 12:54:17 +08:00
chaoge 5dcf6859d8 优化数据库连接 2026-05-20 22:26:08 +08:00
chaoge 8d0970d58e bom缓冲表增加单位字段 2026-05-20 10:15:24 +08:00
chaoge 21136eaad6 提取前端配置 2026-05-19 20:19:43 +08:00
chaoge d8e8814d25 修复时区BUG 2026-05-18 08:55:25 +08:00
chaoge ad7cf97551 20260517 2026-05-18 05:39:20 +08:00
chaoge 90eb88369c 使用loguru 2026-05-17 09:47:19 +08:00
chaoge 98ae6e47cd 基本实现了基于配置的数据缓冲机制 2026-05-16 19:09:55 +08:00
chaoge d9a9bfc4c7 优化缓冲表配置 2026-05-15 23:18:10 +08:00
chaoge 6e4d97dc0e mds页面整合 2026-05-15 20:55:23 +08:00
chaoge 0068f411fb 优化数据缓冲0514-01 2026-05-14 20:00:23 +08:00
chaoge 53f1cadc9f 优化物料缓冲表 2026-05-13 00:23:41 +08:00
chaoge 4229b64c6f 初步搭建缓冲表功能 2026-05-11 20:46:44 +08:00
chaoge 211cfc33aa 优化项目启动 2026-05-09 07:33:43 +08:00
chaoge 4557a48beb 优化ubuntu部署脚本 2026-05-09 00:36:50 +08:00
chaoge 1ab48cc102 优化提示器在项目中的复用性及可维护性 2026-05-07 22:01:48 +08:00
chaoge 2970ffffa0 _post方法捕获精确报错 2026-05-06 16:06:21 +08:00
chaoge cf4fbac3d7 IP白名单支持通配符 2026-05-05 17:08:52 +08:00
chaoge 2840021ff8 hotfix 2026-05-05 13:17:24 +08:00
chaoge f92d86eab2 加固日志流 2026-05-05 12:41:00 +08:00
chaoge 8e83476aaf 添加日志历史查询 2026-05-04 19:55:12 +08:00
chaoge 197391f6f0 新增部署脚本 2026-05-04 17:19:05 +08:00
chaoge 053b2296b3 新窗口 2026-05-01 21:32:37 +08:00
chaoge 15396829c1 监控面板添加实时日志 2026-05-01 19:52:43 +08:00
chaoge 46417a6b46 优化推送失败处理 2026-04-28 20:52:55 +08:00
chaoge 1b464a084a 创建多进程一键部署脚本 2026-04-26 21:54:30 +08:00
chaoge c20fc8443f hotfix 2026-04-26 14:25:10 +08:00
chaoge 4fe4b1ba5e 优化装饰器函数,合并 2026-04-26 13:51:06 +08:00
chaoge cad11c9173 20260425 2026-04-25 22:25:00 +08:00
chaoge 909313b44c 优化并发性能 2026-04-24 14:36:04 +08:00
chaoge ab1794edc9 优化Redis 2026-04-23 22:52:18 +08:00
chaoge f2afc0dccf 强化监控面板的事件监控功能 2026-04-23 12:19:45 +08:00
chaoge 8165267341 优化binlog监听线程池性能 2026-04-23 08:31:33 +08:00
chaoge de1971feda 修复超跃异步问题 2026-04-22 22:41:58 +08:00
chaoge c662716a51 优化缓存逻辑为按需加载 2026-04-21 16:25:07 +08:00
chaoge 253d5cce49 增强基础设施稳定性,添加失败操作的恢复机制 2026-04-21 07:02:58 +08:00
chaoge 5d3557f8d9 事件速率限流令牌桶 2026-04-21 04:51:45 +08:00
chaoge 70a9bedee1 事件限流机制 2026-04-20 22:45:21 +08:00
chaoge e33f6837fc 优化数据库监听解耦机制,将事件处理放入新进程 2026-04-20 21:29:20 +08:00
chaoge c8d59ced1a 解耦数据库监听进程 2026-04-20 13:27:49 +08:00
chaoge ea32677ba9 hotfix 2026-04-19 22:32:21 +08:00