512 Commits

Author SHA1 Message Date
admin 995ea248c9 feat(ZEST): 新增ZEST模块的测试配置与客户端实现
新增了test.json环境配置文件,包含ERP、MES、SRM等系统的连接参数与默认配置;同时创建了client.py实现APS相关的库存刷新、SAP交互、定时任务等核心功能逻辑
2026-06-01 21:16:12 +08:00
admin 9063c5522a ci(github actions): 配置buildx并添加缓存清理步骤
配置Docker Buildx的构建器名称并启用持久化,在任务结束时始终清理Buildx缓存
2026-06-01 20:39:10 +08:00
admin 52e980ba2e feat: 添加SQLite监控表自动初始化功能
1. 新增ensure_sqlite_monitor_tables函数检查并创建SQLite监控表
2. 在lifespan启动流程中加入SQLite表检查步骤
3. 重构监控表初始化脚本,支持本地执行模式
4. 优化模型差异检测,支持SQL脚本自动建表
2026-06-01 16:47:35 +08:00
admin f7e79269f5 ci(build): add aliyun mirror switch and fix redis command
1. 为Dockerfile添加USE_ALIYUN_MIRROR构建参数,支持切换使用阿里云镜像源
2. 移除docker-compose.yml中redis的动态密码参数配置
3. 在CI工作流中默认关闭阿里云镜像源
2026-06-01 12:39:35 +08:00
DevBox 7c627f6cc6 ci(github workflow): add multi-arch image tag handling for releases
新增在发布标签时自动为多架构镜像创建amd64和arm64专属架构标签的流程,同时优化构建完成后的输出信息,展示专属架构标签详情
2026-05-31 12:04:14 +00:00
DevBox 57dcda0232 ci(github workflow): 简化CI仓库判断逻辑
移除冗余的CI环境变量配置,直接硬编码目标仓库地址,减少配置项复杂度
2026-05-31 11:52:45 +00:00
DevBox 0c1ed0d1b1 ci(github workflow): 修复ci配置中环境变量引用格式
将硬编码的env.CI_TARGET_REPO改为正确的${{ env.CI_TARGET_REPO }}格式,确保工作流条件判断能正确识别目标仓库
2026-05-31 11:48:38 +00:00
DevBox b0381e133c ci(github actions): 硬编码CI的postgres和redis配置
移除环境变量依赖,直接使用固定版本postgres15、redis7以及固定的数据库密码、库名和端口号,简化CI服务配置
2026-05-31 11:47:27 +00:00
DevBox c694cbf288 ci: 优化GitHub Actions CI配置
1. 新增统一环境变量集中管理CI配置项
2. 为多数CI作业添加仓库执行权限校验
3. 统一替换硬编码的服务版本与端口配置
4. 调整构建交付物的执行条件与报告保留规则
2026-05-31 11:42:15 +00:00
DevBox a60dd3ce37 ci(github workflows): 允许手动触发构建交付物工作流
新增workflow_dispatch事件触发条件,让该job可以手动运行
2026-05-31 10:52:24 +00:00
chaoge 3d91b4c6af chore: 调整健康检查端口和SQL注释验证内容
1. 更新docker-compose健康检查使用环境变量PORT
2. 优化SQL迁移脚本的注释和验证查询语句
2026-05-28 20:57:35 +08:00
chaoge 49b4046fd4 chore: 删除老旧的 migrate 迁移工具脚本
移除了整个 scripts/migrate 目录下的所有迁移相关脚本文件,包括README、多平台启动脚本、各功能迁移脚本等,不再维护这套手动迁移方案。
2026-05-28 20:20:44 +08:00
chaoge c1075bc9ab feat(migrate): add staging and monitor module database setup scripts
新增了两套数据库一键建表脚本:
1. PostgreSQL缓冲表建表脚本,用于APS数据清洗缓冲表初始化
2. SQLite监控模块建表脚本,用于API监控数据记录表初始化
同时附带了对应的SQL建表语句文件
2026-05-28 16:17:34 +08:00
chaoge 100218abe4 feat(deploy): add Uptime Kuma monitor auto-config script and update docker config
1. 为Uptime Kuma和Portainer添加环境变量监听端口配置
2. 新增setup_kuma_monitors.sh一键监控配置脚本
3. 更新部署文档,添加监控脚本使用说明
2026-05-28 12:09:31 +08:00
DevBox 410ea5fe2a ci(github-actions): add multi-arch build support and update deploy docs
1. add linux/amd64 and linux/arm64 platforms for docker build
2. update DEPLOY.md to add supported architectures info
3. refine document formatting and add architecture description section
2026-05-27 12:54:38 +00:00
DevBox 750e8853f1 feat: 多项优化和修复
1. 修复数据库完整性错误:staging_routers.py 添加 _retry_count 字段默认值 0

2. 时区配置规范化:.env 和 settings.py 使用 IANA 格式(Asia/Shanghai),保持向后兼容

3. Docker 部署优化:
   - Portainer 禁用 Edge 功能,释放 8000 端口
   - Uptime Kuma 和 Portainer 设为默认启动服务

4. 新增部署模板:创建 scripts/deploy_docker/mount 目录结构
2026-05-27 01:39:44 +00:00
chaoge 48867846cd refactor(docker-compose): 重构docker部署配置,切换为host网络模式
1. 移除自定义bridge网络,统一使用host网络模式
2. 优化docker-compose.yml配置,支持从Docker Hub拉取镜像或本地构建
3. 新增基于PROJECT_DIR环境变量的自动目录挂载机制
4. 大幅更新部署文档,补充多种部署方式、配置说明和故障排查指南
5. 调整环境变量覆盖逻辑,适配host网络模式下的本地服务访问
2026-05-27 00:50:29 +08:00
chaoge 2c9ac38c3e fix:ci.yml 2026-05-26 22:47:14 +08:00
chaoge 64b62a29f3 fix:Dockerfile 2026-05-26 22:35:31 +08:00
chaoge 36363b01d4 fix:yml 2026-05-26 21:45:32 +08:00
chaoge 3a250202dc 配置github actions 2026-05-26 21:38:00 +08:00
chaoge 50d6af9a9a fix: 移除不正确的gitignore 2026-05-26 15:37:10 +08:00
chaoge c0b0707c24 fix(monitor logs): 修复历史日志筛选逻辑并完善重置功能
将筛选条件绑定从queryType改为当前活动标签页,确保选中全部数据时也能应用当前页签的筛选规则,同时补充了发送请求页签的过滤条件重置逻辑
2026-05-26 15:07:25 +08:00
chaoge 6d512f0a59 feat: 添加数据库迁移功能并新增worker字段
1. 新增数据库结构迁移的后端API与前端UI交互功能
2. 为机台模具关联模型新增worker人员字段
3. 优化建表脚本为可重入的增量更新模式
4. 移除旧的业务规则校验函数
2026-05-26 14:48:12 +08:00
chaoge f0a036d3c6 fix(monitor): 修复SQLite数据库查询适配问题
1. 替换占位符从$1风格为SQLite兼容的?格式
2. 使用动态生成的占位符数量适配模块筛选条件
3. 增加对SQLite查询结果格式的兼容处理
4. 新增SQLITE_FILE配置项用于获取数据库连接
2026-05-26 12:07:29 +08:00
chaoge 4f968d135c chore(security): 排除敏感配置文件从Docker镜像构建 2026-05-26 11:19:36 +08:00
chaoge 30fb58915d fix: 从备份恢复 reminder.py 文件
历史已清除敏感信息,恢复干净版本
2026-05-26 11:14:47 +08:00
chaoge 1d7481367c chore(security): 移除敏感配置文件从git跟踪
- 将 project_files/**/dev.json 加入 .gitignore
- 从git历史中移除已提交的敏感配置文件
- 本地保留这些文件供开发使用
2026-05-26 11:07:26 +08:00
chaoge fa5cecd6d1 fix(security,stability): 完成API安全与稳定性修复
- 安全: 修复鉴权失败返回码(HTTP 401/403替代200)
- 安全: 新增SafeQueryBuilder封堵SQL注入入口
- 安全: 移除Pydantic json_encoders弃用配置
- 稳定: 统一后台任务托管与生命周期管理
- 稳定: 新增TaskManager统一管理后台任务
- 文档: 更新README.md与.env.example
- 重构: routers.py使用安全SQL构建器替代字符串拼接
2026-05-25 20:08:35 +08:00
chaoge f7acae8dee fix(security,config): 移除默认高权限密码,统一数据库配置逻辑
- 删除core/settings.py中的默认高权限配置项
- 重构binlog监听工具的凭据获取逻辑,不再硬编码root账号与默认密码
- 重写项目README文档,更新配置说明与启动流程
- 新增API安全与稳定性修复计划文档,梳理后续优化方向
2026-05-25 14:24:44 +08:00
chaoge dc20d4a730 chore(client): 临时修改倒冲料判断逻辑并注释批量推送函数
将倒冲料仓库赋值的判断条件从检查free1字段改为恒真,临时注释batch_handle_pl_to_mo函数以禁用该批量推送逻辑
2026-05-25 13:26:01 +08:00
chaoge d6e4a6a089 优化语言补丁的命名空间,优化历史日志的查询性能 2026-05-24 21:29:34 +08:00
chaoge ab2641876d mds多语言,前端 2026-05-24 16:51:16 +08:00
chaoge 028e7cbc63 fix:SQL script 2026-05-24 16:18:44 +08:00
chaoge 2c613d5531 fix海达 2026-05-24 13:41:42 +08:00
chaoge 1deacd0704 feat(scripts): 优化服务状态显示信息
Redis显示增强:
- Docker容器: 显示镜像、端口
- 宿主机服务: 显示PID、监听地址、版本、内存、连接数

PostgreSQL显示增强:
- Docker容器: 显示镜像、端口
- 宿主机服务: 显示版本、数据目录、配置文件路径、连接状态

格式优化:
- 统一缩进和对齐
- 区分Docker和宿主机运行方式
- 显示关键运行参数
2026-05-24 08:12:32 +08:00
chaoge 5ab467830b fix(scripts): 支持检测Docker容器中的Redis/PostgreSQL服务
问题:
- 原脚本只检查宿主机命令是否存在
- 无法识别Docker容器中运行的服务
- 导致提示"未安装redis-server"

修复:
- check_redis/check_postgresql增加多种检测方式:
  1. Docker容器检测
  2. 进程检测
  3. 端口检测
- start_redis/start_postgresql优先尝试Docker方式
- status命令显示运行方式(容器名/镜像/端口)
- 错误提示增加Docker启动命令建议
2026-05-24 08:08:04 +08:00
chaoge c48ddb11c0 fix(monitor): 添加后端告警消息翻译映射
- 在updateAlertsDisplay中添加translateAlertMessage函数
- 将后端返回的中文告警消息映射到i18n翻译键
- 新增8个告警消息翻译(中/英/德三语)
- 支持降级显示原始消息
2026-05-24 07:58:05 +08:00
chaoge 441966a9c6 feat(monitor): 添加国际化支持(中文/英文/德语)
- 新增i18n框架和3个语言包(405个翻译条目/语言)
- 修改监控模块3个HTML页面和JS添加国际化支持
- 支持浏览器语言自动检测、localStorage持久化、热切换
- 修复定时任务显示模板字符串语法错误

影响范围:
- static/lib/i18n/: 新增i18n框架和语言包
- static/monitor/: 监控模块全面国际化
- 11 files changed, +2481/-502 lines
2026-05-23 22:48:56 +08:00
chaoge bc4d2f9475 fix:监控用表增加索引迁移脚本 2026-05-23 18:32:25 +08:00
chaoge 001e94f03f fix:转发清洗模式时使用原始数据 2026-05-23 16:10:10 +08:00
chaoge b347c6af57 feat: 日志历史查询页面重构优化
- 页面布局重构:header集成查询控件,分页移至tabs右侧
- 样式美化:全局等宽字体、Bootstrap图标、组件阴影动画
- 级别过滤改为≥逻辑,关键词支持多字段(路径/URL/请求体/响应体)
- 时间范围可选(支持查询全部数据)
- 统计数据改为后端计算(总数+级别分布)
- 高级筛选分解到各页签,边界隔离修复
- 表头冻结、列表自适应高度
- 新增日志查询索引迁移脚本
2026-05-23 15:39:53 +08:00
chaoge 1fd62929af fix超越 2026-05-22 22:04:31 +08:00
chaoge 7108454c59 缓冲表drop逻辑 2026-05-22 22:03:55 +08:00
chaoge dc8e347e0d 优化removing逻辑 2026-05-22 18:37:43 +08:00
chaoge 7b11d33357 feat(mds): 禁止编辑removing状态数据
单条编辑:
- 后端检查状态,removing状态返回禁止错误
- 前端显示警告提示+所有字段只读+隐藏保存按钮

批量编辑:
- 后端查询并分离removing状态的记录
- 只更新非removing状态的记录
- 返回跳过数量和跳过的ID列表
- 前端显示跳过提示

修改文件:
- apps/data_opt/mds/staging_routers.py
- static/mds/js/mds-page-controller.js
2026-05-22 14:39:08 +08:00
chaoge d39287b7ee feat(mds): 实现removing状态数据在推送时删除正式表对应记录
核心逻辑:
- removing状态数据能且仅能在推送时删除,禁止自动清理
- 增量推送:根据business_keys删除正式表+缓冲表记录
- 刷新推送:正式表已TRUNCATE,只删除缓冲表记录

修改内容:
1. staging_cleaner.py
   - sync_to_production新增处理removing状态数据逻辑
   - 根据推送模式区分删除策略
   - 增量模式:按business_keys构建WHERE条件删除正式表记录
   - 刷新模式:直接删除缓冲表记录(正式表已TRUNCATE)

2. staging_routers.py
   - 同步路由返回统计新增removed字段
   - 更新返回消息显示删除数量

数据一致性保证:
- 缓冲表removing记录 → 推送时 → 正式表对应记录一并删除
- 确保缓冲表和正式表数据状态一致
2026-05-22 14:23:27 +08:00
chaoge ad03e904d0 fix(mds): 修复数据去重bug并添加手动删除权限控制
数据去重Bug修复:
- 修复复合主键查询错误(只使用第一个主键字段)
- 修复existing_map只保留最后一条记录的问题
- 修复内部重复数据未检查数据库已存在记录的问题
- 删除staging_routers.py中重复调用apply_dedup_strategy的代码

手动删除权限控制:
- 新增ManualRemoveMode枚举(never/now/next)
- 根据MDS_MANUAL_REMOVE环境变量控制删除行为
- never: 禁止手动删除,隐藏删除按钮
- now: 立即删除
- next: 标记为removing状态,下次推送时删除
- 清理历史数据接口也受权限控制
- 前端通过模板注入获取配置,无需API请求

修改文件:
- apps/data_opt/mds/utils/duplicate_checker.py
- apps/data_opt/mds/staging_routers.py
- apps/data_opt/mds/_base.py
- core/routes_register.py
- static/mds/js/data-table.js
- static/mds/js/mds-page-controller.js
- static/mds/pages/template.html
2026-05-22 13:58:05 +08:00
chaoge 78269d8d74 新增: binlog监听器高可用增强模块
实现功能:
- Prometheus指标暴露(/metrics端点)
- 背压控制(主动限流机制)
- 事件去重(Redis+文件降级)
- 配置热更新(审计日志)
- 主备故障转移(心跳检测)
- 分布式锁安全降级
- 连接池监控(泄漏检测)
- 重试策略优化(指数退避)

新增接口:
- GET /metrics, /health, /binlog/status
- GET /binlog/backpressure/status
- POST /binlog/config/update, GET /binlog/config/audit
- GET /binlog/dedup/stats
- GET /binlog/failover/status

测试覆盖:
- 单元测试71个,全部通过
- 压测验证:吞吐量499事件/秒,达标率99.91%
2026-05-22 07:08:49 +08:00
chaoge bf42299ead 重构: 迁移至统一日志系统
- 新增 globalobjects/logger/ 模块化日志系统
- 支持异步写入、多目标输出、敏感信息脱敏
- 完全向后兼容原有logger API
- 备份旧版本为 logger_v1_backup.py 和 logger_v2_backup.py
- 更新 .env.example 和 AGENTS.md 文档
2026-05-22 00:23:30 +08:00