重构数据引擎

service/sync/sync_scheduler.go

@@ -0,0 +1,93 @@
+package sync
+
+import (
+	"context"
+	"time"
+
+	dao "dataengine/dao/dict"
+	dto "dataengine/model/dto/dict"
+
+	"gitea.com/red-future/common/beans"
+	"github.com/gogf/gf/v2/frame/g"
+	"github.com/sirupsen/logrus"
+)
+
+// StartAutoSync 启动自动同步（独立 goroutine，启动后自动循环执行）
+func StartAutoSync(ctx context.Context) {
+	interval := GetSyncInterval(ctx)
+	logrus.Infof("自动同步调度器启动，间隔: %d 分钟", interval)
+
+	// 首次执行：根据 sync_tracker 是否有记录自动判断全量/增量
+	// 无记录 → 全量，有记录 → 增量
+	runAutoSync(ctx)
+
+	ticker := time.NewTicker(time.Duration(interval) * time.Minute)
+	defer ticker.Stop()
+
+	for {
+		select {
+		case <-ticker.C:
+			runAutoSync(ctx)
+		case <-ctx.Done():
+			logrus.Info("自动同步调度器已停止")
+			return
+		}
+	}
+}
+
+func runAutoSync(ctx context.Context) {
+	logrus.Info("=== 开始自动同步 ===")
+
+	// 注入用户上下文（ORM 框架需要用于租户隔离）
+	ctx = context.WithValue(ctx, "user", &beans.User{UserName: "admin", TenantId: 1})
+
+	// 查询所有 ACTIVE 平台
+	platforms, _, err := dao.DatasourcePlatform.List(ctx, &dto.ListDatasourcePlatformReq{
+		Status: "ACTIVE",
+	})
+	if err != nil {
+		logrus.Errorf("查询平台列表失败: %v", err)
+		return
+	}
+
+	for _, p := range platforms {
+		// 查询该平台下有 table_definition 的接口
+		interfaces, _, err := dao.ApiInterface.List(ctx, &dto.ListApiInterfaceReq{
+			PlatformId: p.ID,
+			Status:     "active",
+		})
+		if err != nil {
+			logrus.Errorf("查询接口列表失败 [platform=%s]: %v", p.PlatformCode, err)
+			continue
+		}
+
+		for _, iface := range interfaces {
+			if iface.TableDefinition == nil || len(iface.TableDefinition) == 0 {
+				continue
+			}
+
+			logrus.Infof("自动同步: %s / %s", p.PlatformCode, iface.Code)
+			// isFullSync=false 表示去查 sync_tracker：
+			// 有记录 → 增量，无记录 → lastSyncTime=0 → 全量
+			_, err := SyncByConfig(ctx, p.PlatformCode, iface.Code, false)
+			if err != nil {
+				logrus.Errorf("自动同步失败 [%s/%s]: %v", p.PlatformCode, iface.Code, err)
+			}
+		}
+	}
+
+	logrus.Info("=== 自动同步完成 ===")
+}
+
+// InitAndStartAutoSync 在 main 中调用：初始化配置后启动自动同步和补偿
+func InitAndStartAutoSync(ctx context.Context) {
+	// 读取配置中的同步开关
+	enabled := g.Cfg().MustGet(ctx, "sync.auto_sync_enabled", true).Bool()
+	if enabled {
+		go StartAutoSync(ctx)
+	} else {
+		logrus.Info("自动同步已关闭")
+	}
+	// 补偿调度器独立启动，不受 auto_sync_enabled 控制
+	go StartCompensation(ctx)
+}