Senior

/* Er zijn twee PostgreSQL-servers: * PROD - OLTP-server, * STATS - server voor lange analytische queries. Op de huidige server, in de database prod, is er een grote tabel (10Tb) met de volgende structuur: CREATE TABLE profiles( id SERIAL, data JSONB ) In de tabel kunnen "gaten" zijn, dat wil zeggen dat sommige `id` kunnen ontbreken. Het is nodig om een programma te schrijven om de tabel profiles van PROD naar STATS te kopiëren. We gaan ervan uit dat de volgende interfaces worden gebruikt voor het werken met databases: type Row []interface{} type Database interface { // de implementatie van de Database-interface kan verbindingen opnieuw opzetten // de aanroep van SaveRows is idempotent io.Closer GetMaxID(ctx context.Context) (uint64, error) LoadRows(ctx context.Context, minID, maxID uint64) ([]Row, error) // [minID, maxID] SaveRows(ctx context.Context, rows []Row) error } func Connect(ctx context.Context, dbname string) (Database, error) // CopyTable // Als full=false, de gegevensoverdracht voortzetten vanaf de plek van de vorige fout // Als full=true, alle gegevens overzetten func CopyTable(fromName string, toName string, full bool) error { // ... jouw code } Als de optie `full=false` wordt doorgegeven, moet het programma de gegevensoverdracht voortzetten vanaf de plek van de vorige fout. Als `full=true`, moet het alle gegevens overzetten. Basisniveau: - sequentiële gegevensoverdracht in één stroom - herstel na fouten (optie `full=false`) Aanvullende informatie: - indien nodig, kun je de interface uitbreiden door je eigen methoden toe te voegen - indien nodig, kun je direct het pakket database/sql gebruiken

sobes.tech AI

Antwoord van AI

Для решения задачи копирования большой таблицы profiles с сервера PROD на STATS с возможностью продолжения после сбоев и опцией полного копирования, можно реализовать следующий подход:

Определить последний успешно скопированный ID на сервере STATS. Для этого можно добавить в интерфейс Database метод, например, GetMaxCopiedID(ctx context.Context) (uint64, error), который вернёт максимальный id, уже скопированный в таблицу на сервере STATS.
При запуске функции CopyTable:
- Если full=true, то начинаем копирование с id=1 (или минимального id в таблице PROD).
- Если full=false, то запрашиваем последний скопированный id на STATS и начинаем копирование с id = lastCopiedID + 1.
Для копирования данных используем батчи по диапазонам id, например, по 1000 записей за раз. В цикле:
- Получаем максимальный id в таблице PROD через GetMaxID.
- Загружаем строки из PROD с id в диапазоне [startID, startID+batchSize-1] через LoadRows.
- Сохраняем их на STATS через SaveRows.
- Обновляем startID = startID + batchSize.
Если во время копирования происходит сбой, при следующем запуске с full=false процесс возобновится с последнего успешно сохранённого id.

Пример расширения интерфейса и реализации CopyTable:

// Расширение интерфейса Database для получения максимального скопированного id
func (db Database) GetMaxCopiedID(ctx context.Context) (uint64, error) {
    // Реализация зависит от структуры таблицы на STATS
    // Например, SELECT MAX(id) FROM profiles
}

func CopyTable(fromName string, toName string, full bool) error {
    ctx := context.Background()
    fromDB, err := Connect(ctx, fromName)
    if err != nil {
        return err
    }
    defer fromDB.Close()

    toDB, err := Connect(ctx, toName)
    if err != nil {
        return err
    }
    defer toDB.Close()

    var startID uint64 = 1
    if !full {
        startID, err = toDB.GetMaxCopiedID(ctx)
        if err != nil {
            return err
        }
        startID++
    }

    maxID, err := fromDB.GetMaxID(ctx)
    if err != nil {
        return err
    }

    batchSize := uint64(1000)

    for currentID := startID; currentID <= maxID; currentID += batchSize {
        endID := currentID + batchSize - 1
        if endID > maxID {
            endID = maxID
        }

        rows, err := fromDB.LoadRows(ctx, currentID, endID)
        if err != nil {
            return err
        }

        if len(rows) == 0 {
            continue
        }

        err = toDB.SaveRows(ctx, rows)
        if err != nil {
            return err
        }
    }

    return nil
}

Таким образом, программа последовательно переливает данные, восстанавливается после сбоев и поддерживает опцию полного копирования.

Vorige Volgende