Жизненный цикл MySQL ClickPipe
В этом документе описаны различные этапы жизненного цикла MySQL ClickPipe, возможные статусы и их значения. Обратите внимание, что это также применимо к MariaDB.
Подготовка ресурсов
Когда вы нажимаете кнопку Create ClickPipe, ClickPipe создаётся со статусом Provisioning. На этапе подготовки ресурсов мы поднимаем необходимую инфраструктуру для запуска ClickPipes для данного сервиса, а также регистрируем первичные метаданные для этого ClickPipe. Поскольку вычислительные ресурсы для ClickPipes внутри сервиса являются общими, ваш второй ClickPipe будет создан гораздо быстрее первого — так как инфраструктура уже развернута.
Настройка
После того как pipe создан, он переходит в состояние Setup. В этом состоянии создаются целевые таблицы ClickHouse. Здесь же мы получаем и сохраняем определения ваших исходных таблиц.
Снимок
После завершения настройки pipe переходит в состояние Snapshot (если это не pipe только для CDC, который сразу перейдёт в Running). Snapshot, Initial Snapshot и более распространённый термин Initial Load являются взаимозаменяемыми. В этом состоянии мы создаём снимок исходных таблиц MySQL и загружаем их в ClickHouse. Параметр сохранения бинарных логов должен учитывать время начальной загрузки. Для получения дополнительной информации о начальной загрузке см. документацию по параллельной начальной загрузке. Pipe также перейдёт в состояние Snapshot, когда будет запущен resync или когда в существующий pipe добавляются новые таблицы.
Выполняется
После завершения начальной загрузки конвейер переходит в состояние Running (если это не конвейер только для снимка, который переходит в состояние Completed). На этом этапе конвейер начинает CDC (фиксацию изменений данных). В этом состоянии мы начинаем читать бинарные журналы исходной базы данных и пакетами синхронизировать данные с ClickHouse. Информацию об управлении CDC (фиксацией изменений данных) см. в разделе документация по управлению CDC.
Приостановлено
После того как конвейер перешёл в состояние Running, вы можете приостановить его. Это остановит процесс CDC (фиксация изменений данных), и конвейер перейдёт в состояние Paused. В этом состоянии новые данные не извлекаются из исходной базы данных, но уже имеющиеся данные в ClickHouse остаются нетронутыми. Из этого состояния вы можете возобновить работу конвейера.
Приостановка
Это состояние появится в ближайшее время. Если вы используете наш OpenAPI, рекомендуем уже сейчас добавить его поддержку, чтобы ваша интеграция продолжила корректно работать после появления этой функциональности.
Когда вы нажимаете кнопку Pause, пайп переходит в состояние Pausing. Это переходное состояние, в котором идёт остановка процесса CDC. Как только процесс CDC будет полностью остановлен, пайп перейдёт в состояние Paused.
Изменение
Это состояние появится в ближайшее время. Если вы используете наш OpenAPI, рекомендуется добавить его поддержку уже сейчас, чтобы ваша интеграция продолжила корректно работать после его выпуска.
На данный момент это состояние означает, что конвейер выполняет удаление таблиц.
Повторная синхронизация
Это состояние появится в ближайшее время. Если вы используете наш OpenAPI, рассмотрите возможность добавить поддержку этого состояния уже сейчас, чтобы ваша интеграция продолжала работать после его появления.
Это состояние указывает, что pipe находится на этапе повторной синхронизации, в рамках которого выполняется атомарная подмена таблиц _resync исходными таблицами. Дополнительную информацию о повторной синхронизации см. в документации по resync.
Завершён
Это состояние применяется к конвейерам, выполняющим только снимок, и означает, что создание снимка завершено и дополнительная работа не требуется.
Состояние Failed
Если в конвейере возникает неустранимая ошибка, он переходит в состояние Failed. Вы можете обратиться в службу поддержки или повторно синхронизировать конвейер, чтобы восстановиться из этого состояния.
