Monitoramento do Backfill

Acompanhe o progresso do backfill via consultas à tabela atlas.backfill_log.

Monitoramento do Backfill

Toda execução de backfill é registrada na tabela atlas.backfill_log (ReplacingMergeTree). O time Atlas compartilha visão de progresso com você durante a janela de ingestão.

Estados possíveis

Status	Significado
running	INSERT FROM S3 em andamento
completed	Dia carregado com sucesso; rows_loaded populado
failed	Erro durante INSERT; error_message populado

Consultas comuns

Sempre consulte com FINAL para deduplicar o log (ReplacingMergeTree por updated_at).

Progresso geral por domínio

SELECT
    organization_id,
    brand_id,
    domain,
    countIf(status = 'completed') AS days_done,
    countIf(status = 'failed')    AS days_failed,
    sumIf(rows_loaded, status = 'completed') AS total_rows,
    min(partition_date) AS first_day,
    max(partition_date) AS last_day,
    max(updated_at) AS last_activity
FROM atlas.backfill_log FINAL
WHERE organization_id = 'seu_org_id'
GROUP BY organization_id, brand_id, domain
ORDER BY domain;

Dias processados em uma janela

SELECT partition_date, status, rows_loaded, updated_at
FROM atlas.backfill_log FINAL
WHERE organization_id = 'seu_org_id'
  AND brand_id        = 'seu_brand_id'
  AND domain          = 'user'
ORDER BY partition_date;

Buracos (dias faltantes) nos últimos 180 dias

WITH
    arrayJoin(arrayMap(i -> toDate(today() - 180 + i), range(180))) AS expected_day
SELECT expected_day
FROM (SELECT expected_day)
WHERE expected_day NOT IN (
    SELECT partition_date
    FROM atlas.backfill_log FINAL
    WHERE organization_id = 'seu_org_id'
      AND brand_id        = 'seu_brand_id'
      AND domain          = 'user'
      AND status          = 'completed'
)
ORDER BY expected_day;

Falhas pendentes

SELECT domain, partition_date, error_message, s3_path, updated_at
FROM atlas.backfill_log FINAL
WHERE organization_id = 'seu_org_id'
  AND status          = 'failed'
ORDER BY partition_date;

Cadência recomendada

Backfill é executado do mais recente para o mais antigo. 1 dia por vez no início; após validar 3–5 dias, até 3 INSERTs simultâneos. Nunca mais de 4 em paralelo (compete com ClickPipes real-time).

Acesso

Se você ainda não tem acesso ao ClickHouse Cloud, entre em contato com o time Atlas pelo canal de suporte habitual para receber um relatório periódico de progresso.