> ## Documentation Index
> Fetch the complete documentation index at: https://lifters.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

# Monitoramento do Backfill

> Acompanhe o progresso do backfill via consultas à tabela atlas.backfill_log.

# Monitoramento do Backfill

Toda execução de backfill é registrada na tabela `atlas.backfill_log` (ReplacingMergeTree). O time Atlas compartilha visão de progresso com você durante a janela de ingestão.

## Estados possíveis

| Status      | Significado                                       |
| ----------- | ------------------------------------------------- |
| `running`   | INSERT FROM S3 em andamento                       |
| `completed` | Dia carregado com sucesso; `rows_loaded` populado |
| `failed`    | Erro durante INSERT; `error_message` populado     |

## Consultas comuns

<Note>
  Sempre consulte com `FINAL` para deduplicar o log (ReplacingMergeTree por `updated_at`).
</Note>

### Progresso geral por domínio

```sql theme={null}
SELECT
    organization_id,
    brand_id,
    domain,
    countIf(status = 'completed') AS days_done,
    countIf(status = 'failed')    AS days_failed,
    sumIf(rows_loaded, status = 'completed') AS total_rows,
    min(partition_date) AS first_day,
    max(partition_date) AS last_day,
    max(updated_at) AS last_activity
FROM atlas.backfill_log FINAL
WHERE organization_id = 'seu_org_id'
GROUP BY organization_id, brand_id, domain
ORDER BY domain;
```

### Dias processados em uma janela

```sql theme={null}
SELECT partition_date, status, rows_loaded, updated_at
FROM atlas.backfill_log FINAL
WHERE organization_id = 'seu_org_id'
  AND brand_id        = 'seu_brand_id'
  AND domain          = 'user'
ORDER BY partition_date;
```

### Buracos (dias faltantes) nos últimos 180 dias

```sql theme={null}
WITH
    arrayJoin(arrayMap(i -> toDate(today() - 180 + i), range(180))) AS expected_day
SELECT expected_day
FROM (SELECT expected_day)
WHERE expected_day NOT IN (
    SELECT partition_date
    FROM atlas.backfill_log FINAL
    WHERE organization_id = 'seu_org_id'
      AND brand_id        = 'seu_brand_id'
      AND domain          = 'user'
      AND status          = 'completed'
)
ORDER BY expected_day;
```

### Falhas pendentes

```sql theme={null}
SELECT domain, partition_date, error_message, s3_path, updated_at
FROM atlas.backfill_log FINAL
WHERE organization_id = 'seu_org_id'
  AND status          = 'failed'
ORDER BY partition_date;
```

## Cadência recomendada

<Tip>
  Backfill é executado do **mais recente para o mais antigo**. 1 dia por vez no início; após validar 3–5 dias, até 3 INSERTs simultâneos. Nunca mais de 4 em paralelo (compete com ClickPipes real-time).
</Tip>

## Acesso

Se você ainda não tem acesso ao ClickHouse Cloud, entre em contato com o time Atlas pelo canal de suporte habitual para receber um relatório periódico de progresso.