Iceberg

Permite a configuração de uma tabela Apache Iceberg para leitura de dados via consultas SQL.

Parâmetros

Parâmetros aceitos para esse tipo de entrada:

Campo	Descrição	Valor
iceberg.catalog	Configuração do catálogo Iceberg	Tipo: object Obrigatório
iceberg.catalog.name	Nome do catálogo	Tipo: string Obrigatório
iceberg.catalog.type	Tipo do catálogo	Tipo: enum[rest] Valor padrão: rest
iceberg.catalog.uri	URI de conexão com o catálogo REST	Tipo: string Obrigatório
iceberg.catalog.warehouse	Caminho do warehouse (ex: gs://bucket/warehouse)	Tipo: string Obrigatório
iceberg.catalog.storage	Configuração de armazenamento	Tipo: object Obrigatório
iceberg.catalog.storage.type	Tipo de armazenamento	Tipo: enum[gcs] Valor padrão: gcs
iceberg.catalog.storage.gcs	Configuração de credenciais GCS	Tipo: object Obrigatório se storage.type = gcs
iceberg.catalog.storage.gcs.credential	Credenciais de acesso ao GCS	Tipo: object Obrigatório
iceberg.catalog.storage.gcs.credential.type	O tipo de conta	Tipo: string Valor padrão: service_account
iceberg.catalog.storage.gcs.credential.project_id	O ID do seu projeto no Google Cloud	Tipo: string Obrigatório
iceberg.catalog.storage.gcs.credential.private_key_id	O ID da sua chave privada	Tipo: string Obrigatório
iceberg.catalog.storage.gcs.credential.private_key	A sua chave privada	Tipo: string Obrigatório
iceberg.catalog.storage.gcs.credential.client_email	O endereço de email da sua conta de serviço	Tipo: string Obrigatório
iceberg.catalog.storage.gcs.credential.client_id	O ID da sua conta de serviço	Tipo: string Obrigatório
iceberg.catalog.storage.gcs.credential.auth_uri	O URI para autorização OAuth2	Tipo: string Valor padrão: https://accounts.google.com/o/oauth2/auth
iceberg.catalog.storage.gcs.credential.token_uri	O URI que fornece os tokens OAuth2	Tipo: string Valor padrão: https://oauth2.googleapis.com/token
iceberg.catalog.storage.gcs.credential.auth_provider_x509_cert_url	O URL do certificado X.509 do provedor de autenticação	Tipo: string Valor padrão: https://www.googleapis.com/oauth2/v1/certs
iceberg.catalog.storage.gcs.credential.client_x509_cert_url	O URL do certificado X.509 da conta de serviço	Tipo: string Obrigatório
iceberg.tables	Lista de tabelas a serem consultadas (formato: namespace.tabela)	Tipo: []string Obrigatório
iceberg.query	Consulta SQL a ser executada nas tabelas	Tipo: string Obrigatório
iceberg.scheduler	Informações do agendador	Tipo: object Obrigatório
iceberg.scheduler.cron	Expressão cron com tempo das execuções	Tipo: string Obrigatório se o campo seconds não for informado
iceberg.scheduler.seconds	Tempo em segundos entre as execuções (mínimo: 30)	Tipo: int Obrigatório se o campo cron não for informado
iceberg.scheduler.max_executions	Número máximo de execuções (0 = ilimitado)	Tipo: int Opcional

Requisição

curl --location '<HOST>/v1/configs' \
--header 'Content-Type: application/json' \
--header 'Authorization: <ACCESS-TOKEN>' \
--data '{
    "input": {
        "type": "ICEBERG",
        "iceberg": {
            "catalog": {
                "name": "my_catalog",
                "type": "rest",
                "uri": "https://iceberg-catalog.example.com",
                "warehouse": "gs://my-bucket/warehouse",
                "storage": {
                    "type": "gcs",
                    "gcs": {
                        "credential": {
                            "type": "service_account",
                            "project_id": "PROJECT_ID",
                            "private_key_id": "PRIVATE_KEY_ID",
                            "private_key": "PRIVATE_KEY",
                            "client_email": "CLIENT_EMAIL",
                            "client_id": "CLIENT_ID",
                            "auth_uri": "https://accounts.google.com/o/oauth2/auth",
                            "token_uri": "https://oauth2.googleapis.com/token",
                            "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
                            "client_x509_cert_url": "CLIENT_X509_CERT_URL"
                        }
                    }
                }
            },
            "tables": [
                "db.logs",
                "db.users"
            ],
            "query": "SELECT l.*, u.name FROM db.logs l JOIN db.users u ON l.user_id = u.id WHERE l.created_at > NOW() - INTERVAL 1 DAY",
            "scheduler": {
                "seconds": 3600
            }
        }
    },
    "output": {...}
}'

Resposta

A resposta desse endpoint será no seguinte formato:

{
  "id": "FIREHOSE-ID",
  "input": {
    "type": "ICEBERG",
    "iceberg": {
      "catalog": {
        "name": "my_catalog",
        "type": "rest",
        "uri": "https://iceberg-catalog.example.com",
        "warehouse": "gs://my-bucket/warehouse",
        "storage": {
          "type": "gcs",
          "gcs": {
            "credential": {
              "type": "service_account",
              "project_id": "PROJECT_ID",
              "private_key_id": "*",
              "private_key": "*",
              "client_email": "*",
              "client_id": "*",
              "auth_uri": "https://accounts.google.com/o/oauth2/auth",
              "token_uri": "https://oauth2.googleapis.com/token",
              "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
              "client_x509_cert_url": "*"
            }
          }
        }
      },
      "tables": ["db.logs", "db.users"],
      "query": "SELECT l.*, u.name FROM db.logs l JOIN db.users u ON l.user_id = u.id WHERE l.created_at > NOW() - INTERVAL 1 DAY",
      "scheduler": {
        "seconds": 3600
      }
    }
  }
}

A consulta SQL no campo query deve referenciar as tabelas exatamente como listadas no campo tables. Durante a execução, as referências às tabelas serão substituídas automaticamente pelos caminhos dos metadados Iceberg.

As credenciais GCS são usadas tanto para autenticação no catálogo REST quanto para acesso aos dados armazenados no Google Cloud Storage.