Delta Lake

Permite a configuração de uma tabela Delta Lake para receber mensagens. Caso a tabela não exista, ela será criada na primeira escrita.

Parâmetros

Parâmetros aceitos para esse tipo de sindicância de destino:

Campo	Descrição	Valor
deltalake.azure_blob_storage	Credenciais de acesso ao Azure Blob Storage	Tipo: object Obrigatório
deltalake.azure_blob_storage.storage_account	Nome da conta do storage	Tipo: string Obrigatório
deltalake.azure_blob_storage.storage_access_key	Chave de acesso ao storage	Tipo: string Obrigatório
deltalake.azure_blob_storage.root_path	Caminho raiz do storage	Tipo: string Obrigatório
deltalake.table_name	Nome da tabela Delta Lake	Tipo: string Obrigatório
deltalake.timeout	Tempo limite para operações	Tipo: string Valor padrão: 5s
deltalake.batching	Configuração de batching	Tipo: object Opcional
deltalake.batching.count	Número máximo de mensagens por lote	Tipo: int Opcional
deltalake.batching.period	Período máximo de tempo para envio de lote	Tipo: string Opcional

Requisição

curl --location '<HOST>/v1/configs' \
  --header 'Content-Type: application/json' \
  --header 'Authorization: <ACCESS-TOKEN>' \
  --data '{
    "output": {
      "type": "DELTALAKE",
      "deltalake": {
        "azure_blob_storage": {
          "storage_account": "<STORAGE_ACCOUNT>",
          "storage_access_key": "<STORAGE_ACCESS_KEY>",
          "root_path": "<ROOT_PATH_IN_AZURE>"
        },
        "table_name": "<TABLE_NAME>",
        "timeout": "1s",
        "batching": {
          "count": 1000,
          "period": "5s"
        }
      }
    }
  }'

Resposta

A resposta desse endpoint será no seguinte formato:

  {
  "id": "FIREHOSE-ID",
  "output": {
    "type": "DELTALAKE",
    "deltalake": {
      "azure_blob_storage": {
        "storage_account": "*",
        "storage_access_key": "*",
        "root_path": "*"
      },
      "table_name": "<TABLE_NAME>",
      "timeout": "5s",
      "batching": {
        "count": 1000,
        "period": "5s"
      }
    }
  }
}

Limitações

A única escrita na tabela Delta Lake é por APPEND. Ainda não há validação de esquema nas mensagens, portanto, uma mensagem com um novo campo irá criar uma nova coluna na tabela.