Delta Lake
Permite a configuração de uma tabela Delta Lake para receber mensagens. Caso a tabela não exista, ela será criada na primeira escrita.
Parâmetros
Parâmetros aceitos para esse tipo de sindicância de destino:
deltalake.azure_blob_storage
Credenciais de acesso ao Azure Blob Storage
Tipo: object Obrigatório
deltalake.azure_blob_storage.storage_account
Nome da conta do storage
Tipo: string Obrigatório
deltalake.azure_blob_storage.storage_access_key
Chave de acesso ao storage
Tipo: string Obrigatório
deltalake.azure_blob_storage.root_path
Caminho raiz do storage
Tipo: string Obrigatório
deltalake.table_name
Nome da tabela Delta Lake
Tipo: string Obrigatório
deltalake.timeout
Tempo limite para operações
Tipo: string
Valor padrão: 5s
deltalake.batching
Configuração de batching
Tipo: object Opcional
deltalake.batching.count
Número máximo de mensagens por lote
Tipo: int Opcional
deltalake.batching.period
Período máximo de tempo para envio de lote
Tipo: string Opcional
Requisição
curl --location '<HOST>/v1/configs' \
--header 'Content-Type: application/json' \
--header 'Authorization: <ACCESS-TOKEN>' \
--data '{
"output": {
"type": "DELTALAKE",
"deltalake": {
"azure_blob_storage": {
"storage_account": "<STORAGE_ACCOUNT>",
"storage_access_key": "<STORAGE_ACCESS_KEY>",
"root_path": "<ROOT_PATH_IN_AZURE>"
},
"table_name": "<TABLE_NAME>",
"timeout": "1s",
"batching": {
"count": 1000,
"period": "5s"
}
}
}
}'
Resposta
A resposta desse endpoint será no seguinte formato:
{
"id": "FIREHOSE-ID",
"output": {
"type": "DELTALAKE",
"deltalake": {
"azure_blob_storage": {
"storage_account": "*",
"storage_access_key": "*",
"root_path": "*"
},
"table_name": "<TABLE_NAME>",
"timeout": "5s",
"batching": {
"count": 1000,
"period": "5s"
}
}
}
}
Limitações
A única escrita na tabela Delta Lake é por APPEND. Ainda não há validação de esquema nas mensagens, portanto, uma mensagem com um novo campo irá criar uma nova coluna na tabela.
Last updated