AWS S3

Permite a configuração de um storage S3 da AWS para receber os arquivos gerados a partir das mensagens trafegadas.

Parâmetros

Parâmetros aceitos para esse tipo de sindicância de destino:

CampoDescriçãoValor

aws_s3.bucket

Nome do bucket

Tipo: string Obrigatório

aws_s3.region

Região do bucket

Tipo: string Obrigatório

aws_s3.credential

Credenciais de acesso ao storage

Tipo: object Obrigatório

aws_s3.credential.id

ID da credencial de acesso ao storage

Tipo: string Obrigatório

aws_s3.credential.secret

Secret de acesso ao storage

Tipo: string Obrigatório

aws_s3.credential.profile

Perfil de acesso ao storage

Tipo: string Valor padrão: -

aws_s3.credential.token

Token de acesso ao storage

Tipo: string Valor padrão: -

aws_s3.credential.role

Permissão de acesso ao storage

Tipo: string Valor padrão: -

aws_s3.credential.role_external_id

ID externo de permissão para acesso ao storage

Tipo: string Valor padrão: -

aws_s3.file

Dados do arquivo a ser gerado

Tipo: object Valor padrão: {}

aws_s3.file.path

Caminho do arquivo gerado

Tipo: string Valor padrão: -

aws_s3.file.extension

Extensão do arquivo gerado

Tipo: enum[csv json] Valor padrão: csv

aws_s3.file.separator

Separador do arquivo gerado - caso necessário

Tipo: string Valor padrão: ;

aws_s3.file.max_size_mb

Tamanho máximo em MB do arquivo gerado

Tipo: int[1-100] Valor padrão: 100

aws_s3.file.period

Períodos de geração/envio dos arquivos para o storage

Tipo: enum[1m 1h 2h 3h 4h 6h 8h 12h 1d] Valor padrão: 1d

aws_s3.file.schema

Esquema de campos do arquivo resultante. A ordem dos campos é respeitada.

Tipo: list Valor padrão: {}

aws_s3.file.schema.name

Nome do campo

Tipo: string Obrigatório

Requisição

curl --location '<HOST>/v1/configs' \
  --header 'Content-Type: application/json' \
  --header 'Authorization: <ACCESS-TOKEN>' \
  --data '{
    "output": {
      "type": "AWS_S3",
      "aws_s3": {
        "bucket": "BUCKET",
        "region": "us-east1",
        "credential": {
          "id": "ID",
          "secret": "SECRET",
          "profile": "PROFILE",
          "token": "TOKEN",
          "role": "ROLE",
          "role_external_id": "ROLE_EXTERNAL_ID"
        },
        "file": {
          "path": "folder/file.csv",
          "extension": "csv",
          "separator": ";",
          "max_size_mb": 100
        }
      }
    }
  }'

Resposta

A resposta desse endpoint será no seguinte formato:

{
  "id": "FIREHOSE-ID",
  "output": {
    "type": "AWS_S3",
    "aws_s3": {
      "bucket": "BUCKET",
      "credential": {
        "id": "ID",
        "secret": "*",
        "profile": "PROFILE",
        "token": "*",
        "role": "ROLE",
        "role_external_id": "ROLE_EXTERNAL_ID"
      },
      "file": {
        "path": "folder/file.csv",
        "extension": "csv",
        "separator": ";",
        "max_size_mb": 100
      }
    }
  }
}

Last updated