SFTP

Permite a configuração de um servidor SFTP que receberá os arquivos com o conteúdo das mensagens trafegadas.

Parâmetros

Parâmetros aceitos para esse tipo de sindicância de destino:

Campo
Descrição
Valor

sftp.basic_auth

Autenticação básica do servidor

Tipo: object Valor padrão: {}

sftp.basic_auth.user_id

Identificador de acesso

Tipo: string Valor padrão: -

sftp.basic_auth.password

Senha de acesso

Tipo: string Valor padrão: -

sftp.file

Dados do arquivo a ser gerado

Tipo: object Valor padrão: {}

sftp.file.path

Caminho do arquivo gerado

Tipo: string Valor padrão: -

sftp.file.extension

Extensão do arquivo gerado

Tipo: enum[csv json] Valor padrão: csv

sftp.file.separator

Separador do arquivo gerado - caso necessário

Tipo: string Valor padrão: ;

sftp.file.max_size_mb

Tamanho máximo em MB do arquivo gerado

Tipo: int[1-100] Valor padrão: 100

sftp.file.period

Períodos de geração/envio dos arquivos para o servidor

Tipo: enum[1m 1h 2h 3h 4h 6h 8h 12h 1d] Valor padrão: 1d

sftp.file.schema

Esquema de campos do arquivo resultante. A ordem dos campos é respeitada.

Tipo: list Valor padrão: {}

sftp.file.schema.name

Nome do campo

Tipo: string Obrigatório

Requisição

curl --location '<HOST>/v1/configs' \
--header 'Content-Type: application/json' \
--header 'Authorization: <ACCESS-TOKEN>' \
--data '{
    "output": {
        "target": "localhost:22",
        "type": "SFTP",
        "sftp": {
          "period": "1d",
          "basic_auth": {
            "user_id": "USERNAME",
            "password": "PASSWORD"
          },
          "file": {
            "path": "folder/file.csv",
            "extension": "csv",
            "separator": ";",
            "max_size_mb": 100
          }
        }
    }
}'

Resposta

A resposta desse endpoint será no seguinte formato:

{
  "id": "FIREHOSE-ID",
  "output": {
    "target": "localhost:22",
    "type": "SFTP",
    "sftp": {
      "period": "1d",
      "basic_auth": {
        "user_id": "*",
        "password": "*"
      },
      "file": {
        "path": "folder/file.csv",
        "extension": "csv",
        "separator": ";",
        "max_size_mb": 100
      }
    }
  }
}

Funcionamento

Esse tipo de saída possui um comportamento diferente dependendo do conteúdo da mensagem trafegada.

JSON

Funcionamento quando o conteúdo (Content-Type) das mensagens trafegadas é um json.

Nesse caso as mensagens opcional são enviadas de imediato para o servidor. Ocorre a junção de todas as mensagens trafegadas em um determinado período em um arquivo que é então enviado ao servidor SFTP.

Esse período é configurado diretamente na configuração do Firehose. Atualmente ele suporta os seguintes valores:

Período
Descrição

1m

Gera um arquivo com as mensagens trafegadas na janela de um minuto

1h

Gera um arquivo com as mensagens trafegadas na janela de uma hora

2h

Gera um arquivo com as mensagens trafegadas na janela de duas horas

3h

Gera um arquivo com as mensagens trafegadas na janela de três horas

4h

Gera um arquivo com as mensagens trafegadas na janela de quatro horas

6h

Gera um arquivo com as mensagens trafegadas na janela de seis horas

8h

Gera um arquivo com as mensagens trafegadas na janela de oito horas

12h

Gera um arquivo com as mensagens trafegadas na janela de doze horas

1d

Gera um arquivo com as mensagens trafegadas na janela de 1 dia

Somente arquivos csv são suportados no momento.

Formato

O arquivo resultante possuirá uma coluna para cada campo do json da mensagem. Somente o primeiro nível do json fará parte do cabeçalho, portanto, documentos aninhados farão parte da coluna referente ao campo do primeiro nível do json.

Os campos da primeira mensagem processada para criação do arquivo serão considerados nas colunas, portanto, caso as mensagens trafegadas para um mesmo arquivo opcional contenham os mesmos campos podem haver campos que opcional serão adicionados.

O seguinte documento irá gerar o seguinte arquivo csv:

{
  "field1": "value",
  "field2": {
    "field3": "value3"
  },
  "field4": [
    "value4"
  ]
}

Resultado:

field1,field2,field4
value,map[field3:value3],[value4]

Nome do arquivo

O nome do arquivo resultante depende de como as mensagens entraram no fluxo do Firehose. Em todos os casos o tamanho máximo do arquivo gerado em MB será o informado no campo max_size_mb da configuração file da sindicância de destino, um sufixo com o índice do arquivo será adicionado se necessário.

  • Entrada via Delta Sharing

O nome do arquivo resultante será definido pelo valor informado no campo path da configuração file da sindicância de destino com adição do ID do arquivo parquet recuperado via Delta Sharing e da data da partição recuperada no formato yyyy-MM-dd.

  • Entrada via requisição HTTP

O nome do arquivo resultante será definido pelo valor informado na config file-path da mensagem com adição do sufixo: -yyyy-MM-dd_HH:mm-yyyy-MM-dd_HH:mm com a data inicial e final do período considerado. Por exemplo, suponha que o nome do arquivo informado no file-path tenha sido test.csv e foi gerado um arquivo para o período do dia 01/01/2023, o nome do arquivo no servidor SFTP será test-2023-01-01_00:00-2023-01-02_00:00.csv

Nesse caso para um mesmo período serão gerados N arquivos dependendo de quantos nomes de arquivo diferentes tenham sido passados no header file-path das mensagens.

  • Demais entradas

O nome do arquivo resultante será definido pelo valor informado no campo path da configuração file da sindicância de destino com adição do sufixo: -yyyy-MM-dd_HH:mm-yyyy-MM-dd_HH:mm com a data inicial e final do período considerado.

Demais tipos

Para os demais tipos de conteúdo da mensagem é realizada o envio imediato para o servidor SFTP configurado na saída.

Limitações

O token de verificação opcional será entregue nas mensagens nesse tipo de saída por se tratar de uma saída que requer autenticação.

No momento somente a autenticação básica via username e password é suportada.

PreviousMongoDBNextSQL

Last updated