HTTP Client

Com essa entrada é possível realizar uma requisição HTTP e o resultado é enviado para o fluxo do Firehose.

Parâmetros

CampoDescriçãoValor

url

URL do servidor ser requisitado

Tipo: string Obrigatório

verb

Método HTTP a ser requisitado

Tipo: string Obrigatório

headers

Headers a serem incluídos na requisição

Tipo: object Valor padrão: {}

timeout

Timeout a ser aplicado à requisição

Tipo: string Valor padrão: 5s

stream

Modo em que a request é mantida aberta e as mensagens lidas linha a linha

Tipo: object Valor padrão: -

stream.enabled

Ativa o modo streaming

Tipo: boolean Valor padrão: false

stream.reconnect

Determina se uma conexão deve ser re-estabelecida após a conclusão

Tipo: boolean Valor padrão: false

stream.scanner

Permite a escolha de um leitor de arquivo

Tipo: object Valor padrão: -

stream.scanner.type

Forma com a qual o documento deve ser lido

Tipo: string Valor padrão: lines

stream.scanner.lines

Configurações do scanner de tipo lines

Tipo: object Valor padrão: -

stream.scanner.lines.max_buffer_size

Define o tamanho máximo do buffer para armazenar dados da linha

Tipo: integer Valor padrão: 65536

stream.scanner.lines.custom_delimiter

Define um delimitador de linha para detectar o fim de uma linha

Tipo: string Valor padrão: '\n'

stream.scanner.csv

Configurações do scanner de tipo csv

Tipo: object Valor padrão: -

stream.scanner.csv.lazy_quotes

Se true, uma aspa pode aparecer num campo sem aspas e uma aspa não duplicada pode aparecer num campo com aspas.

Tipo: boolean Valor padrão: false

stream.scanner.csv.parse_header_row

Se true, a primeira linha/row será usada como header

Tipo: boolean Valor padrão: true

stream.scanner.csv.continue_on_error

Caso algum erro de parse, se deve ou não continuar lendo as próximas linhas

Tipo: boolean Valor padrão: false

stream.scanner.csv.custom_delimiter

Define um delimitador customizado, em vez do padrão que usa vírgula

Tipo: string Valor padrão: ,

Exemplo

{
  "input": {
    "http_client": {
      "headers": {
        "additionalProp1": "string",
        "additionalProp2": "string",
        "additionalProp3": "string"
      },
      "stream": {
        "enabled": true,
        "reconnect": false,
        "scanner": {
          "csv": {
            "continue_on_error": false,
            "custom_delimiter": "string",
            "lazy_quotes": false,
            "parse_header_row": true
          },
          "lines": {
            "custom_delimiter": "string",
            "max_buffer_size": 0
          },
          "type": "lines"
        }
      },
      "timeout": "5s",
      "url": "string",
      "verb": "GET"
    }
  }
}

Resposta

A resposta desse endpoint será no seguinte formato:

{
  "id": "FIREHOSE-ID",
  "input": {
    "http_client": {
      "headers": {
        "additionalProp1": "string",
        "additionalProp2": "string",
        "additionalProp3": "string"
      },
      "stream": {
        "enabled": true,
        "reconnect": false,
        "scanner": {
          "csv": {
            "continue_on_error": false,
            "custom_delimiter": "string",
            "lazy_quotes": false,
            "parse_header_row": true
          },
          "lines": {
            "custom_delimiter": "string",
            "max_buffer_size": 0
          },
          "type": "lines"
        }
      },
      "timeout": "5s",
      "url": "string",
      "verb": "GET"
    }
  },
  "output": {...}
}

Last updated