Blip Firehose
  • Detalhes
    • Blip Firehose
    • UI (Alpha)
    • Casos de Uso
    • Arquitetura
    • Hosts
    • Autenticação
    • Postman
    • API
  • Configurações
    • Configuração
    • Configuração de Entrada
      • Azure Blob
      • Delta Sharing
      • Google Cloud PubSub
      • HTTP Client
      • HTTP
      • Kafka
      • N8N
      • SQL
    • Configuração de Saída
      • AWS Kinesis
      • AWS S3
      • Azure Blob
      • Delta Lake
      • Elastic Search
      • Email Transacional
      • Email
      • Firehose
      • Google Cloud PubSub
      • Google Cloud Storage
      • HTTP
      • Kafka
      • MongoDB
      • SFTP
      • SQL
    • Processamento em Streaming
    • Configuração de Indexação
    • Configuração de Filtro
    • Transformação
    • Verificar Configuração
  • Informações
    • Vídeo explicativo
    • Observabilidade
Powered by GitBook
On this page
  • Parâmetros
  • Resposta
  1. Configurações
  2. Configuração de Entrada

HTTP Client

Com essa entrada é possível realizar uma requisição HTTP e o resultado é enviado para o fluxo do Firehose.

Parâmetros

Campo
Descrição
Valor

url

URL do servidor ser requisitado

Tipo: string Obrigatório

verb

Método HTTP a ser requisitado

Tipo: string Obrigatório

headers

Headers a serem incluídos na requisição

Tipo: object Valor padrão: {}

stream

Modo em que a request é mantida aberta e as mensagens lidas linha a linha

Tipo: object Valor padrão: -

stream.enabled

Ativa o modo streaming

Tipo: boolean Valor padrão: false

stream.reconnect

Determina se uma conexão deve ser re-estabelecida após a conclusão

Tipo: boolean Valor padrão: false

stream.scanner

Permite a escolha de um leitor de arquivo

Tipo: object Valor padrão: -

stream.scanner.type

Forma com a qual o documento deve ser lido

Tipo: string Valor padrão: lines

stream.scanner.lines

Configurações do scanner de tipo lines

Tipo: object Valor padrão: -

stream.scanner.lines.max_buffer_size

Define o tamanho máximo do buffer para armazenar dados da linha

Tipo: integer Valor padrão: 65536

stream.scanner.lines.custom_delimiter

Define um delimitador de linha para detectar o fim de uma linha

Tipo: string Valor padrão: '\n'

stream.scanner.csv

Configurações do scanner de tipo csv

Tipo: object Valor padrão: -

stream.scanner.csv.lazy_quotes

Se true, uma aspa pode aparecer num campo sem aspas e uma aspa não duplicada pode aparecer num campo com aspas.

Tipo: boolean Valor padrão: false

stream.scanner.csv.parse_header_row

Se true, a primeira linha/row será usada como header

Tipo: boolean Valor padrão: true

stream.scanner.csv.continue_on_error

Caso algum erro de parse, se deve ou não continuar lendo as próximas linhas

Tipo: boolean Valor padrão: false

stream.scanner.csv.custom_delimiter

Define um delimitador customizado, em vez do padrão que usa vírgula

Tipo: string Valor padrão: ,

Exemplo

{
  "input": {
    "http_client": {
      "headers": {
        "additionalProp1": "string",
        "additionalProp2": "string",
        "additionalProp3": "string"
      },
      "stream": {
        "enabled": true,
        "reconnect": false,
        "scanner": {
          "csv": {
            "continue_on_error": false,
            "custom_delimiter": "string",
            "lazy_quotes": false,
            "parse_header_row": true
          },
          "lines": {
            "custom_delimiter": "string",
            "max_buffer_size": 0
          },
          "type": "lines"
        }
      },
      "url": "string",
      "verb": "GET"
    }
  }
}

Resposta

A resposta desse endpoint será no seguinte formato:

{
  "id": "FIREHOSE-ID",
  "input": {
    "http_client": {
      "headers": {
        "additionalProp1": "string",
        "additionalProp2": "string",
        "additionalProp3": "string"
      },
      "stream": {
        "enabled": true,
        "reconnect": false,
        "scanner": {
          "csv": {
            "continue_on_error": false,
            "custom_delimiter": "string",
            "lazy_quotes": false,
            "parse_header_row": true
          },
          "lines": {
            "custom_delimiter": "string",
            "max_buffer_size": 0
          },
          "type": "lines"
        }
      },
      "timeout": "5s",
      "url": "string",
      "verb": "GET"
    }
  },
  "output": {...}
}
PreviousGoogle Cloud PubSubNextHTTP

Last updated 3 months ago