Blip Firehose
  • Detalhes
    • Blip Firehose
    • UI (Alpha)
    • Casos de Uso
    • Arquitetura
    • Hosts
    • Autenticação
    • Postman
    • API
  • Configurações
    • Configuração
    • Configuração de Entrada
      • Azure Blob
      • Delta Sharing
      • Google Cloud PubSub
      • HTTP Client
      • HTTP
      • Kafka
      • N8N
      • SQL
    • Configuração de Saída
      • AWS Kinesis
      • AWS S3
      • Azure Blob
      • Delta Lake
      • Elastic Search
      • Email Transacional
      • Email
      • Firehose
      • Google Cloud PubSub
      • Google Cloud Storage
      • HTTP
      • Kafka
      • MongoDB
      • SFTP
      • SQL
    • Processamento em Streaming
    • Configuração de Indexação
    • Configuração de Filtro
    • Transformação
    • Verificar Configuração
  • Informações
    • Vídeo explicativo
    • Observabilidade
Powered by GitBook
On this page
  • Parâmetros
  • Requisição
  • Resposta
  1. Configurações
  2. Configuração de Saída

Elastic Search

Permite a configuração de um Elastic Search para receber as mensagens trafegadas.

Parâmetros

Parâmetros aceitos para esse tipo de sindicância de destino:

Campo
Descrição
Valor

elastic_search.urls

Endpoints de acesso

Tipo: []string Obrigatório

elastic_search.index

Índice onde os documentos serão adicionados

Tipo: string Obrigatório

elastic_search.id_fields

Campos utilizados na chave única do documento - Os valores serão separados por -. Se não informado será gerado um UUID para cada documento

Tipo: string Valor padrão: [uuid](https://en.wikipedia.org/wiki/Universally_unique_identifier)

elastic_search.pipeline

Tipo: string Valor padrão: -

elastic_search.stored_script

Tipo: string Valor padrão: -

elastic_search.script_params_blobl

Tipo: object Valor padrão: -

elastic_search.script_params_blobl.mapping

Tipo: string Obrigatório

elastic_search.conflict_action

Ação caso o documento já exista no índice - upsert: Adiciona novos campos e substitui campos existentes - index: Substitui todo o documento

Tipo: enum[upsert index] Valor padrão: upsert

elastic_search.tls

Configuração de TLS

Tipo: object Obrigatório

elastic_search.tls.enabled

Habilitar TLS

Tipo: enum[true false] Obrigatório

elastic_search.tls.skip_cert_verify

Ignorar verificação de certificado

Tipo: enum[true false] Obrigatório

elastic_search.basic_auth

Autenticação básica da requisição

Tipo: object Valor padrão: {}

elastic_search.basic_auth.user_id

Identificador de acesso

Tipo: string Valor padrão: -

elastic_search.basic_auth.password

Senha de acesso

Tipo: string Valor padrão: -

elastic_search.aws

Configuração de acesso no Amazon Elastic Service

Tipo: string Valor padrão: -

elastic_search.aws.region

Região do cluster na AWS

Tipo: string Obrigatório

elastic_search.aws.endpoint

Endpoint de acesso na AWS

Tipo: string Obrigatório

elastic_search.aws.credential.secret

Secret de acesso ao Amazon Elastic Service

Tipo: string Obrigatório

elastic_search.aws.credential.profile

Perfil de acesso ao Amazon Elastic Service

Tipo: string Valor padrão: -

elastic_search.aws.credential.token

Token de acesso ao Amazon Elastic Service

Tipo: string Valor padrão: -

elastic_search.aws.credential.role

Permissão de acesso ao Amazon Elastic Service

Tipo: string Valor padrão: -

elastic_search.aws.credential.role_external_id

ID externo de permissão para acesso ao Amazon Elastic Service

Tipo: string Valor padrão: -

Requisição

curl --location '<HOST>/v1/configs' \
--header 'Content-Type: application/json' \
--header 'Authorization: <ACCESS-TOKEN>' \
--data '{
    "output": {
        "type": "ELASTIC_SEARCH",
        "elastic_search": {
          "urls": [
            "http://localhost:9200"
          ],
          "index": "INDEX",
          "id_fields": [
            "FIELD_1"
          ],
          "pipeline": "PIPELINE",
          "script_params_blobl": {
            "mapping": "root.key = this.value"
          },
          "conflict_action": "upsert",
          "tls": {
            "enabled": false,
            "skip_cert_verify": true
          },
          "basic_auth": {
            "user_id": "USER_ID",
            "password": "PASSWORD"
          }
        }
    }
}'

Resposta

A resposta desse endpoint será no seguinte formato:

{
  "id": "FIREHOSE-ID",
  "output": {
    "type": "ELASTIC_SEARCH",
    "elastic_search": {
      "urls": [
        "http://localhost:9200"
      ],
      "index": "INDEX",
      "id_fields": [
        "FIELD_1"
      ],
      "pipeline": "PIPELINE",
      "conflict_action": "upsert",
      "tls": {
        "enabled": false,
        "skip_cert_verify": true
      },
      "basic_auth": {
        "user_id": "USER_ID",
        "password": "PASSWORD"
      }
    }
  }
}
PreviousDelta LakeNextEmail Transacional

Last updated 9 months ago

ID de algum configurado

ID de algum configurado

Objeto com configuração de transformação dos parâmetros do stored script

Mapeamento para realizar a transformação

pipeline de ingestão
stored script
Bloblang
Bloblang