Blip Firehose

Introdução

O Blip Firehose é uma ferramenta poderosa e versátil projetada para o tráfego de dados normalizados para diferentes destinos a partir de diferentes fontes. Sua utilização requer a configuração prévia da sindicação de destino, garantindo que as mensagens enviadas sejam processadas corretamente. Toda manipulação das configurações no Firehose atualmente é feita através de APIs e no futuro também será possível gerenciar tudo a partir de uma Web UI.

Autenticação

Para interagir com a API do Firehose, é necessário obter um token de autenticação, que pode ser adquirido após o login com credenciais de usuário. Este token é essencial para realizar operações seguras dentro do sistema.

Atualmente o acesso ao Firehose é restrito e concedido apenas para membros internos da Blip e de times especificos.

Autenticação

Entrada

A entrada de dados no Firehose é flexível. Por padrão aceita requisições HTTP como entrada, mas também é possível configurar outras fontes, como Kafka, SQL, Delta Sharing e Google Cloud PubSub. Para mais detalhes acesse:

Configuração de Entrada

Processamento em Streaming

O Firehose permite a realização de Processamento em Streaming nos dados do fluxo.

Indexação, Filtros e Transformações

O Firehose oferece funcionalidades avançadas como a indexação de dados, que permite uma filtragem eficiente e a personalização do tráfego de dados em diferentes configurações quando necessário, garantindo que apenas as informações relevantes sejam enviadas para a sindicância de saída. Outra funcionalidade importante são as etapas de transformações, podendo modificar o conteúdo da mensagem antes de chegar em seu destino:

Configuração de Indexação

Configuração de Filtro

Transformação

Saída

A configuração de saída do Firehose é robusta, suportando múltiplos destinos como HTTP, Kafka, SQL, MongoDB, AWS S3, Azure Blob, Email dentre várias outras. Isso proporciona uma grande flexibilidade na definição do destino dos dados processados. Para mais detalhes acesse:

Configuração de Saída

Governança

O Firehose possui sistemas de governança de dados e garantias de que toda informação trafegada pertencerá a um grupo e apenas configurações deste grupo poderá manipular suas informações.

Resumo

Em resumo, o Firehose é uma solução completa para o gerenciamento e tráfego de dados, oferecendo flexibilidade, segurança e eficiência na manipulação de informações entre diferentes plataformas e serviços.