Confluent Platform: O ecossistema enterprise para Kafka

Nos artigos anteriores, exploramos o Apache Kafka e sua arquitetura de Brokers, Topics, Partitions e Offsets. Vimos que o Kafka é poderoso, mas gerenciar um cluster em produção exige muito mais do que apenas brokers rodando.

O desafio: Como garantir que schemas não quebrem entre produtores e consumidores? Como conectar dezenas de bancos de dados sem escrever código? Como processar streams em tempo real com SQL? Como governar milhares de topics em uma organização com centenas de equipes?

A resposta está na Confluent, a empresa fundada pelos criadores do Kafka para resolver exatamente esses problemas. Em 2025, a Confluent foi reconhecida como líder no Forrester Wave para Streaming Data Platforms, recebendo a pontuação máxima em 14 de 18 critérios avaliados.

A Confluent e o Apache Kafka

A Origem

O Apache Kafka foi criado em 2010 no LinkedIn por Jay Kreps, Neha Narkhede e Jun Rao para resolver o problema de integração de dados em tempo real. Em 2011, o projeto foi open-sourced e doado à Apache Software Foundation.

Em 2014, os mesmos criadores fundaram a Confluent com uma missão clara: transformar o Kafka de uma tecnologia complexa em uma plataforma completa de Data Streaming acessível a qualquer empresa.

O Que a Confluent Adiciona ao Kafka

O Apache Kafka open source fornece o core de mensageria. A Confluent adiciona todo o ecossistema necessário para produção enterprise: Schema Registry para contratos de dados, Kafka Connect para integrações sem código, ksqlDB e Flink SQL para processamento de streams, Stream Governance para catálogo e lineage, além de ferramentas de monitoramento e segurança avançadas.

Opções de Deployment: Cloud vs Platform

Confluent Cloud (Fully Managed)

Serviço gerenciado onde a Confluent cuida de toda a infraestrutura. Você foca apenas em produzir e consumir dados. Ideal para equipes que querem começar rápido sem overhead operacional, empresas que preferem OpEx sobre CapEx, e workloads com demanda variável.

Tipos de Cluster:

Basic: Para experimentação e desenvolvimento inicial. Escala automaticamente com eCKUs, mas tem limitações significativas (sem RBAC, sem mTLS, sem audit logs). Não use em produção.
Standard: Primeiro tier production-ready com RBAC, private networking e Stream Sharing. SLA de 99.99% disponível com mínimo de 2 eCKUs.
Enterprise: Para organizações que exigem private networking avançado (PrivateLink, VPC Peering). Suporta mTLS, audit logs e fast scaling até 10 eCKUs.
Dedicated: Recursos pré-alocados (CKUs, não eCKUs). Não escala automaticamente. Ideal quando previsibilidade e isolamento total são requisitos.
Freight (2025): Projetado para workloads de alto throughput com latência relaxada. Clientes early access reportaram até 90% de redução em custos comparado a clusters tradicionais.

Confluent Platform (Self-Managed)

Software que você instala e gerencia na sua própria infraestrutura (VMs, Kubernetes, bare metal). Ideal para requisitos rígidos de residência de dados (LGPD, BACEN), integrações complexas com sistemas legados, organizações com equipes de SRE dedicadas, e escala muito grande (100+ brokers).

Os Componentes do Ecossistema

1. Schema Registry: Contratos de Dados

O Schema Registry garante que produtores e consumidores concordem sobre a estrutura dos dados. Sem ele, uma mudança no formato de uma mensagem pode quebrar dezenas de consumers. Suporta Apache Avro (mais eficiente, schema evolution nativo), Protocol Buffers (popular em microservices gRPC) e JSON Schema (familiar para desenvolvedores web).

Com Schema Registry e compatibilidade BACKWARD, você pode adicionar novos campos com valores default sem quebrar consumers antigos, enquanto consumers novos podem usar os campos adicionais.

2. Kafka Connect: Integração sem Código

O Kafka Connect permite mover dados entre Kafka e sistemas externos (bancos, data warehouses, SaaS) sem escrever código. Mais de 120 conectores disponíveis incluindo PostgreSQL CDC, MySQL CDC, MongoDB, S3, BigQuery, Snowflake, Salesforce e Elasticsearch.

3. ksqlDB e Flink SQL: Stream Processing

Para processar streams em tempo real, a Confluent oferece duas opções: ksqlDB (SQL streaming nativo, ideal para transformações simples e agregações) e Apache Flink SQL (engine de stream processing mais poderoso, com suporte a complex event processing, exactly-once e integração com data lakes).

Exemplo de uso: detectar padrões suspeitos de fraude identificando mais de 5 pagamentos em 5 minutos do mesmo cliente, ou quando o valor total ultrapassa threshold definido.

4. Stream Governance: Governança para Streaming

À medida que o número de topics cresce, a governança se torna crítica. O Stream Governance oferece:

Stream Catalog: Descoberta de dados self-service. Busque topics por nome, tags ou metadados, documente schemas e defina owners.
Stream Lineage: Visualização do fluxo de dados. Mapa interativo de onde os dados vêm e para onde vão, essencial para compliance.
Data Quality Rules: Garantia de qualidade. Defina regras no schema (campo não pode ser nulo, deve estar em range).
Data Portal: Marketplace interno de dados onde equipes publicam data products e outras equipes descobrem e solicitam acesso.

Pricing: Como Estimar Custos

O Confluent Cloud cobra por consumo, não por provisionamento (exceto Dedicated). Os custos acumulam por hora em UTC e incluem quatro dimensões principais:

Kafka Cluster (Stream): Baseado em eCKUs/CKUs, throughput (ingress/egress) e storage. O storage usa fator de replicação 3, então 1 GB escrito se torna ~3 GB cobrado.
Connectors (Connect): Cobrados por task ativa e throughput processado. Connectors pausados ainda incorrem custo base.
Flink (Process): Usa CFUs (Confluent Flink Units) cobrados por minuto de execução.
Stream Governance (Govern): Cobrado por environment por hora. Inclui Schema Registry, Stream Catalog, Stream Lineage e Data Portal.

Dica importante: Use o Confluent Cost Estimator para obter valores exatos por região, pois preços base se aplicam à região us-east-1 (AWS) e outras regiões têm multiplicadores diferentes.

Cloud vs Self-Managed: Como Escolher

Para a maioria das empresas, Confluent Cloud Standard é o caminho mais rápido para começar. Para workloads de alto volume e baixo custo, Freight é uma revolução. Para requisitos específicos de compliance ou escala, Confluent Platform oferece controle total.

Considere que para a maioria dos casos, Confluent Cloud é mais econômico que self-managed quando se consideram custos de operação (FTE dedicado para SRE, patching, upgrades, disaster recovery).

Boas Práticas

Faça:

Use Schema Registry desde o dia 1 para evitar dívida técnica de schemas inconsistentes
Defina naming conventions: <dominio>.<entidade>.<versao> para topics
Implemente RBAC com service accounts com permissões mínimas necessárias
Monitore consumer lag e alerte quando ultrapassar threshold

Evite:

Basic clusters em produção (SLA de 99.5% não é suficiente para apps críticas)
Schemas sem compatibilidade (configure BACKWARD ou FORWARD sempre)
Connectors sem DLQ (configure dead-letter-queue para erros)

Conclusão

A Confluent transformou o Apache Kafka de uma tecnologia de infraestrutura em uma plataforma completa de Data Streaming. Com 5 tipos de cluster para cada perfil, Schema Registry para contratos de dados, Kafka Connect para integrações sem código, ksqlDB e Flink SQL para processamento de streams, Stream Governance para descoberta e lineage, e pricing transparente baseado em consumo com eCKUs elásticos, a Confluent oferece uma solução enterprise robusta para streaming de dados em tempo real.