01Power BI · Data Lake
Migrar os Dataflows Geração 1
Transferir os 21 artefatos identificados na auditoria do tenant para o Data Lake.
Proposta comercial
Dados preparados para a próxima etapa da Marluvas
Migração de Dataflows, ajustes em CDS Bronze e desenvolvimento de novos dashboards para a área de Qualidade.
OrigemDataflows Geração 1
DestinoData Lake
Base do escopoAuditoria do tenant
Marluvas × Fabricent
Uma proposta em três frentes, com execução integrada
Ao Time de Dados Marluvas, apresentamos esta proposta comercial para dar continuidade à evolução do ambiente de dados, combinando modernização da arquitetura, melhoria da extração e novas entregas analíticas.
Gustavo LeoFabricent · Data Modeler TWDIMicrosoft Data Analyst Certified · Microsoft Certified Trainer
02SAP CDS · Delta
Ajustar as CDS Bronze
Executar inclusões pontuais de colunas e avaliar melhorias no processo de extração e carga delta.
03Power BI · Qualidade
Evoluir os dashboards
Desenvolver novos dashboards para a área de Qualidade e realizar ajustes nos relatórios existentes.
01 · Escopo
Uma migração estruturada para reduzir dependências do legado
Após a auditoria realizada no tenant, foram identificados 21 artefatos a serem migrados. O trabalho organiza a transição dos fluxos atuais para o Data Lake e estabelece uma base mais adequada para atualização e consumo dos dados.
Inventário e validação
Conferência dos 21 artefatos identificados na auditoria do tenant, com registro da origem, dependências e situação de cada item.
Migração para o Data Lake
Reimplementação dos fluxos de dados da Geração 1 no Data Lake, preservando as regras necessárias ao consumo analítico.
Validação das atualizações
Testes de carga, consistência e atualização para confirmar o funcionamento dos artefatos no novo ambiente.
Organização dos workspaces
Separação clara entre o ambiente vigente e o legado, reduzindo o risco de uso acidental de conteúdo desatualizado.
02 · Resultado já observado
De aproximadamente 30 minutos para 15 segundos
No ambiente de Garantia da Qualidade, o tempo de atualização informado anteriormente era de aproximadamente 30 minutos por dashboard. Após a modernização, passou a cerca de 15 segundos.
Este indicador registra o resultado observado no ambiente citado; o desempenho de cada um dos 21 artefatos deverá ser confirmado individualmente durante a validação.
Antes~30 min
Agora~15 s
Tempo informado por dashboard no ambiente de Garantia da Qualidade
Resultado da auditoria
Dependências identificadas no ambiente atual
A auditoria relaciona cada endpoint ou CDS/OData aos artefatos do Power BI que dependem dele.
27Dataflows
166Reports
172Semantic Models
365Total
| Entidade auditada | Dataflow | Report | Semantic Model | Total |
|---|---|---|---|---|
https://vhmavsh3ci.sap.marluvas.com.br:44300/sap/opu/odata/sap | 3 | 13 | 18 | 34 |
ZC_VBKD_CDS / ZC_VBKD | 1 | 5 | 5 | 11 |
ZCP_PP_FICHAS_ATR_CDS / ZCP_PP_FICHAS_ATR | 1 | — | — | 1 |
ZCP_PP_PAINEL_PROD_CDS | 1 | 2 | 1 | 4 |
ZCP_SD_CANCEL_CDS / ZCP_SD_CANCEL | 1 | 9 | 9 | 19 |
ZCP_SD_FAT_VENDAS_CDS / ZCP_SD_FAT_VENDAS | 2 | 1 | 1 | 4 |
ZCP_SD_FAT_VENDAS2_CDS / ZCP_SD_FAT_VENDAS2 | 1 | 9 | 9 | 19 |
ZCP_SD_METAS_FAT_DIR_CDS | 1 | 10 | 10 | 21 |
ZCP_SD_METAS_IND_CTV_CDS | 1 | 10 | 10 | 21 |
ZCP_SD_METAS_IND_DIR_CDS | 1 | 10 | 10 | 21 |
ZCP_SD_METAS_IND_REG_CDS | 1 | 10 | 10 | 21 |
ZCP_SD_METAS_IND_REP_CDS | 1 | 10 | 10 | 21 |
ZCP_SD_METAS_VEN_CTV_CDS | 1 | 10 | 10 | 21 |
ZCP_SD_METAS_VEN_DIR_CDS | 1 | 10 | 10 | 21 |
ZCP_SD_METAS_VEN_REG_CDS | 1 | 10 | 10 | 21 |
ZCP_SD_METAS_VEN_REP_CDS | 1 | 10 | 10 | 21 |
ZCP_SD_RELAC_CLIENT_CDS | 1 | 13 | 13 | 27 |
ZCP_SD_REMESSA_CDS / ZCP_SD_REMESSA | 1 | — | — | 1 |
ZCP_SD_REP_CDS | 1 | 10 | 10 | 21 |
ZCP_SD_VENDAS_DEV_CDS / ZCP_SD_VENDAS_DEV | 1 | 8 | 8 | 17 |
ZCP_SD_VENDAS_GP_CDS | 4 | 6 | 8 | 18 |
| Total geral | 27 | 166 | 172 | 365 |
Fonte: resultado da auditoria fornecido para esta proposta. Células sem dependências identificadas são apresentadas com “—”.
02 · Inventário técnico
Entidades CDS/OData e correspondência no Databricks
21posições no inventário
19 fornecidas · 2 pendentes
| # | CDS/OData | Schema.tabela no Databricks | Status |
|---|---|---|---|
| 01 | ZC_VBKD_CDS / ZC_VBKD | A confirmar após acesso ao Databricks | A confirmar |
| 02 | ZCP_PP_FICHAS_ATR_CDS / ZCP_PP_FICHAS_ATR | A confirmar após acesso ao Databricks | A confirmar |
| 03 | ZCP_PP_PAINEL_PROD_CDS | gold.pp_producao.ft_producao | Mapeada |
| 04 | ZCP_SD_CANCEL_CDS / ZCP_SD_CANCEL | gold.sd_ordem_venda.ft_ordem_venda | Mapeada |
| 05 | ZCP_SD_FAT_VENDAS_CDS / ZCP_SD_FAT_VENDAS | gold.sd_ordem_venda.ft_faturamento_venda | Mapeada |
| 06 | ZCP_SD_FAT_VENDAS2_CDS / ZCP_SD_FAT_VENDAS2 | gold.sd_ordem_venda.ft_faturamento_venda | Mapeada |
| 07 | ZCP_SD_METAS_FAT_DIR_CDS | gold.metas_negocio.ft_metas_faturamento | Mapeada |
| 08 | ZCP_SD_METAS_IND_CTV_CDS | gold.metas_negocio.ft_metas_indicadores_vendedores | Mapeada |
| 09 | ZCP_SD_METAS_IND_DIR_CDS | gold.metas_negocio.ft_metas_indicadores_diretoria | Mapeada |
| 10 | ZCP_SD_METAS_IND_REG_CDS | gold.metas_negocio.ft_metas_indicadores_escritorios | Mapeada |
| 11 | ZCP_SD_METAS_IND_REP_CDS | gold.metas_negocio.ft_metas_indicadores_vendedores | Mapeada |
| 12 | ZCP_SD_METAS_VEN_CTV_CDS | gold.metas_negocio.ft_metas_vendas_vendedores | Mapeada |
| 13 | ZCP_SD_METAS_VEN_DIR_CDS | gold.metas_negocio.ft_metas_vendas_diretoria | Mapeada |
| 14 | ZCP_SD_METAS_VEN_REG_CDS | gold.metas_negocio.ft_metas_vendas_escritorios | Mapeada |
| 15 | ZCP_SD_METAS_VEN_REP_CDS | gold.metas_negocio.ft_metas_vendas_vendedores | Mapeada |
| 16 | ZCP_SD_RELAC_CLIENT_CDS | gold.dados_mestre.dim_clientes | Mapeada |
| 17 | ZCP_SD_REMESSA_CDS / ZCP_SD_REMESSA | gold.sd_ordem_venda.ft_remessa | Mapeada |
| 18 | ZCP_SD_REP_CDS | gold.dados_mestre.dim_vendedores | Mapeada |
| 19 | ZCP_SD_VENDAS_DEV_CDS / ZCP_SD_VENDAS_DEV | A confirmar após acesso ao Databricks | A confirmar |
| 20 | Entidade 20 — pendente de identificação | Pendente | A confirmar |
| 21 | Entidade 21 — pendente de identificação | Pendente | A confirmar |
A matriz recebida contém 19 registros e 26 nomes de CDS/OData, pois algumas linhas agrupam duas entidades. As duas posições restantes permanecem pendentes até o recebimento do inventário completo. Nenhuma correspondência foi presumida.
03 · Cronograma estimado
Execução por tarefa, com premissas explícitas
44dias úteis
somente para a frente de migração dos 21 Dataflows
Mobilização e planejamento
Confirmação do inventário, acessos, dependências, critérios de aceite e ordem de execução.
Migração dos 21 Dataflows
Até 2 dias úteis por Dataflow, incluindo implementação e validação individual.
Encerramento da migração
Validação consolidada, registro das entregas e transição do ambiente.
Ajustes nas CDS
Estimativa condicionada à análise técnica após liberação do acesso ao Databricks.
Sugestão: laboratório de extração delta
Desenho, implantação controlada e validação da anotação de Change Data Capture.
Desenvolvimento de dashboard
Estimativa por dashboard, desde que os dados necessários estejam disponíveis e validados.
Premissa do prazo de 44 dias úteis
1 dia de mobilização + 42 dias para 21 migrações × até 2 dias úteis + 1 dia de encerramento. Ajustes de CDS, laboratório delta e dashboards são frentes adicionais e não estão incluídos nesses 44 dias.
04 · CDS e sugestão de extração delta
A estimativa definitiva depende do acesso ao Databricks
Os ajustes nas CDS somente poderão ser confirmados após a verificação das estruturas, dependências e tabelas correspondentes no Databricks. A estimativa preliminar é de até 1 dia útil por CDS.
Sugestão: laboratório técnico
@Analytics.dataExtraction.delta.changeDataCapture.automatic: trueComo alternativa de evolução, sugerimos avaliar essa funcionalidade em laboratório. O objetivo é verificar se o cenário permite maior frequência de atualização e potencial redução de processamento e custo, sem presumir sua adoção antes da validação.
- Compatibilidade e pré-requisitos
- Comportamento de inserções, alterações e exclusões
- Volume, frequência e custo
- Plano de retorno e evidências
SAP
Fundamentação técnica oficial
Por que sugerimos avaliar Change Data Capture?
A SAP documenta que o mecanismo de Change Data Capture utiliza triggers de banco de dados para registrar alterações nas tabelas associadas à CDS. Em CDS simples, como projeções de uma tabela, o mapeamento pode ser automático; em CDS com joins, o mapeamento pode precisar ser declarado manualmente. Depois da carga inicial, o consumidor passa a solicitar os deltas registrados, em vez de reconstruir a extração completa a cada ciclo.
A SAP não publica um fator universal de aceleração. O ganho real depende do volume total, da proporção de registros alterados, da complexidade da CDS e da infraestrutura. Por isso, qualquer benefício de desempenho ou custo deverá ser medido no laboratório sugerido.
Diagrama comparativo
Dois cenários de extração da CDS
Representação conceitual baseada no fluxo documentado pela SAP. Os componentes exatos serão confirmados no laboratório.
SAP HANATabela de origemN registros
↓ABAP CDSExecutar consultaaedat > última execução
↓Processamento recorrenteReler e filtrarTabela ou janela temporal
↓DatabricksRaw / BronzeReconciliar os registros
SAP HANAInsert · Update · DeleteAlterações nas tabelas mapeadas
↓ triggerCDC SAPMaster Logging TableRegistro inicial das mudanças
↓ transfer jobCDC SAPSubscriber Logging TableDelta destinado ao consumidor
↓ deltaDatabricksRaw / BronzeAplicar somente Δ alterações
Origem SAPProcessamentoLogging CDCRaw/Bronze
Comportamento esperado
Menos dados relidos por ciclo, com frequência maior
1
Ler novamente a CDS ou uma janela temporal ampla
2
Aplicar filtro pelo campo de última atualização
3
O volume processado pode se aproximar do total ou de uma janela significativa.Transferir e reconciliar o resultado
1
Executar uma carga inicial controlada
2
Registrar inserts, updates e deletes suportados
3
O volume recorrente tende a acompanhar a quantidade de alterações, não o tamanho total.Consumir somente os deltas disponíveis
Modelo de estimativa
O ganho depende da razão entre a tabela e o delta
Se uma origem possui 10 milhões de registros e altera 50 mil entre duas execuções, o delta representa 0,5% do total. Nesse exemplo, há potencial para transferir até 200 vezes menos registros de negócio. Isso não significa execução 200 vezes mais rápida: triggers, cálculo da CDS, ODQ, rede e escrita no destino continuam consumindo tempo.
redução potencial de volume ≈ N ÷ ΔN
registros que seriam relidos
Δ
registros alterados no período
Faixa inicial sugerida para testar atualização próxima do tempo real. Não constitui SLA e será ajustada conforme medições.
O CDC evita releituras integrais recorrentes, mas adiciona triggers e processamento das mudanças. Frequência e paralelismo precisam de limites.
Nesta proposta, o CDC será avaliado somente para extração granular, sem agregações ou regras analíticas. Silver e Gold continuam sendo processadas no Databricks.
Importante: Raw/Bronze é uma regra arquitetural deste projeto.
A SAP não limita universalmente o CDC a camadas Raw ou Bronze. A restrição é adotada aqui para manter correspondência rastreável com a origem, simplificar chaves e tratamento de exclusões, reduzir a complexidade do mapeamento e evitar que transformações analíticas aumentem a carga no SAP.
05 · Organização do ambiente
O legado continua identificável, sem se confundir com o ambiente atual
Os dashboards, relatórios e dataflows do antigo ambiente QM foram mantidos no mesmo workspace, renomeado como QM (DESATUALIZADO). O ambiente vigente foi organizado em um novo workspace chamado Garantia da Qualidade.
06 · Controles de execução
Critérios para uma transição verificável
- ✓Migração controlada, artefato por artefato
- ✓Validação técnica antes da substituição
- ✓Rastreabilidade entre origem e destino
- ✓Preservação temporária do ambiente legado
07 · Premissas técnicas e obrigações da contratante
Condições necessárias para a execução do cronograma
Os prazos e estimativas desta proposta dependem da disponibilização tempestiva dos acessos, das informações e das aprovações sob responsabilidade da contratante.
Databricks
Acesso para consultasAcesso irrestrito às informações necessárias ao escopo para análise de estruturas, dados, relacionamentos e validação das entidades.
SAP CDS
Consultas e alteraçõesAcesso irrestrito necessário ao escopo para consultar as CDS, verificar dependências e executar as alterações previamente aprovadas.
Azure DevOps
Acesso gratuitoDisponibilização de acesso ao ambiente utilizado para controle das tarefas, evidências, versões e acompanhamento das entregas.
Fluxo obrigatório de aceite
Aprovação em até 1 dia útil após cada entrega
1EntregaMigração disponibilizada com evidências
→2Teams ApprovalsSolicitação formal de aprovação
→3AceiteResposta em no máximo 1 dia útil
Todas as aprovações deverão ser realizadas exclusivamente por meio do Microsoft Teams Approvals, que constituirá o registro formal do aceite. A ausência de resposta dentro do prazo poderá impactar o cronograma das atividades subsequentes.
Os serviços prestados foram executados com maestria e profissionalismo, dentro dos prazos e além das expectativas. Com certeza essa é a melhor empresa do setor.
TonyCEO · Rioport Aduaneira
08 · Condições comerciais
Resumo dos valores estimados por projeto
As atividades serão registradas e cobradas conforme o esforço efetivamente realizado, respeitando as estimativas e dependências descritas.
Pacote mensal
R$9.700,00
por 3 meses
Pacote 01
Migração, CDS e laboratório sugerido
Os três projetos abaixo compõem um único pacote comercial.
| ID | Projeto | Base da estimativa | Esforço |
|---|---|---|---|
| 01 | Migração dos 21 DataflowsInclui mobilização e encerramento | 44 dias úteis × 8 h/dia | Até 352 h |
| 02 | Ajustes nas CDS identificadasEstimativa preliminar; depende do acesso ao Databricks | 26 CDS/OData × até 8 h | Até 208 h |
| 03 | Sugestão: laboratório de extração deltaOpcional e sujeito à confirmação dos pré-requisitos | Até 5 dias úteis × 8 h/dia | Até 40 h |
Investimento do pacoteR$ 9.700,00/mês × 3 meses
Valor total do pacote: R$ 29.100,00.
Projeto adicional
Desenvolvimento de dashboards
Cada dashboard contempla até 3 telas, condicionado à disponibilidade dos dados. Escopo excedente será cobrado a R$ 180,00 por hora.
| ID | Projeto | Base da estimativa | Esforço | Valor estimado |
|---|---|---|---|---|
| 04 | Desenvolvimento de dashboardInclui até 3 telas; telas ou ajustes adicionais serão cobrados a R$ 180,00/h | Média por dashboard · até 3 telas | 36 h | R$ 6.480,00 / dashboard |
Pacote principal: R$ 9.700,00 mensais durante 3 meses, totalizando R$ 29.100,00 para os projetos de IDs 01, 02 e 03.
As duas entidades pendentes e quaisquer CDS adicionais serão estimadas após identificação.
Deslocamentos: quando necessários, temos disponibilidade para atendimento presencial sem cobrança adicional de honorários. A contratante deverá cobrir exclusivamente as despesas de deslocamento, alimentação e hospedagem.
Próximos passos
Completar as duas entidades pendentes e liberar os acessos técnicos
Com a aprovação do escopo, o trabalho pode avançar para a validação nominal dos 21 artefatos, liberação do Databricks, definição da sequência de migração e execução dos testes de aceite.