Uma estrutura analítica ou de dados otimizada é aquela que atende as necessidades de negócio do usuário final com velocidade na entrega dos números, praticidade na montagem das visões e agilidade nas atualizações de dados. Aqui você verá como o BIMachine realiza a classificação do índice de otimização pelos 8 critérios mostrados na imagem acima.
Critérios do Índice de Otimização
Todos os critérios seguem um padrão de classificação de três faixas: Ruim, Regular e Bom. Cada critério possui características que definem o índice dentro de cada faixa, e estão detalhados a seguir.
Critério de Linhas
Este critério tem como objetivo controlar o tamanho total da estrutura, ele classifica com base no número total de registros de dados que são carregados. Uma estrutura com muitas linhas indica que os seus dados não estão sendo tratados devidamente e provavelmente causarão lentidão nas cargas de atualização, e na entrega dos indicadores e visões para os usuários finais.
O índice de otimização considera os seguintes parâmetros para classificação:
- Mais do que 1 milhão de linhas: RUIM
- Entre 500 mil e 1 milhão de linhas: REGULAR
- Menos do que 500 mil linhas: BOM
Caso a sua estrutura esteja com este índice RUIM, existem alguns métodos para otimizá-lo, como:
- Critérios de filtros e seleção de dados: valide se está carregando os dados que realmente são necessários. Em muitos casos temos sempre uma faixa de período de dados que desejamos analisar, então valide com a área de negócio que consome a informação qual o período que realmente deve ser disponibilizado
- Agrupamento de registros: verifique se há a possibilidade de resumir os seus dados, agrupando-os conforme o nível de detalhamento necessário para as análises
- Desmembramento de estruturas: em alguns casos vale a pena segmentar a sua estrutura, criando novas estruturas que contemplem informações mais detalhadas para análises específicas, e deixando a estrutura principal com um nível de detalhamento menor, agrupando os registros para diminuir o número de linhas, e assim obter visões mais rápidas
- Nível de detalhamento: o nível ou granularidade da sua estrutura é muito importante, ele define o grau de detalhamento da informação que será disponibilizado para o usuário. Normalmente no BI as informações são analisadas em níveis maiores e gerenciais, possibilitando a identificação de indícios e insights ao usuário de negócio que são suficientes para a tomada de decisão. O indicado para a granularidade em uma estrutura é em geral não descer o detalhamento até o último nível possível, como por exemplo o número de uma nota fiscal, de um pedido ou título financeiro
Critério de Dimensões
O número de dimensões dentro de uma estrutura indica a otimização da modelagem de negócio da mesma. Uma estrutura analítica bem modelada normalmente traz um número pequeno de dimensões, que devem possibilitar ao usuário de negócio o detalhamento das informações necessárias para a tomada de decisão.
O índice de otimização considera os seguintes parâmetros para classificação:
- Mais do que 20 dimensões: RUIM
- Entre 12 e 20 dimensões: REGULAR
- Menos do que 12 dimensões: BOM
Se a sua estrutura estiver com um índice RUIM de dimensões, temos algumas dicas para otimizá-lo:
- Concatenação de campos: é comum que sejam levadas informações em diferentes formatos, mas que possuem o mesmo objetivo em uma estrutura, por exemplo a separação do Clientes em Código e Razão Social. Nestes casos, é indicado que seja criada somente uma dimensão que concatene estes dois dados, reduzindo assim o número total de dimensões
- Dimensões duplicadas: outra ocorrência comum é a duplicação de dimensões em uma estrutura, verifique se você tem dimensões que sejam únicas, e que realmente possibilitam ao usuário o detalhamento maior dos dados
- Dimensões sem utilidade: valide se todas as dimensões que estão em sua estrutura realmente possuem uma função para o cenário de negócio, é comum adicionarmos campos sem saber se serão usados e estes ficarem no esquecimento. Isso só atrapalha os usuários de negócio, gera lentidão nas cargas de dados, na abertura dos indicadores e visões do BI
- Cruzamento de estruturas: quando você possuir uma estrutura que cruza dados de duas ou mais estruturas, como por exemplo Faturamento X Metas, certifique-se de que as dimensões consideradas no cruzamento existem em todas as estruturas envolvidas, pois não faz sentido que se traga uma informação que só existe no faturamento por exemplo
Critério de Medidas Físicas
O número de medidas físicas em uma estrutura é relevante quanto a modelagem de negócio realizada. Muitas medidas indicam que a estrutura talvez não foi bem pensada, e podem acabar atrapalhando o usuário na hora de gerar suas visões e insights de negócio, poluindo com muitas opções e gerando confusão sobre quais os números corretos a serem apresentados.
O índice de otimização considera os seguintes parâmetros para classificação:
- Mais do que 15 medidas: RUIM
- Entre 10 e 15 medidas: REGULAR
- Menos do que 10 medidas: BOM
Se a sua estrutura estiver com um índice RUIM de medidas físicas, temos algumas dicas para otimizá-lo:
- Cálculos realizados: verifique se você pode fazer os cálculos necessários para obter seus indicadores já na extração dos dados, operações de soma e subtração normalmente podem ser feitas na extração, ao invés de levar cada uma das variáveis para o BIMachine e depois criar medidas calculadas
- Medidas não utilizadas: certifique-se de que todas as medidas que está levando para a estrutura realmente serão utilizadas, muitas medidas atrapalham o usuário de negócio na criação de suas visões
- Cruzamento de estruturas: quando você possuir uma estrutura que cruza dados de duas ou mais estruturas, como por exemplo Faturamento X Metas, certifique-se de que as medidas consideradas no cruzamento fazem sentido no comparativo, por exemplo, não vale a pena trazer valores de impostos do faturamento se não houver uma meta de comparação para ela
Critério de Medidas Calculadas
As medidas calculadas em uma estrutura são fundamentais para que possamos obter indicadores precisos e identificar pontos de melhorias no cenário de negócio.
O índice de otimização considera os seguintes parâmetros para classificação:
- Mais do que 15 medidas: RUIM
- Entre 10 e 15 medidas: REGULAR
- Menos do que 10 medidas: BOM
Se a sua estrutura estiver com um índice RUIM de medidas calculadas, temos algumas dicas para otimizá-lo:
- Cálculos realizados: verifique se você pode fazer os cálculos necessários para obter seus indicadores já na extração dos dados, operações de soma e subtração normalmente podem ser feitas na extração, ao invés de levar cada uma das variáveis para o BIMachine e depois criar medidas calculadas
- Medidas não utilizadas: certifique-se de que todas as medidas que está levando para a estrutura realmente serão utilizadas, muitas medidas atrapalham o usuário de negócio na criação de suas visões
- Cruzamento de estruturas: quando você possuir uma estrutura que cruza dados de duas ou mais estruturas, como por exemplo Faturamento X Metas, certifique-se de que as medidas consideradas no cruzamento fazem sentido no comparativo, por exemplo, não vale a pena trazer valores de impostos do faturamento se não houver uma meta de comparação para ela
Critério de Frequência de Cargas Totais
A carga total tem como objetivo renovar todos os dados de sua estrutura de BI, e deve ser usada somente quando isso realmente for necessário, afim de evitarmos o tráfego e processamento de informações redundantes. A frequência de cargas totais em uma estrutura é um fator muito importante em seu projeto de BI, muitas cargas totais executadas irão afetar o desempenho das visões de negócio como um todo, e principalmente o desempenho de sua origem de dados. Por exemplo caso você esteja buscando dados de seu ERP, podem ocorrer lentidões para os usuários operacionais em seu dia a dia. O ideal em um cenário de atualização de dados é que você tenha no máximo uma carga total por dia.
O índice de otimização considera os seguintes parâmetros para classificação:
- Mais do que 1 carga total por dia: RUIM
- 1 carga total por dia: REGULAR
- Menos do que 1 carga total por dia: BOM
Se a sua estrutura estiver com um índice RUIM de frequência de cargas totais, temos algumas dicas para otimizá-lo:
- Períodos de atualização: certifique-se da real necessidade da atualização de seus dados, a maioria das informações precisam de atualizações que busquem os dados dos últimos dias, por exemplo o Faturamento de sua empresa, é uma informação que dificilmente você precisará atualizar mais do que as NFs emitidas a 30 dias, pois elas já não sofrem ajustes ou cancelamentos
- Cargas incrementais: uma carga incremental irá apagar um determinado período de dados de sua base no BI, e atualizá-lo com dados novos ou alterados, por isso seguindo o conceito abordado no item anterior, transforme suas cargas totais em incrementais, buscando o período de dados que realmente sofreu alterações que devem ser consideradas no BI
- Frequência de cargas totais: se realmente for necessário que sejam executadas cargas totais, procure diminuir a frequência delas, faça no máximo uma vez ao dia, no entanto, quando for possível agende suas cargas a cada 2 dias, semanalmente ou até mensalmente
Critério de Frequência de Cargas Incrementais
Uma carga incremental tem como objetivo atualizar um período de dados em sua estrutura. Ela irá apagar um determinado período dos dados já carregados para o BI, e carregar os dados novos e atualizados conforme a sua configuração de extração. A frequência de atualizações incrementais é um fator importante de performance tanto das suas visões analíticas, quanto da sua origem de dados, onde cargas muito frequentes podem causar lentidão em seu sistema ERP por exemplo, quando não forem bem articuladas.
O índice de otimização considera os seguintes parâmetros para classificação:
- Mais do que 15 cargas incrementais por dia: RUIM
- Entre 10 e 15 cargas incrementais por dia: REGULAR
- Menos do que 10 cargas incrementais por dia: BOM
Se a sua estrutura estiver com um índice RUIM de frequência de cargas incrementais, temos algumas dicas para otimizá-lo:
- Frequência de atualização: muitos usuários de negócio dizem ter uma necessidade de atualização dos dados quase em tempo real, que precisam ter o dado sempre refletindo o momento mais recente. No entanto isso nem sempre é real, verifique se será possível ao usuário ver as diferenças dos indicadores a cada atualização, em muitos casos uma sincronia das atualizações com os momentos em que o usuário irá poder verificá-las já resolve este problema, e assim você não fica rodando atualizações de dados a toa, que somente oneram o seu BI e por consequência seu sistema de origem dos dados
Critério de Nº de linhas nas cargas incrementais
O número de registros retornados em sua carga incremental é um importante indicador de eficiência das suas atualizações. Muitas linhas sendo retornadas a cada atualização, indicam que o período de tempo determinado pode estar muito amplo, e é possível diminuí-lo, resultando em uma atualização mais rápida e eficiente.
O índice de otimização considera os seguintes parâmetros para classificação:
- Mais do que 30% do total de linhas da estrutura: RUIM
- Entre 10% e 30% do total de linhas da estrutura: REGULAR
- Menos do que 10% do total de linhas da estrutura: BOM
Se a sua estrutura estiver com um índice RUIM de Nº de linhas nas cargas incrementais, temos algumas dicas para otimizá-lo:
- Período de atualização: valide se o período de atualização da carga incremental está de acordo com a real necessidade, é comum querermos garantir que se um dado um pouco mais antigo foi alterado, ele seja corrigido na base do BI, no entanto isso pode ser feito em cargas separadas, por isso é melhor termos mais agendamentos de cargas incrementais que busquem períodos diferentes do que somente um que tente atualizar todos os dados sempre. Por exemplo, você pode agendar uma carga incremental a cada 1 hora que atualize sempre os registros do dia anterior e atual, e a noite faça uma carga incremental que atualize os registros de 30 dias, assim diminuindo o número total de registros trafegados no dia
Critério de Histórico de Dados
O histórico de dados avalia a quantidade de anos presentes dentro de uma estrutura de dados e o impacto disso na eficiência da análise. Quanto menor o período histórico armazenado, melhor a performance do sistema e a relevância dos dados. Para reduzir a massa de dados históricos, recomenda-se a utilização de gatilhos como reciclagem de dados e cargas com um volume específico de dias ou anos.
O índice de otimização considera os seguintes parâmetros para classificação:
- Acima de 7 anos: RUIM
- Entre 6 e 7 anos: REGULAR
- Até 5 anos: BOM