ModernoPapo

Boa noite amigos(as).

Recebi há alguns dias o e-mail do amigo Jefferson Colares, Consultor SAP, sob o sugestivo título: “licenças Xcelsius grátis”. Brincadeiras à parte, a SAP está oferecendo, até o dia 31/12/2010, licenças do Crystal Presentation Design (antigo Xcelsius Engage).

Conforme o próprio Jefferson destacou, é uma excelente oportunidade para dar uma incrementada nas suas planilhas e de quebra familiarizar-se com uma das ferramentas mais comentadas atualmente entre os clientes e implementadores de BI.

Gostou? Então não perca tempo. Clique no link abaixo, cadastre-se e mãos à obra!

http://events.businessobjects.com/forms/Q210/present/sap/

Construir um projeto de Data Warehouse (DW) é dispendioso e demora um bom tempo. Tudo depende do tamanho da empresa, do número de bases de dados que irão integrar o projeto, interfaces com outros sistemas, quantidade de pessoas na equipe, comprometimento e dedicação para implementação, ferramentas utilizadas, etc.

Percebendo isso, os arquitetos, resolveram segmentar a construção do DW, começando por departamentos a criação do mesmo. Ao invés de fazer o caminho tradicional, que é construir um DW e a partir dele os Data Marts (DM´s), fizeram o contrário. Começava-se pelos DM´s e esses iriam fazer a alimentação no Data Warehouse (DW). As vantagens são muitas. A principal é o tempo de implementação. Há alguns casos que um DM para área comercial foi construído em apenas 3 meses.

Os Data Marts são bancos de dados modelados multidimensionalmente, orientados aos departamentos de uma empresa, por exemplo, a área comercial, financeira, marketing e logística construíram vários Data Marts (DM´s) cada uma. Ao final de dois anos, eles passaram a alimentar um DW que depois de implementado, passou a fazer o caminho inverso, que é de alimentar os DM´s. Então com essa fundamentação, podemos definir que os  DM´s podem surgir de duas maneiras. A primeira é top-down e a segunda é a botton-up.

Top-down: é quando a empresa cria um DW e depois parte para a segmentação, ou seja, divide o DW em áreas menores gerando assim pequenos bancos orientados por assuntos aos departamentos.

Botton-up: é quando a situação é inversa. A empresa por estratégia sua, prefere primeiro criar um banco de dados para somente uma área. Com isso os custos são bem inferiores de um projeto de DW completo. A partir da visualização dos primeiros resultados parte para outra área e assim sucessivamente até resultar em um Data Warehouse.

A infra-estrutura de software e hardware é semelhante, porém a arquitetura dos dados pode ser bem diferente. No DW podemos ter o modelo de dados híbrido ou pode ser completamente relacional, já no DM o modelo é totalmente dimensional. A complexidade de tratamento das informações no DW são maiores, porque temos de olhar toda a estrutura da empresa, já no DM fica mais fácil, pois estamos olhando apenas uma parte dela. Portanto, cabe a cada empresa avaliar a sua demanda e optar pela melhor solução. Segundo estimativas, enquanto um Data Mart custa em torno de US$ 100 mil a US$ 1 milhão e leva cerca de 120 dias para estar pronto, um DW integral começa em torno dos US$ 2 milhões e leva cerca de um ano para estar com a sua primeira versão em produção.

Áreas de Armazenamento

Staging (Staging Área)	Data Warehouse (DW)	Data Mart (DM)

Staging (Staging Área)

• Recepção de dados
• Sem índices, sem constraints
• Carga rápida (bulk loading)
• Volátil

Data Warehouse (DW)

• Dados integrados e organizados por assunto
• Histórico de informações da empresa
• Esquema estrela (fatos e dimensões)
• Não-Volátil
• Metadados
• Grande volume de dados

Data Mart (DM)

• Dados agregados
• Não possui necessariamente um histórico das informações
• Esquema estrela (fatos e dimensões)
• Pode ser reconstruído a partir dos dados existentes no DW
• Pequeno volume de dados
• Otimizado para consultas pontuais

Tecnologias Utilizadas

• Banco de dados (Relacional ou Multi-dimensional)
• ETL (Extract, Transform and Load)
• OLAP (On Line Analytical Processing)
• Data-Mining

Importante: Todas essas tecnologias citadas acima têm as suas ferramentas e especializações adequadas ao negócio.

A última “camada” de análise e mensuração dos dados, o Data Mining (Mineração dos Dados), é responsável por extrair informações de grandes bancos de dados operacionais para construir segmentos e desenvolver modelos preditivos que são mais adequados para responder a pergunta de negócio em mãos e existem ferramentas para tal, porém falaremos mais sobre isso nos próximos artigos.

Formas de Construir um DW

Inmon x Kimball

Modelagem Multidimensional

È uma técnica de concepção e visualização de um modelo de dados de um conjunto de medidas que descrevem aspectos comuns de negócios. É utilizada especialmente para sumarizar e reestruturar dados e apresentá-los em visões (camada de apresentação) que suportam a análise dos valores desses dados.

Exemplo de modelo dimensional do Data Warehouse:

Um modelo multidimensional é formado por 3 elementos básicos:

• Fatos
• Dimensões
• Medidas (variáves)

Outro Exemplo de Modelo Dimensional

Fatos

É um coleção de itens de dados, composta de dados de medidas e de contexto.

Cada fato representa um item, uma transação ou um evento de negócio e é utilizado para analisar o processo de negócio de uma empresa. É tudo aquilo que reflete a evolução dos negócios do dia-a-dia de uma organização.

Características:

• É representada por valores numéricos
• Implementados em tabelas denominadas “tabelas de fato” (fact tables)

Dimensões

São elementos que participam de um fato, assunto de negócios.

São possíveis formas de visualizar os dados, ou seja, são os “por” dos dados: “por mês”, “por país”, “pos produto”, “por região”, “por funcionário”, e por aí vai…

Dimensões normalmente não possuem atributos numéricos, pois são somente descritivas e classificatórias dos elementos que participam de um fato.

Tipos de Dimensões

Dimensão “Normal”

• Novas linhas criadas, sem deleção

SCD Tipo 1

• Sem preservação de histórico

SCD Tipo 3

• Retenção de histórico limitada
• Dois estados são preservados: novo e antigo
• Nova coluna criada

SCD Tipo 2

• Preservação ilimitada de histórico
• Novas linhas criadas
• Coluna de status

Medidas (variáveis)
São os atributos numéricos que representam um fato, a performance de um indicador de negócios relativo às dimensões que participam desse fato, e que tais números são denominados de variáveis.

Segundo Kimball, desenvolver um Data Warehouse é um questão de casar as necessidades dos seus usuários com a realidade dos dados disponíveis.

Bom, espero ter acrescentado mais sobre Ambientes de BI bem como os princípio básicos de construção de DW e DM. Nos próximos assuntos, estarei abordando sobre Arquitetura de DW. Até a próxima!

Referências Bibliográficas:

Tecnologia e Projeto de Data Warehouse, Felipe Nery Rodrigues Machado, 2007.

Construindo Ambiente de BI

Segundo Kimball, o DW é a fonte de dados para consultas na organização, ou nada menos que a união de todos os Data Marts já constituídos. Pode ser visto também como uma grande base de dados que apresenta diversos níveis sintéticos dos dados operacionais, cujo objetivo maior é o de fornecer informação estratégica integrada, segundo uma visão holística da organização.

Normalmente, é construída sob a forma de fatos (mensuráveis) e as dimensões sob as quais podem ser analisados (exemplo: as campanhas de marketing na região sul foram de R$ 7.568.000,00 no mês de dezembro de 2007; onde o fato é valor das campanhas e as dimensões são a região e o mês, assim com o ano);
Para Kimball, o Data Mart (DM), é um expoente defensor de construções de DM, afirma que os data marts são subconjuntos de um DW completo. Podemos assim entender DM como pequenos DW, de visão departamental ou de área interesse ou área assunto bem definida, com o propósito de fornecer visão estratégica dos dados setorizados;
Kimball, também define OLAP, advindo da expressão On-Line Analytic Processing, como a atividade de consulta e apresentação de dados textuais e numéricos em um DW;

Todos esses aspectos de se construir o ambiente de BI, além de outros fatores (Ferramentas, Arquitetura, Recursos, etc) são muito importantes na concepção desta plataforma em qualquer instituição organizacional. Porém, não deve ser encarado como o objetivo final de qualquer construção de ambiente de BI. No entanto, muitas vezes, os focos dos altos investimentos não são colocados de forma prioritária como realmente deveria ser.

Data Warehousing (DWing)

Todos nós sabemos que os bancos de dados são de vital importância para as empresas e também estamos cientes de que sempre foi difícil analisar os dados neles existentes. Tudo isso porque geralmente as grandes empresas detêm um volume enorme de dados e esses estão em diversos sistemas (transacionais) diferentes espalhados por ela. Não conseguíamos buscar informações que permitissem tomarmos decisões embasadas em um histórico dos dados.

Em cima desses históricos podemos identificar as tendências e posicionar a empresa estrategicamente para ser mais competitiva e consequentemente aumentar e maximizar os lucros para que o índice de erros diminua numa tomada de decisão de gestores da empresa.

Pensando nisso, introduziu-se um novo conceito no mercado, o de Data Warehouse (DW). Esse conceito consiste em organizar os dados corporativos de maneira integrada, com uma única versão da verdade, histórico, variável com o tempo e gerando uma única fonte de dados, que será usada para abastecer os Data Marts (DM) – que resumidamente pode ser considerado um subconjunto do Data Warehouse (DW). Com essa visão, permite aos gerentes e diretores das empresas tomarem decisões baseadas em fatos concretos e não em hipóteses ou intuições, cruzando informações de diversas fontes. Isso agiliza a tomada de decisão e minimiza os erros. Tudo isso em um banco de dados paralelo aos sistemas transacionais da empresa.

Histórico

Componentes tradicionais da arquitetura

Objetivos

Repositório de dados históricos da companhia

Matéria-prima para sistemas de apoio à decisão

Possibilita a execução de análises e consultas complexas

Características (segundo Bill Inmon)

Orientado ao assunto
Os dados são organizados de modo que todos os elementos relacionados ao mesmo evento no mundo real estejam conectados entre si. (Ex: Vendas deve conter dados do sistema de vendas no varejo, do de vendas no atacado e do de vendas pela Internet)

Variante no tempo
Os dados no banco são registrados de forma que qualquer relatório possa refletir a situação em um determinado momento no tempo (Ex: Relatório “Vendas por regional” de 2 anos atrás)

Não-volátil
Os dados já gravados no banco não são jamais alterados ou deletados.

Integrado

O banco contém dados extraídos de quase todos os sistemas transacionais da empresa e esses dados têm que ser mantidos de forma consistente. (Ex: código do produto, endereços, etc)

No próximo artigo, falarei sobre a construção de DW e DM.

Até!