DATA WAREHOUSE - requisitos para uma arquitetura
Autor: Carlos Alberto Sowek
Após ter sido definida a construção de um Data Warehouse pela sua corporação, estabelecendo quais os objetivos bem como tendo o aval do nível gerencial, um dos passos além de modelar os requisitos que compõem a solução, é verificar onde vai ficar e como vai ser acessado o Data Warehouse. Neste sentido colocamos algumas perguntas que devem ser levadas em consideração para a definição do ambiente:
1. Em qual tipo de banco de dados serão armazenados os dados?
- Relacional.
- Multidimensional.
- Objeto relacional.
2. Quais as plataformas de hardware a serem usadas?
- MPP (Massively Parallel Processing).
- SMP (Symmetric Multiprocessing).
- SP (Single-processor).
3. Quais as ferramentas para ajudar a construir o ambiente de Data Warehouse?
- Gerenciamento de metadados.
- Transformação, limpeza e carga.
- Construção de EIS e DSS.
- Data mining.
- Acesso a web.
- OLAP no desktop.
- ROLAP no server.
- Detecção de eventos, agentes e alertas.
4. Como será liberado o dado para o usuário final?
- Ferramentas de visualização.
- Planilhas.
- Banco de dados desktop.
- Relatórios impressos.
- Aplicações especializadas.
5. O banco de dados a ser adquirido é para o ambiente:
- Corporativo?
- Corporativo e Departamental?
- Corporativo, Departamental e Remoto?
6. Qual o número de usuários?
- Com acesso ao SGBD.
- No uso da ferramenta OLAP.
- Acesso via Web.
- Fazendo data mining.
Tendo respondidas estas questões, o passo seguinte é definir os requisitos que compõem o edital, no caso de ser um órgão público e ter que fazer uma licitação para aquisição dos produtos para compor uma arquitetura de Data Warehouse.
A seguir, mostramos alguns requisitos a serem considerados na questão de aquisição de um SGBD (Sistema Gerenciador de Banco de Dados) e de uma ferramenta de transformação dos dados do ambiente legado para o ambiente de Data Warehouse. Os requisitos a serem abordados são de uma forma geral, não estão enfatizando nenhuma forma de implementação em particular. Com certeza, à medida que for entrando nos detalhes técnicos de seu ambiente e da sua solução, vão existir novos requisitos a serem acrescentados e outros a serem melhor definidos.
Requisitos para um SGBD
Devemos considerar as seguintes características:
- Processar "queries" mais rápido que num banco de dados tradicional.
- Usar estruturas de índices eficientes além do B-Tree.
- Suportar processadores SMP e/ou MPP.
- Ter arquitetura multithreaded.
- Suportar o padrão SQL-92 entry level ( no caso de buscar solução aberta, não proprietária).
- Permitir atualizações em batch.
- Ter arquitetura otimizada para operações de suporte à decisão somente para leitura.
- Suportar a criação e carga de novos índices.
- Sumarizar dados dinamicamente, sem necessidade de armazenar dados agregados.
- Suportar chaves compostas.
- Gerenciar eficientemente dados de tamanho variável.
- Organizar fisicamente os dados numa visão ótima para diferentes formas de acesso.
- Suportar grandes e diversas demandas da rede.
- Executar consultas massivas.
- Permitir a distribuição dos dados.
- Explorar os processadores disponíveis no hardware.
- Implementar os VLDB´s.
- Paralelizar todas as operações.
Requisitos para uma Ferramenta de Transformação
Estas ferramentas devem ter as seguintes características:
- Suportar várias fontes de dados e plataformas escolhidas.
- Entender os tipos de dados e fazer a conversão necessária para povoar a plataforma do ambiente analítico.
- Capturar mudanças no ambiente operacional.
- Suportar múltiplos tipos de transformação tais como: integração, decodificação e agregação, e assim por diante.
- Adicionar novas transformações de forma automática.
- Garantir a integridade do dado.
- Armazenar metadados em um modo aberto e acessível ao usuário.
Referências Bibliográficas:
WATERSON, Karen. Attention, data-mart shoppers. Byte, Peterborough, v.22, n.7, p.73-78, July 1997.