Configuración de BD
Hola yalayon,
Quisiera preguntarte acerca de como configurar la base de datos para una aplicación que maneja mucha información.
El problema está en que hago uso de una herramienta que procesa mensualmente los datos de entrada para un operador de telecomunicaciones que tiene
aproximadamente 14.000.000 de clientes. Esa herramienta se encargará de procesar los consumos de los clientes del operador y almacenará los resultados
de su procesamiento en tablas. Sin embargo, el cálculo para cada cliente depende de una configuración de productos, es decir, los resultados por cada
cliente pueden llegar a ocupar un máximo de 50 registros.
Tomando este valor como referencia (en el peor de los casos) tendríamos un total de 700.000.000 de registros por cada mes.
Como debemos almacenar un histórico de 6 meses de los datos calculados, tendríamos un total de 4.200.000.000 de registros.
¿Es posible almacenar tanta información?
¿Cómo tendría que configurar las tablas de la base de datos para almacenar tanta información?
Un saludo,
barquisimeto
Quisiera preguntarte acerca de como configurar la base de datos para una aplicación que maneja mucha información.
El problema está en que hago uso de una herramienta que procesa mensualmente los datos de entrada para un operador de telecomunicaciones que tiene
aproximadamente 14.000.000 de clientes. Esa herramienta se encargará de procesar los consumos de los clientes del operador y almacenará los resultados
de su procesamiento en tablas. Sin embargo, el cálculo para cada cliente depende de una configuración de productos, es decir, los resultados por cada
cliente pueden llegar a ocupar un máximo de 50 registros.
Tomando este valor como referencia (en el peor de los casos) tendríamos un total de 700.000.000 de registros por cada mes.
Como debemos almacenar un histórico de 6 meses de los datos calculados, tendríamos un total de 4.200.000.000 de registros.
¿Es posible almacenar tanta información?
¿Cómo tendría que configurar las tablas de la base de datos para almacenar tanta información?
Un saludo,
barquisimeto
1 Respuesta
Respuesta de yalayon
1
Es bastante data.
Tienes que tomar en cuenta algo:
¿Es una BD OLTP o de solo Inserción y consulta?
En caso de solo ser inserción y consulta, te recomiendo lo siguiente:
1.- Migra la data o si tienes 9i en adelante, creas tablespace que manejen un bloque de BD mayor de 8k, lo más alto que puedas (32k por ejemplo).
2.- Crea las tablas con un extent inicial del tamaño total que normalmente ocupe la tabla, con next extent de quizás 5M o 10M (sometido a tu análisis).
3.- Los tablespace deben ser manejados de forma local.
4.- Particiona las tablas por un orden lógico y acorde a tu negocio, en dónde cada partición física se encuentre en un disco aparte.
5.- Mantén las estadísticas actualizadas.
6.- Mantén el menor numero índices posibles, incluso di la data de selectividad es muy repetida, podrías pensar en crear índices tipos bitmaps.
7.- Tu SGA debe ser lo suficientemente grande, 60% de la memoria del Servidor y que internamente sea de manejo automático.
8.- Implementa UNDO suficientemente grande también.
9.- Crea un tablespace TEMP especial aparte para el usuario de la BD que manejará dicha dada.
Tienes que tomar en cuenta algo:
¿Es una BD OLTP o de solo Inserción y consulta?
En caso de solo ser inserción y consulta, te recomiendo lo siguiente:
1.- Migra la data o si tienes 9i en adelante, creas tablespace que manejen un bloque de BD mayor de 8k, lo más alto que puedas (32k por ejemplo).
2.- Crea las tablas con un extent inicial del tamaño total que normalmente ocupe la tabla, con next extent de quizás 5M o 10M (sometido a tu análisis).
3.- Los tablespace deben ser manejados de forma local.
4.- Particiona las tablas por un orden lógico y acorde a tu negocio, en dónde cada partición física se encuentre en un disco aparte.
5.- Mantén las estadísticas actualizadas.
6.- Mantén el menor numero índices posibles, incluso di la data de selectividad es muy repetida, podrías pensar en crear índices tipos bitmaps.
7.- Tu SGA debe ser lo suficientemente grande, 60% de la memoria del Servidor y que internamente sea de manejo automático.
8.- Implementa UNDO suficientemente grande también.
9.- Crea un tablespace TEMP especial aparte para el usuario de la BD que manejará dicha dada.
