Optimizar extracciones de bases Oracle mediante NoSQL
Publicado por Rodrigo (1 intervención) el 07/12/2016 15:20:50
Buenos días.
Antes de explicar un poco el motivo del post vale la aclaración de que soy totalmente nuevo en esto de las bdd NoSQL por lo que es posible que tenga ideas erróneas en lo planteado.
Paso a comentar:
Para ponerlos en contexto, trabajo en BI con Qlikview como herramienta principal del área. El problema lo tenemos con uno de los sistemas fuentes (producto de Oracle CC&B) que maneja, justamente, bases Oracle de gran tamaño.
En la misma, hay tablas de gran tamaño (> 1.000.000.000 de registros) que extraemos una vez por semana de manera full (SELECT * FROM Tabla). Agrego también que los registros no cuentan con una fecha de auditoría para poder hacer un incremental de las tablas, lo cual haría un giro 360° en las extracciones en cuanto a tiempos me refiero.
Qué alternativas de optimización ven a esta situación? Necesitan algún otro dato para poder llegar a una conclusión?
Una opción que me dieron fue crear un proceso que pueble una base MongoDB, que corra cada 20 minutos (por decir un tiempo) y extraiga únicamente novedades que se van generando. Luego de ahí, desde Qlikview leeríamos directamente la base MongoDB.
Muchas gracias!
Rodrigo.
Antes de explicar un poco el motivo del post vale la aclaración de que soy totalmente nuevo en esto de las bdd NoSQL por lo que es posible que tenga ideas erróneas en lo planteado.
Paso a comentar:
Para ponerlos en contexto, trabajo en BI con Qlikview como herramienta principal del área. El problema lo tenemos con uno de los sistemas fuentes (producto de Oracle CC&B) que maneja, justamente, bases Oracle de gran tamaño.
En la misma, hay tablas de gran tamaño (> 1.000.000.000 de registros) que extraemos una vez por semana de manera full (SELECT * FROM Tabla). Agrego también que los registros no cuentan con una fecha de auditoría para poder hacer un incremental de las tablas, lo cual haría un giro 360° en las extracciones en cuanto a tiempos me refiero.
Qué alternativas de optimización ven a esta situación? Necesitan algún otro dato para poder llegar a una conclusión?
Una opción que me dieron fue crear un proceso que pueble una base MongoDB, que corra cada 20 minutos (por decir un tiempo) y extraiga únicamente novedades que se van generando. Luego de ahí, desde Qlikview leeríamos directamente la base MongoDB.
Muchas gracias!
Rodrigo.
Valora esta pregunta
0