¿Qué es el ETL? Esto y más cuestiones de Data Warehouse. (Lucía)

¿Pero qué es ETL?

Es el acrónimo de Extract, Transform, Load (Extracción, transformación y carga). Es el proceso que permite a las organizaciones mover datos desde diversas fuentes, reformatearlos y limpiarlos, y cargarlos en otra base de datos o Data Warehouse para analizar, o en otro sistema operacional para apoyar un proceso de negocio.

¿Cómo se realiza este proceso?

EXTRAER

La extracción se realiza desde los sistemas de origen. La mayoría de los proyectos de almacenamiento de datos fusionan datos provenientes de diferentes sistemas de origen. Cada sistema separado puede usar una organización diferente de los datos o formatos distintos. Normalmente se encuentran en bases de datos relacionales o ficheros planos, pero pueden incluir bases de datos no relacionales u otras estructuras diferentes. Convierte los datos a un formato preparado para iniciar el proceso de transformación. En el proceso podemos analizar los datos extraídos, de lo que resulta un chequeo que verifica si los datos cumplen la pauta o estructura que se esperaba. De no ser así son rechazados.

Un requisito importante es que la extracción cause un impacto mínimo en el sistema origen. Si los datos a extraer son muchos, el sistema de origen se podría ralentizar e incluso colapsar, provocando que éste no pueda utilizarse con normalidad para su uso cotidiano. 

TRANSFORMAR

Es la fase que aplica una serie de reglas de negocio o funciones sobre los datos extraídos para convertirlos en datos que serán cargados. Algunas fuentes de datos requerirán alguna pequeña manipulación de los datos. En otros casos pueden ser necesarias aplicar algunas de las siguientes transformaciones:

- Seleccionar sólo ciertas columnas para su carga (por ejemplo, que las columnas con valores nulos

no se carguen).

- Traducir códigos (por ejemplo, si la fuente almacena una "H" para Hombre y "M" para Mujer pero

el destino tiene que guardar "1" para Hombre y "2" para Mujer).

- Codificar valores libres (por ejemplo, convertir "Hombre" en "H" o "Sr" en "1").

- Obtener nuevos valores calculados (por ejemplo, total_venta = cantidad * precio, o Beneficio =

PVP · Coste).

- Unir datos de múltiples fuentes (por ejemplo, búsquedas, combinaciones, etc.).

- Calcular totales de múltiples filas de datos (por ejemplo, ventas totales de cada región).

- Generación de campos clave en el destino.

- Transponer o pivotar (girando múltiples columnas en filas o viceversa).

- Dividir una columna en varias (por ejemplo, columna "Nombre: García López, Miguel Ángel";

pasar a dos columnas "Nombre: Miguel Ángel", "Apellido1: García" y "Apellido2: López").

- La aplicación de cualquier forma, simple o compleja, de validación de datos, y la consiguiente

aplicación de la acción que en cada caso se requiera:

   -Datos OK: Entregar datos a la siguiente etapa (Carga).

   -Datos erróneos: Ejecutar políticas de tratamiento de excepciones (por ejemplo, rechazar el registro

   completo, dar al campo erróneo un valor nulo o un valor centinela).

CARGAR

Es el momento en el cual los datos de la fase anterior (transformación) son cargados en el sistema de destino. Dependiendo de los requerimientos de la organización, este proceso puede abarcar una amplia variedad de acciones diferentes. En algunas bases de datos se sobreescribe la información antigua con nuevos datos. Los Data Warehouse mantienen un historial de los registros de manera que se pueda hacer una auditoría de los mismos y disponer de un rastro de toda la historia de un valor a lo largo del tiempo. Existe una única forma de cargar los datos:

· Rolling: Se aplica en los casos en que se opta por mantener varios niveles de granularida (jerarquías). Para ello se almacena información resumida a distintos niveles, correspondientes a distintas agrupaciones de la unidad de tiempo o diferentes niveles jerárquicos en alguna o varias de las dimensiones de la magnitud almacenada (por ejemplo, totales diarios, totales semanales, totales mensuales, etc.).

¿Qué es un Data Warehouse?

Es una colección de datos orientada a un determinado ámbito (empresa, organización, etc.), que ayuda a la toma de decisiones en la entidad en la que se utiliza. Un expediente completo de una organización, más allá de la información transaccional y operacional, almacenado en una base de datos diseñada para favorecer el análisis y la divulgación eficiente de datos (especialmente OLAP, procesamiento analítico en línea). El almacenamiento de los datos no debe usarse con datos de uso actual. Contiene a menudo grandes cantidades de información que se subdividen a veces en unidades lógicas más pequeñas dependiendo del subsistema de la entidad del que procedan o para el que sean necesario.

La ventaja principal de este tipo de bases de datos radica en las estructuras en las que se almacena la información (modelos de tablas en estrella, en copo de nieve, cubos relacionases, etc.). Este tipo de persistencia de la información es homogénea y fiable, y permite la consulta y el tratamiento jerarquizado de la misma (siempre en un entorno diferente a los sistemas operacionales).

Este término fue acuñado por primera vez por Bill Inman, y se traduce literalmente como almacén de datos. No obstante, es mucho más que es eso, ya que como el mismo Bill definió, se caracteriza por ser:

- Integrado: los datos almacenados en el datawarehouse deben integrarse en una estructura consistente, por lo que las inconsistencias existentes entre los diversos sistemas operacionales deben ser eliminadas. La información suele estructurarse también en distintos niveles de detalle para adecuarse a las distintas necesidades de los usuarios.

- Temático: solo los datos necesarios para el proceso de generación del conocimiento del negocio se integran desde el entorno operacional. Los datos se organizan por temas para facilitar su acceso y entendimiento por parte de los usuarios finales. Por ejemplo, todos los datos sobre clientes pueden ser consolidados en una única tabla del datawarehouse. De esta forma, las peticiones de información sobre clientes serán más fáciles de responder dado que toda la información reside en el mismo lugar.

- Histórico: el tiempo es parte implícita de la información contenida en un datawarehouse. En los sistemas operacionales, los datos siempre reflejan el estado de la actividad del negocio en el momento presente. Por el contrario, la información almacenada en el datawarehouse sirve, entre otras cosas, para realizar análisis de tendencias. Por lo tanto, el datawarehouse se carga con los distintos valores que toma una variable en el tiempo para permitir comparaciones.

- No volátil: el almacén de información de un datawarehouse existe para ser leído, pero no modificado. La información es por tanto permanente, significando la actualización del datawarehouse la incorporación de los últimos valores que tomaron las distintas variables contenidas en él sin ningún tipo de acción sobre lo que ya existía.