Alguien sabe hacer un ETL incremental
Buenas @Sergio96 y bienvenido al foro de KNIME en Español.
KNIME es una plataforma que cubre la ciencia de datos de extremo a extremo. Desde el acceso de los datos, ETL y transformación hasta el destino de los datos.
Cuando hablas de ETL incremental te refieres a un proceso en el que sólo transformas y cargas los datos que han cambiado o se han añadido desde la última vez.
Dependiendo del caso de uso, tendrás que filtrar los datos desde una fecha determinada o comparándolos con los datos ya subidos:
-
Algo que puedes hacer en el origen (recomendado), por ejemplo añadiendo ese filtro directamente en el acceso de los datos (una base de datos o archivo).
-
Durante el workflow, filtrando ciertas fechas.
-
En el destino, seleccionando los datos que quieres subir (quizás comparándolos con los que ya existen en el destino)
En definitiva habría muchas formas de hacerlo. Espero que esto te sirva de ayuda, si no es así cuéntanos un poquito más sobre tu caso de uso.
Saludos,
Jose.
1 Like