etl

A collection of 65 posts

open source

Novedades en Knime 5.3

Durante este verano, se lanzó la versión Knime 5.3, una herramienta que nos encanta y de la que os vamos a contar sus principales novedades Pero antes, si queréis conocer Knime, os dejamos nuestro tutorial en español gratuito, que puedes descargar KNIME es una plataforma open source para analítica

airflow

Windmill, alternativa a Apache Airflow

🚀 Esta es la nueva alternativa open source para orquestación de data pipelines que mejora a Apache Airflow en muchos puntos. Os cuento!! 🔎 Windmill es una herramienta de código abierto que permite la orquestación de scripts en diversos lenguajes como TypeScript, Go, Python, Bash... 𝗗𝗲𝘀𝗰𝗮𝗿𝗴𝗮𝗿: https://windmill.dev/ Descargar paper ✅ En adición

spark

Top Open Source Data Integration Tools

Estas son las mejores herramientas y tecnologías open source que nos permiten 'mover datos de un sitio a otro' Os doy un poco de contexto sobre lo de 'mover datos de un sitio a otro': * ETL: (Extract, Transform, Load) * ELT: (Extract, Load, Transform) * CDC (Change Data

dbt

dbt, en una Moderna Arquitectura de Datos

🚀 dbt, explicado!! 🛠 Gran herramienta Open Source para agilizar el proceso de transformación de datos promoviendo la reutilización y el uso de código altamente legible 𝗖𝗢𝗡𝗧𝗘𝗡𝗜𝗗𝗢: ✅ ¿QUÉ ES DBT? ✅ INFORMACION FUNCIONAL Y TÉCNICA - ¿Cómo funciona dbt?-¿Cuáles son las principales características de dbt? - dbt Core vs dbt Cloud -

data governance

Top 25 Data Lineage tools for Data Governance

💎 Do you know the importance of Data Lineage within a Data Governance project? 🚀 Here are the best 25 Data Lineage tools (both commercial and open source) to achieve it ✅ A few days ago I told you about the best way to approach a Data Governance project, by using an initial

pentaho

Integración de Sharepoint con Pentaho Data Integration

Acceder a la información de Microsoft Sharepoint, como una fuente de datos más, cada vez es más interesante para las compañías, de cara a poder integrar esa información en su Data Lake corporativo Aquí se recogen algunos ejemplos de integración entre Sharepoint y Pentaho Data Integration (PDI). Sharepoint es ampliamente

sap

SAP connection tools for process automation: Microsoft, Pentaho, Talend (User Guide)

This document gathers a series of tools used for process automation. A brief introduction of each tool will be made, as well as the most common advantages and disadvantages when working with this tool will be explained and finally for each tool it will be explained how it can be

pentaho

Debería migrar de Pentaho Data Integration a Apache Hop?

Buena pregunta, en la actualidad, hay muchas implementaciones realizadas con PDI. Apache Hop, en cuyo proyecto está colaborando el propio Matt Casters, creador de PDI, propone cosas muy interesantes. Antes de daros unas pautas y consejos, os recomendamos unos videotutoriales, papers y materiales que hemos venido publicando, para conocer mejor

talend

Como aprender a crear ETLs y Data Governance con Talend

Cada vez son más importantes las herramientas para orquestar los procesos de ingesta de datos y una de las mejores herramientas es Talend, que tiene versión Open Source y una completa solución comercial para todo tipo de organizaciones Nuestros amigos de Stratebi (Partners Gold [https://www.stratebi.com/talend]), nos

etl

Acho.io, herramienta para unificar las cargas de datos

1. Introducción Acho.io es una herramienta web que permite integrar, transformar y publicar datos desde diversas fuentes enumeradas en la sección “Fuentes de datos actualmente soportadas” de este documento. La plataforma cuenta con funcionalidades de visualización, combinación de consultas, transformación, limpieza de datos y ejecución de fórmulas y consultas

etl

Dagster, the open source data orchestration platform

1. Introducción Dagster es una plataforma para la orquestación de flujos de datos. Dagster permite la creación de ‘Jobs’ (o ‘Trabajos’) que orquestan el flujo de datos entre componentes lógicas llamadas ‘Ops’. El desarrollo de los ‘Jobs’ puede hacerse de manera local y desplegarse en cualquier sitio. Dagster se instala

etl

Comparando Airbyte con Azure Data Factory para ingesta de pipelines

El propósito de este documento es hacer una demo y una comparativa de la herramienta Airbyte [https://airbyte.io/] con Azure Data Factory [https://azure.microsoft.com/es-es/services/data-factory/]. Se van a tratar los aspectos generales de la herramienta Airbyte, una plataforma EL(T) que nos ayuda a la

talend

10 trucos sencillos y útiles con Talend

gratuitamente Talend, conoce la mejor solución para Gobierno del Dato e Integración 14 de abril Registro Tip 1: Jobs explicativos Resumen: El propósito de este tip es recordar la importancia de realizar proyectos con componentes descriptivos. Dificultad: 1 Utilidad: 5 Desarrollo: Establecer a los repositorios, proyectos y trabajos nombres descriptivos

bi open source

Tutorial para conocer Apache Nifi

Apache NiFi [https://nifi.apache.org/] es un sistema de flujo de datos basado en los conceptos de programación basada en flujo (FBP, del inglés Flow-Based Programming). Descargar Tutorial en español [https://stratebi.es/todobi/Feb21/Apache_NiFi.pdf] sobre Apache Nifi Admite gráficos dirigidos de enrutamiento de datos, transformación

open source

Amundsen.io, Open source data discovery metadata engine

Os presentamos una herramienta Open Source muy interesante de los desarrolladores de Lyft (el blablacar americano): Amundsen.io. Os contamos lo que puede hacer Descubrir datos de confianza Busca datos dentro de la organización mediante una simple búsqueda de texto. Un algoritmo de búsqueda inspirado en PageRank recomienda resultados basados

sap

Como extraer y trabajar con los datos de SAP

Cada vez es más importante, para la construcción de robustos y completos Data Lakes, así como de potentes Dashboards y sistemas de información analítica, integrar las fuentes de datos más importantes de las organizaciones Por ello, en este paper gratuito, os indicamos como podemos conectarnos a las diferentes aplicaciones de

etl

Apache Beam: Introducción

Apache Beam es un modelo unificado de código abierto para definir pipelines de procesamiento de datos por lotes o de streaming. Actualmente, Apache Beam SDK tiene soporte para tres lenguajes de programación: Java, Python y Go. Los pipelines se programan usando uno de los SDKs mencionados anteriormente y luego se

etl

Conociendo Hop ETL Open Source

Gracias al gran Matt Casters, buen amigo, creador de Kettle (Pentaho Data Integration), se encuentra embarcado en el desarrollo de una nueva herramienta ETL open Source, Hop (os contamos todas las novedades que ya incluye: Aquí puedes descargar el paper gratuito en español con toda la información Hop es un

etl

Que es Apache Airflow

Apache Airflow es una herramienta de orquestación que permite crear, programar y monitorizar flujos de trabajo mediante programación en Python. Estos flujos de trabajos se representan como Grafos Acíclicos Dirigidos o DAGs (del inglés Directed Acyclic Graph) de tareas / procesos, es decir grafos donde los datos fluyen en una sola

etl

Paper: Apache Atlas para tus procesos de datos

Apache Atlas [https://atlas.apache.org/2.0.0/index.html] es una herramienta open-source, con licencia Apache 2.0, para la gobernanza del dato la cual permite la integración con todo el ecosistema de datos de las empresas. Puedes descargarte un paper en español [http://stratebi.es/todobi/May20/

talend

Paper gratuito: Talend Cloud (Data Preparation y Data Stewardship)

Os dejamos un paper bien completo de una de las herramientas más completas de integración, Talend, que además, como sabéis, tiene también una versión Open Source Hoy os podéis descargar directamente desde aquí, este completo paper, en donde abordamos algunas de las funcionalidades más diferenciadoras de esta suite: Si queréis

pentaho

Novedades Pentaho Data Integration 9.0

1.  Novedades Pdi 9.0 Las principales novedades de PDI 9.0 [https://help.pentaho.com/Documentation/9.0/What's_new_in_Pentaho_9.0] son las siguientes: Multi-clúster de Hadoop * Los usuarios pueden acceder y procesar datos de múltiples clústeres de Hadoop, de diferentes distribuciones y versiones,

etl

Tweakstreet, un nuevo ETL open source

Tweakstreet es una herramienta de ETL e integración de datos muy enfocada a usuarios no formados en ningún lenguaje de programación de uso general como Java o Python. Además, es Open Source, creada por un antiguo desarrollador  de Pentaho Está orientada a trabajar solamente a nivel de datos, lo que

talend

Descarga el paper con tips para Talend

Os damos acceso a un interesante paper de nuestros compañeros de Stratebi , Partners de Talend (la potente solución ETL open source, con versión también Enterprise), que aborda los temas de la integración con Google Big Query, como realizar cargas incrementales y debugging Descargar paper Mas info: Caso Practico: trabajando con

talend

Caso Practico: trabajando con APIs y Talend

En este ejercicio practico, vamos a enriquecer el flujo de datos con API de datos estadísticos. Descargar [http://www.stratebi.es/todobi/Ago18/APIs_Talend_Stratebi.pdf] Documento completo 1      Introducción El propósito de este documento es demostrar como con un pequeño ejemplo se puede establecer un flujo de datos