Guida all'integrazione di Apache Spark e n8n
Le Modulo N8N in Ilum brings powerful, low-code workflow automation to your data lakehouse environment. Design visual ETL pipelines, orchestrate complex Apache Spark jobs, and integrate data processes with third-party business apps—all through a clean drag-and-drop editor fully embedded in the Ilum platform.
🚀 What is n8n?
n8n is a leading workflow automation tool that lets you connect APIs, databases, and services with a simple visual interface. Ilum integrates n8n as a native module, transforming it into a robust Data Orchestration tool. With Ilum, it treats Apache Spark as a first-class citizen, allowing you to trigger heavy-lifting data tasks alongside operational logic.
Con l'editor di flussi di lavoro visivi di n8n, puoi facilmente progettare, testare e implementare sequenze di automazione che coinvolgono l'ingestione, la trasformazione, l'analisi e l'attivazione delle azioni dei dati, accelerando lo sviluppo e riducendo lo sforzo manuale.
Vantaggi principali
- Creazione del flusso di lavoro visivo: Progetta automazioni complesse utilizzando un'interfaccia drag-and-drop.
- Ampia connettività: Connetti i servizi Ilum con centinaia di applicazioni e API esterne.
- Low-Code/No-Code: Crea flussi di lavoro potenti con una codifica minima richiesta, democratizzando l'automazione.
- Integrazione profonda di Ilum: Sfrutta i componenti specifici di Ilum direttamente all'interno dei tuoi flussi di lavoro utilizzando i nodi personalizzati (Enterprise Edition).
- Attivazione flessibile: Start workflows based on schedules (cron), webhooks, manual triggers, or events from cloud storage (S3/GCS).
Come installare
Solo un parametro aggiuntivo durante l'installazione/aggiornamento --set ilum-n8n.enabled=vero
helm install ilum ilum/ilum --set ilum-n8n.enabled=true
Se si riscontrano problemi nell'accesso a n8n da un host remoto tramite HTTP (non HTTPS), potrebbe essere necessario disabilitare i cookie sicuri aggiungendo la seguente configurazione ai valori di Helm:
n8n:
principale:
extraEnvVars:
N8N_SECURE_COOKIE: "falso"
Un messaggio di avviso relativo a questo problema
Ciò consente a n8n di funzionare su connessioni HTTP. Utilizzare questa impostazione solo in ambienti attendibili, non di produzione o di sviluppo.
Nodi personalizzati Ilum (Enterprise Edition)
L'edizione Enterprise di Ilum include diversi nodi n8n personalizzati progettati per una profonda integrazione con le funzionalità della piattaforma data lakehouse. Questi nodi forniscono un accesso diretto alle funzionalità principali di Ilum:
1. SparkSQL
- Descrizione: Esegue query Apache Spark SQL ad hoc direttamente sui dati all'interno di Ilum Data Lakehouse. Recupera, filtra, aggrega e trasforma i dati utilizzando la potenza di Spark SQL senza uscire dal flusso di lavoro.
- Uso: Ideale per l'estrazione dei dati, l'analisi rapida e la preparazione dei dati per le fasi successive del flusso di lavoro.
- Best For: Ad-hoc analysis, data quality checks, and passing small datasets to other apps.
- Strumento agente AI: Può anche essere configurato come strumento per il nodo AI Agent, consentendo ai modelli di AI di interrogare i dati in modo dinamico in base a istruzioni o ragionamenti in linguaggio naturale.
2. Microservizio Spark
- Descrizione: Richiama i microservizi Apache Spark personalizzati distribuiti all'interno del livello di servizio Ilum. Questi microservizi incapsulano il codice Spark o PySpark standard (ad esempio, trasformazioni complesse, inferenza del modello ML, logica di elaborazione dati personalizzata) e li espongono tramite un'API REST. È molto simile a Spark Connect.
- Uso: Consente di attivare la complessa logica Spark esistente su richiesta e di ricevere i risultati direttamente nel flusso di lavoro n8n tramite una chiamata API. Perfetto per applicazioni Spark personalizzate all'interno di pipeline automatizzate.
- Best For: Real-time inference, event-driven processing, and reusable data transformations.
3. SparkActions (strumento agente AI)
- Descrizione: Questo nodo funge da strumento per l'agente AI. Consente all'agente di intelligenza artificiale di generare ed eseguire dinamicamente frammenti di codice Apache Spark personalizzati in base al contesto o alle istruzioni che riceve.
- Uso: Abilita scenari avanzati in cui un agente di intelligenza artificiale deve eseguire manipolazioni o calcoli di dati su misura al volo all'interno dell'ambiente Spark.
- Best For: Generative AI use cases, dynamic code generation, and complex, unstructured data tasks.
4. Ilum (strumento agente AI)
- Descrizione: Funziona come uno strumento versatile per l'agente AI, fornendo l'accesso a un'ampia gamma di informazioni e funzionalità della piattaforma Ilum tramite la sua API REST interna.
- Uso: Consente all'agente AI di:
- Interrogare il catalogo dati Ilum (ad esempio, trovare set di dati, visualizzare schemi).
- Recupera le statistiche delle tabelle e le metriche di qualità dei dati.
- Accedi ad altri metadati della piattaforma e alle informazioni operative.
- In sostanza, interagisci con gran parte delle informazioni visibili all'interno dell'interfaccia utente di Ilum o disponibili tramite la sua API.
- Best For: Metadata management, catalog exploration, and platform monitoring via AI.
5. Lotto scintillante
- Descrizione: Attiva i processi batch Apache Spark standard configurati all'interno della piattaforma Ilum.
- Uso: Utilizzare questo nodo per avviare processi batch Spark predefiniti e potenzialmente a esecuzione prolungata come parte del flusso di lavoro automatizzato (ad esempio, ETL su larga scala, training del modello).
- Best For: Heavy ETL, nightly reporting jobs, and long-running model training.
📦 Licensing & Usage
⚠️ Users must follow n8n’s license model.
Clienti con un attivo Licenza Ilum Enterprise può anche ricevere un Licenza n8n Enterprise Come parte del loro abbonamento, sbloccando funzionalità come il controllo avanzato degli accessi, le esecuzioni illimitate e il supporto premium.
Scopri di più sulle licenze n8n qui: n8n.io/pricing
🧪 Try It Out
Vai alla pagina Moduli > n8n sezione in Ilum a:
- Avviare un nuovo flusso di lavoro
- Usa i nodi Ilum per connetterti a Spark, MinIO, SQL e altro ancora
- Attiva le pipeline in base al tempo, agli eventi o alle condizioni
- Crea e ripeti in un ambiente completamente visivo
Real-World Use Cases
Ilum’s n8n integration bridges the gap between data engineering e business operations. Here are common ways to leverage this integration:
1. Automated ETL Pipelines
Replace rigid scripts with visual flows.
- Trigger: Scheduled daily at 2:00 AM.
- Action: n8n pulls raw data from CRM APIs (Salesforce, HubSpot) and loads it into object storage.
- Process: Le SparkBatch node triggers a heavy Spark job to clean, merge, and transform this data into your Lakehouse format (Delta/Iceberg/Hudi).
- Result: Analytics-ready data is available by start of business.
2. Event-Driven Data Processing
React to data instantly instead of waiting for batches.
- Trigger: A file is uploaded to an S3 bucket (webhook event).
- Process: n8n receives the event and passes the file path to a Spark Microservice node.
- Action: The microservice runs a specific PySpark inference script to classify the document content.
- Result: The classification is tagged in the database, and a Slack notification is sent to the relevant team.
3. AI-Powered Data Analysis
Empower non-technical users to query data.
- Trigger: A user asks a question in a chat interface (e.g., Slack/Teams).
- Process: Le Ilum AI Agent (using the SparkSQL tool) parses the natural language query into SQL.
- Action: The query runs against the Data Lakehouse, returning aggregated metrics.
- Result: The user receives a summarized answer and a chart image directly in the chat.
n8n as a Data Orchestrator
While tools like Apache Airflow are built for pure code-based orchestration, n8n offers a compelling alternative for hybrid workflows:
| Caratteristica | Code-Based (e.g., Airflow) | Visual (n8n on Ilum) |
|---|---|---|
| Interface | Python Code | Visual Drag-and-Drop |
| Connectivity | Data-focused | 350+ Apps (CRM, Social, Email, Data) |
| Spark Support | Via Operators | Native Ilum Spark Nodes |
| Ideale per | Heavy, complex dependency DAGs | Agile ETL, Operational Data Apps, AI Agents |
Using n8n allows data engineers to build the core processing logic in Spark, while allowing operations teams to manage the triggers, alerts, and downstream actions visually.
💬 Need Help?
For advanced workflows or custom use cases, contact the Ilum team. We’re happy to help you design, optimize, and scale your data automation pipelines.