Vai al contenuto principale

Tutto in uno

Grafico dello stato All In One che contiene tutte le dipendenze in un unico pacchetto.

TL; DR​

$ helm repo Aggiungere ilum https://charts.ilum.cloud
$ helm install ilum ilum/ilum
$ kubectl port-forward svc/ilum-ui 9777:9777

Installazione del grafico​

Per installare il grafico con il nome della versione ilum:

$ helm install --dependency-update ilum ilum/ilum

Il comando distribuisce ilum nel cluster Kubernetes nella configurazione predefinita.

Disinstallazione del grafico​

Per disinstallare/eliminare il file ilum spiegamento:

$ helm delete ilum

Il comando rimuove tutti i componenti Kubernetes associati al grafico ed elimina la versione.

Parametri​

Tutti i parametri predefiniti per i componenti ilum sono forniti in valori.yaml file.

Sono configurati con alcuni valori predefiniti affinché ilum sia operativo appena estratto dalla scatola.

Per verificare tutti i parametri supportati e i relativi valori predefiniti, visitare il sito Web README.md file in ilum-core e ilum-ui Grafici.

Internationalization​

The UI language set and runtime translation overrides are configured under the ilum-ui: key (ilum-ui.runtimeVars.availableLanguages, ilum-ui.runtimeVars.defaultLanguagee ilum-ui.i18n.extraLocaleConfigMaps). For correcting translations, adding a language, or testing changes without rebuilding, refer to Languages & translations.

Distribuzioni di esempio​

Utilizzo di kafka come tipo di comunicazione​

helm install --dependency-update --mettere kafka.enabled=vero --mettere ilum-core.communication.type=kafka ilum ilum/ilum

Uso di gRPC come tipo di comunicazione (impostazione predefinita)​

helm install --dependency-update ilum ilum/ilum

Uso di gRPC come tipo di comunicazione e porta gRPC esposta​

ad esempio, per consentire a Yarn di raggiungere il servizio gRPC

helm install --dependency-update --mettere kafka.enabled=falso --mettere ilum-core.communication.type=grpc --mettere ilum-core.grpc.host=<k8s-exposed-host> --mettere ilum-core.grpc.nodePort=<k8s-exposed-port> --mettere ilum-core.grpc.type=NodePort ilum ilum/ilum

ilum-livy-proxy​

Si prega di essere consapevoli del fatto che ilum-livy-proxy non è incluso nel pacchetto ilum per impostazione predefinita. Se si desidera eseguire questo servizio, Aggiungere --set ilum-livy-proxy.enabled=vero al comando di installazione.

Giove​

Tieni presente che il notebook Jupyter non è incluso nel pacchetto ilum per impostazione predefinita. Se si desidera eseguire questo servizio, Aggiungere --set ilum-jupyter.enabled=true al comando di installazione.

Se si desidera accedere all'interfaccia utente di Jupyter, il modo migliore per farlo consiste nel configurare un ingresso o nell'utilizzare il comando port-forward kubectl port-forward svc/ilum-jupyter 8888:8888

Apache Zeppelin​

Tieni presente che il notebook Zeppelin non è incluso nel pacchetto ilum per impostazione predefinita. Se si desidera eseguire questo servizio, Aggiungere --set ilum-zeppelin.enabled=vero al comando di installazione.

Se vuoi accedere all'interfaccia utente di Zeppelin, il modo migliore per farlo è configurare un ingresso o utilizzare il comando port-forward Kubectl Port-Forward SVC/ILUM-Zeppelin 8080:8080

Flusso d'aria Apache​

Apache Airflow is a powerful platform for orchestrating and managing data workflows. To read more about Airflow in Ilum, visit the Airflow documentation page.

nota

Airflow is not enabled in the Ilum package by default. To deploy Airflow, add --set airflow.enabled=vero al comando di installazione.

Once enabled, Airflow will appear in the Ilum UI under the Moduli section.

Informazioni

Airflow can leverage Ilum’s Livy proxy to easily create jobs within Ilum. For more details, see the Livy proxy section above.

Airflow is preconfigured to use the default port-forward method of connection. This means that even if you access Ilum via a different URL than localhost:9777, Airflow will still try to redirect you to the default URL. To avoid this, you can configure the Airflow base URL in the Helm values:

  airflow:
    configurazione:
      API:
        base_url: "http://:/external/airflow"

Marquez​

Si prega di essere consapevoli del fatto che Marquez non è incluso nel pacchetto ilum per impostazione predefinita. Se si desidera eseguire questo servizio, aggiungere --set global.lineage.enabled=vero al comando di installazione.

Se si desidera accedere all'interfaccia utente di Marquez, il modo migliore per farlo è configurare un ingresso o utilizzare il comando port-forward kubectl port-forward svc/ilum-marquez-web 9444:9444

OpenMetadata​

Please be aware, that OpenMetadata is not bundled in ilum package by default. It is opt-in and requires four flags to bring up the full data-catalog and governance stack:

helm install --dependency-update ilum ilum/ilum \
  --mettere openmetadata.enabled=vero \
  --mettere openmetadata-dependencies.enabled=vero \
  --mettere openmetadataBootstrap.enabled=vero \
  --mettere ilum-core.job.openLineage.openmetadata.enabled=vero

openmetadata-dependencies.enabled provisions the backing OpenSearch and PostgreSQL, openmetadataBootstrap.enabled runs the post-install Job that registers services and seeds governance metadata, and ilum-core.job.openLineage.openmetadata.enabled adds the Spark-to-OpenMetadata OpenLineage transport leg.

If you want to access the OpenMetadata UI, it is embedded in the Ilum UI under the Moduli section, or use the port-forward command kubectl port-forward svc/ilum-openmetadata 8585:8585. To read more about OpenMetadata in Ilum, visit the OpenMetadata documentation page.

PostgreSQL​

Tieni presente che PostgreSQL non è incluso nel pacchetto ilum per impostazione predefinita. Se si desidera eseguire questo servizio, aggiungere --set postgresql.enabled=vero al comando di installazione.

Cubo Prometeo Pila​

Tieni presente che Kube Prometheus Stack non è incluso nel pacchetto ilum per impostazione predefinita. Se si desidera eseguire questo servizio, aggiungere --set kube-prometheus-stack.enabled=true al comando di installazione.

Se si sta aggiornando una carta Ilum Helm esistente che in precedenza lo faceva non se lo stack Kube Prometheus è abilitato, è necessario installare le definizioni delle risorse personalizzate (CRD) Prometheus necessarie prima di procedere con l'aggiornamento. A tale scopo, eseguire i comandi seguenti:

kubectl apply --server-side -f https://raw.githubusercontent.com/prometheus-operator/prometheus-operator/v0.80.0/example/prometheus-operator-crd/monitoring.coreos.com_alertmanagerconfigs.yaml
kubectl apply --server-side -f https://raw.githubusercontent.com/prometheus-operator/prometheus-operator/v0.80.0/example/prometheus-operator-crd/monitoring.coreos.com_alertmanagers.yaml
kubectl apply --server-side -f https://raw.githubusercontent.com/prometheus-operator/prometheus-operator/v0.80.0/example/prometheus-operator-crd/monitoring.coreos.com_podmonitors.yaml
kubectl apply --server-side -f https://raw.githubusercontent.com/prometheus-operator/prometheus-operator/v0.80.0/example/prometheus-operator-crd/monitoring.coreos.com_probes.yaml
kubectl apply --server-side -f https://raw.githubusercontent.com/prometheus-operator/prometheus-operator/v0.80.0/example/prometheus-operator-crd/monitoring.coreos.com_prometheusagents.yaml
kubectl apply --server-side -f https://raw.githubusercontent.com/prometheus-operator/prometheus-operator/v0.80.0/example/prometheus-operator-crd/monitoring.coreos.com_prometheuses.yaml
kubectl apply --server-side -f https://raw.githubusercontent.com/prometheus-operator/prometheus-operator/v0.80.0/example/prometheus-operator-crd/monitoring.coreos.com_prometheusrules.yaml
kubectl apply --server-side -f https://raw.githubusercontent.com/prometheus-operator/prometheus-operator/v0.80.0/example/prometheus-operator-crd/monitoring.coreos.com_scrapeconfigs.yaml
kubectl apply --server-side -f https://raw.githubusercontent.com/prometheus-operator/prometheus-operator/v0.80.0/example/prometheus-operator-crd/monitoring.coreos.com_servicemonitors.yaml
kubectl apply --server-side -f https://raw.githubusercontent.com/prometheus-operator/prometheus-operator/v0.80.0/example/prometheus-operator-crd/monitoring.coreos.com_thanosrulers.yaml

Se si desidera accedere all'interfaccia utente di Prometheus, il modo migliore per farlo è configurare un ingresso o utilizzare il comando port-forward Kubectl Port-Forward SVC/Prometheus 9090:9090

Se si desidera accedere all'interfaccia utente di Grafana, il modo migliore per farlo consiste nel configurare un ingresso o nell'utilizzare il comando port-forward kubectl port-forward svc/ilum-grafana 8080:80

Last updated on