<< Fare clic per visualizzazione il sommario >> Percorso:  Jamio openwork > Servizi applicativi > Plug > Data Ingestion

Per Data Ingestion si intende la raccolta di dati provenienti da fonti assortite all'interno di un unico repository al fine di poterli consultare e utilizzare nei processi di business.

 

Le fonti possono essere le più diverse (un sistema software, un foglio di calcolo, un processo, etc...) e la struttura dei dati può non essere nota a priori: la struttura dei dati può evolversi nel tempo.

 

Un sistema di Data Ingestion deve pertanto consentire l'archiviazione di dati la cui struttura non è conosciuta a priori, l'arricchimento in run-time dei dati archiviati con ulteriori campi; deve consentire infine la raccolta di una grande quantità di dati e una veloce ricerca degli stessi.

 

Jamio openwork supporta la Data Ingestion tramite le funzionalità del Plug Elastic Storage invocabili da processo. Il plug è costruito su tecnologia ElasticsearchTM .

 

Il plug consente di associare all'Area di lavoro un numero qualsiasi di contenitori dati, denominati Indici, e di definirne le politiche di accesso.

 

I dati contenuti nell'indice prendono il nome di Dataset, ma a differenza dei Dataset gestiti dai Servizi Core di Jamio, non è necessario definirne in design-time la struttura: la struttura può evolversi nel tempo in funzione dei dati inseriti.

 

Un Indice può contenere anche dati con strutture diverse anche se è necessario assicurarsi che campi con lo stesso nome rappresentino la stessa tipologia di dato per evitare problemi nelle ricerche.

 

E' possibile aggiungere all'Indice un singolo Dataset tramite il metodo CreateFromDataset o, tramite gli altri metodi di creazione esposti dal plug, caricare in maniera massiva più Dataset da file CSV, Catalogo, Lista di dataset.

 

Tramite i metodi di merge esposti dal plug, è possibile modificare i Dataset presenti nell'Indice da file CSV, Catalogo, Lista di Dataset, singolo Dataset. Le modifiche comprendono l'aggiornamento di campi esistenti o l'aggiunta di nuovi campi.

 

Jamio supporta il caricamento dei dati nell'Indice in modalità batch (associando per esempio il file CSV a una form e avviando un processo che utilizza il metodo CreateFromCsv) del plug o in modalità streaming (facendo partire per esempio, al verificasi di un evento, un processo che utilizza il metodo CreateFromDataset del plug).

 

E' possibile creare Indici per scopi temporanei, l'Indice viene distrutto quando non più necessario; utilizzare un Indice come vero e proprio repository permanente per raccogliere dati relativi ad uno specifico caso di business.

 

Un Indice può essere pertanto utilizzato come una tabella di staging a supporto di un processo o come repository in uno scenario evoluto di case management.

 

Gli indici vengono utilizzati anche dal Plug Survey per la memorizzazione dei questionari.

 

E' possibile consultare i dati presenti in un Indice tramite l'applicazione utente Elastic Storage Data Browser

 

Consulta la documentazione relativa al Plug Elastic Storage per un elenco completo delle funzionalità esposte dal plug.