7 Cause di preparazione della data Rivoluzionaria – opinione

Di Bruno Pereira

Sii onesto. “Data Prep” non è il tema più eccitante nel mondo tecnico. Spesso sembra essere equivalente digitale, lavare i piatti – dobbiamo fare prima di goderci i pasti, un lavoro noioso (o, in questo caso, analisi). Ma ecco la verità: in un mondo di affondamento che cresce nell’oceano, il modesto compito di fare questi dati non è più il passo principale; Sta diventando una base critica per tutte le analisi dei dati e una decisione di successo. Il futuro dei dati non riguarda solo grandi progetti o dashboard più sofisticati; I dati adeguati sono fondamentalmente che hanno più rapido ed efficace. E le tendenze che vediamo non sono solo crescenti miglioramenti, ma rappresentano davvero un cambiamento rivoluzionario.

Per molto tempo, scienziati e analisti di dati hanno trascorso il tempo irrilevante per gestire i dati caotici: pulizia, trasformazione e integrazione. La maggior parte delle persone concorda sul fatto che le aspettative sono consumate tra il 60 e l’80% di questo lavoro. Non è solo inefficace; Questo è un enorme spreco di conoscenza che si applica all’analisi e alle innovazioni reali. 1. Automazione e intelligenza artificiale –

Fortunatamente, la cavalleria è arrivata sotto forma di automazione e intelligenza artificiale. E questo non si tratta solo di automatizzare i clic ripetuti; Riconosco in anticipo i punti vendita, mi riferisco agli impulsi ai valori mancanti e raccomando anche i passaggi giusti della transizione in base al contesto e agli standard precedenti. La capacità di ridurre le carenze umane è troppo grande, ma soprattutto, la crescente capacità è davvero libera. Questo non è solo un miglioramento tecnico; Questa è l’accelerazione di base dell’intera pipeline di dati. 2. Preparazione dei dati in tempo reale –

Se rispondiamo alle notizie di ieri, non è sufficiente accelerare. Sono necessarie approfondimenti immediati per la crescita di IoT, social network e risorse di streaming. È qui che la preparazione dei dati reali è indispensabile. La capacità di elaborare e modificare i dati, spesso nella periferia della rete, consente alle aziende di rispondere immediatamente ai cambiamenti di mercato, alle minacce alla sicurezza o ai disturbi operativi. Danno a raffreddamento dell’esperienza del cliente quando il tuo comportamento viene cambiato o impedisce una transazione fraudolenta prima di completare. Queste non sono solo decisioni veloci; È la capacità di reagire e reattivo. Gli strumenti di elaborazione del flusso e i progetti di calcolo dei bordi, come Apache Kafka, forniscono questa transizione a questa transizione, modificando i dati dal processo batch per il flusso continuo. 3. Preparazione dei dati di auto -servizio –

Una delle tendenze più efficaci è la trasformazione dei dati self-service. Nel corso degli anni, i consumatori di imprese affrontano lunghi tempi di attesa e ostacoli alla comunicazione per ottenere informazioni richieste in base a gruppi di esso o di dati. Ora, gli strumenti BI naturali o le soluzioni di errore di dati autonome, consentono agli utenti che non dispongono di tecnologia di accedere, pulire e modificare i propri dati. Questa democrazia di dati è molto importante. Liberano l’innovazione in tutta l’azienda, coloro che comprendono gli esperti di dominio – il contesto dei dati – sono sfruttati e preparati ad soddisfare le loro esigenze senza la necessità di un corso di computer. Riduce anche la dipendenza, accelera il tempo all’intuizione e promuove più cultura basata sui dati dalla base. 4. Preparazione dei dati per i modelli di apprendimento automatico –

Quando si viaggia al motore centrale del business moderno dall’istruzione, la produzione di dati per i modelli ML ottiene la storia. Potresti avere l’algoritmo più avanzato al mondo, ma se ti offriamo dati di bassa qualità, anche i risultati sono cattivi. Preparare i dati per ML: pulizia esatta, ingegneria delle funzionalità, autenticazione, aumento dei dati – Accuratezza del modello e prestazioni sono necessari. Fortunatamente, strumenti come automatizzati automaticamente questo processo complesso, consentendo agli scienziati dei dati di concentrarsi sulla struttura e sull’interpretazione dei modelli piuttosto che su compiti manuali ripetuti. La qualità dei dati dirige direttamente la qualità dei modelli e questa area specifica di preparazione dei dati non è una questione di dibattito per coloro che desiderano sfruttare efficacemente l’IA. 5. In connessione con dati di grandi dimensioni e nel calcolo nel cloud –

L’integrazione liquida tra i big data e il calcolo al cloud è supportata da tutte queste tendenze. È richiesto il volume dei dati attuali e una varietà di infrastrutture scalabili e confortevoli. Le funzionalità di produzione dei dati sono direttamente incorporate su piattaforme di dati di grandi dimensioni e ambienti cloud, in cui si verificano transizioni in cui vengono trovati i dati. Ciò riduce i movimenti di dati inefficaci e sfrutta l’elasticità del cloud per gestire un carico di lavoro pesante. I laghi di dati, una volta solo i repository, ora diventano aree di stadiazione che rendono i dati realizzati efficacemente con potenti strumenti da cloud. Questa integrazione non è solo comoda: è essenziale affrontare il moderno livello di dati. 6. Concentrati sulla qualità e sul regime dei dati –

Infine, nessuno di questi è importante se non possiamo fidarci dei dati o per garantirne l’uso responsabile. La crescente attenzione alla qualità e al regime dei dati non è solo un mal di testa di controllo: questa è una necessità chiave per decisioni affidabili e convinzioni delle persone. Gli strumenti di monitoraggio e miglioramento della qualità dei dati determinano l’accuratezza e la stabilità, mentre le piattaforme di regime confermano l’accesso, l’uso e il controllo dei dati. Nel caso dell’aumento delle normative sulla privacy dei dati, RGPD, la governance dei dati solida non è facoltativa: è legittima e morale essenziale per la produzione di dati.

La fine

La preparazione dei dati non è più un compito manuale nascosto. Si sta sviluppando a un ritmo impressionante che è guidato da esigenze analitiche di sofisticate tecnologie come l’automazione, le richieste reali, la democrazia e la pratica delle macchine. Queste tendenze non sono separate: sono le forze collegate tra loro, che cambiano il modo in cui comunichiamo con i dati. Qualsiasi organizzazione che desidera fare affidamento sui dati, ricevere queste modifiche nella produzione di dati non è solo un’opzione; Questo è un imperativo strategico. L’eroe sconosciuto sta finalmente prendendo la sua posizione di rilievo – e il suo ruolo chiave nello sbloccare il vero valore dei dati è probabilmente una tendenza importante per tutti.