Cu o rată constantă de inovare, dezvoltatorii se pot aștepta să analizeze terabytes și chiar petabytes de date într-o anumită perioadă de timp. (Datele, la urma urmei, atrag mai multe date.)

Acest lucru permite numeroase avantaje, desigur. Dar ce să facem cu toate aceste date? Poate fi dificil să știi care este cel mai bun mod de a accelera și de a grăbi aceste tehnologii, mai ales atunci când reacțiile trebuie să aibă loc rapid.

Pentru companiile care se află pe primul loc în domeniul digital, o întrebare din ce în ce mai mare a devenit cum să utilizeze cel mai bine procesarea în timp real, procesarea pe loturi și procesarea în flux. Această postare va explica diferențele de bază dintre aceste tipuri de procesare a datelor.

Sistemele de operare în timp real

Sistemele de operare în timp real se referă de obicei la reacțiile la date. Un sistem poate fi catalogat ca fiind în timp real dacă poate garanta că reacția se va produce într-un termen limită strâns din lumea reală, de obicei în câteva secunde sau milisecunde.

Unul dintre cele mai bune exemple de sisteme în timp real sunt cele utilizate pe piața bursieră. Dacă o cotație bursieră ar trebui să vină din rețea în termen de 10 milisecunde de la plasarea ei, acesta ar fi considerat un proces în timp real. Este irelevant dacă acest lucru a fost realizat prin utilizarea unei arhitecturi software care a utilizat procesarea în flux sau doar procesarea în hardware; garanția termenului strâns este ceea ce îl face să fie în timp real.

Alte situații în care utilizarea sistemelor în timp real ar fi benefică sunt:

• ATM-uri
• Controlul traficului aerian
• Sisteme de frânare antiblocare în mașină

Provocări

În timp ce acest tip de sistem sună ca un schimbător de joc, realitatea este că sistemele în timp real sunt extrem de greu de implementat prin utilizarea sistemelor software obișnuite. Pe măsură ce aceste sisteme preiau controlul asupra execuției programului, aduce un nivel complet nou de abstractizare.

Ceea ce înseamnă acest lucru este că distincția dintre fluxul de control al programului dumneavoastră și codul sursă nu mai este evidentă, deoarece sistemul în timp real alege ce sarcină să execute în acel moment. Acest lucru este benefic, deoarece permite o productivitate mai mare folosind o abstractizare mai mare și poate face mai ușoară proiectarea unor sisteme complexe, dar înseamnă mai puțin control în general, ceea ce poate fi dificil de depanat și validat.

O altă provocare comună cu sistemele de operare în timp real este că sarcinile nu sunt entități izolate. Sistemul decide pe care să le programeze și trimite sarcinile cu prioritate mai mare înaintea celor cu prioritate mai mică, întârziind astfel execuția acestora până când toate sarcinile cu prioritate mai mare sunt finalizate.

Din ce în ce mai mult, unele sisteme software încep să opteze pentru o variantă de procesare în timp real în care termenul limită nu este atât de absolut, cât este o probabilitate. Cunoscute sub numele de sisteme în timp real soft, acestea sunt capabile să își respecte de obicei sau în general termenul limită, deși performanța va începe să se degradeze dacă sunt ratate prea multe termene limită.

Procesarea pe loturi

Procesarea pe loturi este procesarea unui volum mare de date dintr-o dată. Datele constau cu ușurință în milioane de înregistrări pentru o zi și pot fi stocate într-o varietate de moduri (fișier, înregistrare, etc.). Lucrările sunt, de obicei, finalizate simultan, în ordine secvențială, fără oprire.

Un exemplu bun de lucrare de procesare pe loturi este reprezentat de toate tranzacțiile pe care o firmă financiară le-ar putea prezenta în decursul unei săptămâni. Procesarea pe loturi poate fi, de asemenea, utilizată în:

• Procese de salarizare
• Facturi pe linie
• Clanț de aprovizionare și îndeplinire

Procesarea datelor pe loturi este o modalitate extrem de eficientă de a procesa cantități mari de date care sunt colectate pe o perioadă de timp. De asemenea, ajută la reducerea costurilor operaționale pe care întreprinderile le-ar putea cheltui cu forța de muncă, deoarece nu necesită funcționari specializați în introducerea datelor pentru a sprijini funcționarea sa. Poate fi utilizat offline și oferă managerilor un control complet asupra momentului în care începe procesarea, fie că este vorba de o noapte sau la sfârșitul unei săptămâni sau al unei perioade de plată.

Provocări

Ca orice lucru, există câteva dezavantaje în utilizarea software-ului de procesare pe loturi. Una dintre cele mai mari probleme pe care le văd întreprinderile este că depanarea acestor sisteme poate fi dificilă. Dacă nu aveți o echipă sau un profesionist IT dedicat, încercarea de a repara sistemul atunci când apare o eroare ar putea fi dăunătoare, determinând necesitatea unui consultant extern care să vă ajute.

O altă problemă cu procesarea pe loturi este că, de obicei, companiile o implementează pentru a economisi bani, dar software-ul și instruirea necesită o sumă decentă de cheltuieli la început. Managerii vor trebui să fie instruiți pentru a înțelege:

• Cum se programează un lot
• Ce le declanșează
• Ce înseamnă anumite notificări

(Aflați mai multe despre procesarea modernă a loturilor.)

Procesarea în flux continuu

Procesarea în flux continuu este procesul de a putea analiza aproape instantaneu datele care trec de la un dispozitiv la altul.

Această metodă de calcul continuu are loc pe măsură ce datele trec prin sistem, fără limitări obligatorii de timp la ieșire. Datorită fluxului aproape instantaneu, sistemele nu au nevoie de stocarea unor cantități mari de date.

Procesarea în flux este foarte benefică dacă evenimentele pe care doriți să le urmăriți se întâmplă frecvent și sunt apropiate în timp. De asemenea, este cel mai bine de utilizat dacă evenimentul trebuie să fie detectat imediat și să se răspundă rapid la el. Prin urmare, procesarea fluxurilor este utilă pentru sarcini precum detectarea fraudelor și securitatea cibernetică. Dacă datele de tranzacție sunt procesate în flux, tranzacțiile frauduloase pot fi identificate și oprite chiar înainte de a fi finalizate.

Provocări

Una dintre cele mai mari provocări cu care se confruntă organizațiile cu procesarea în flux este că rata de ieșire a datelor pe termen lung a sistemului trebuie să fie la fel de rapidă sau mai rapidă decât rata de intrare a datelor pe termen lung, altfel sistemul va începe să aibă probleme cu stocarea și memoria.

O altă provocare este încercarea de a găsi cea mai bună modalitate de a face față cantității uriașe de date care sunt generate și mutate. Pentru ca fluxul de date prin sistem să funcționeze la cel mai înalt nivel optim, este necesar ca organizațiile să creeze un plan pentru modul de reducere a numărului de copii, modul de direcționare a nucleelor de calcul și modul de utilizare a ierarhiei cache-ului în cel mai bun mod posibil.

Concluzie

În timp ce toate aceste sisteme au avantaje, la sfârșitul zilei organizațiile ar trebui să ia în considerare beneficiile potențiale ale fiecăruia pentru a decide care metodă este cea mai potrivită pentru cazul de utilizare.

Resurse suplimentare

• BMC Workload Automation Blog
• BMC Big Data Blog
• Bginner’s Guide To Workplace Automation
• Ce este un Batch Job?
• Ce este un Data Pipeline?

Gestionați sl ca pentru serviciile dvs. batch joe goldberg de la BMC Software

Apărați o abordare modernă a procesării batch

Orchestrarea fluxului de lucru al aplicațiilor este o abordare modernă a batch-ului care poate preveni eșecurile de producție pentru o livrare de servicii la timp, în fiecare moment. Citiți cartea electronică ‘

Aceste postări îmi aparțin și nu reprezintă neapărat poziția, strategiile sau opinia BMC.

Vezi o eroare sau ai o sugestie? Vă rugăm să ne anunțați prin e-mail la [email protected].