Seirbhís

Meicníocht glanta sonraí Spark Streaming
(I) Sruthán agus RDD
Mar is eol dúinn, tá ríomh Spark Streaming bunaithe ar Spark Core, agus is é croí Spark Core ná RDD, agus mar sin ní mór go mbeadh baint ag Spark Streaming le RDD freisin.Mar sin féin, ní ligeann Spark Streaming le húsáideoirí RDD a úsáid go díreach, ach achoimríonn sraith de choincheapa DStream, is caidrimh chuimsitheacha iad DStream agus RDD, is féidir leat é a thuiscint mar an patrún maisiúcháin i Java, is é sin, is feabhsú RDD é DStream, ach tá an iompar cosúil le RDD.
Tá roinnt riochtaí ag DStream agus RDD araon.
(1) go bhfuil gníomhartha claochlaithe comhchosúla acu, mar léarscáil, reduceByKey, etc., ach freisin roinnt uathúil, mar shampla Window, mapWithStated, etc.
(2) tá gníomhartha Gníomhaíochta acu go léir, mar shampla foreachRDD, count, etc.
Tá an tsamhail ríomhchláraithe comhsheasmhach.
(B) Tabhairt isteach DSstream i Spark Streaming
Tá roinnt ranganna ag DSstream.
(1) Aicmí foinse sonraí, amhail InputDStream, go sonrach mar DirectKafkaInputStream, etc.
(2) Aicmí comhshó, go hiondúil MappedDSstream, ShuffledDSstream
(3) aicmí aschuir, mar shampla ForEachDSstream
Ón méid thuas, is é an córas DStream a dhéanann na sonraí ón tús (ionchur) go dtí an deireadh (aschur), rud a chiallaíonn nach féidir leis an úsáideoir RDDanna a ghiniúint agus a ionramháil go díreach, rud a chiallaíonn go bhfuil an deis agus an oibleagáid ar an DStream a bheith. freagrach as saolré na RDDs.
I bhfocail eile, tá Spark Streamingglanadh uathoibríochfeidhm.
(iii) An próiseas giniúna RDD i Spark Streaming
Tá sreabhadh saoil RDDanna i Spark Streaming garbh mar seo a leanas.
(1) In InputDStream, déantar na sonraí a fuarthas a chlaochlú go RDD, amhail DirectKafkaInputStream, a ghineann KafkaRDD.
(2) ansin trí MappedDStream agus comhshó sonraí eile, tugtar RDD ar an am seo go díreach a fhreagraíonn don mhodh léarscáil le haghaidh comhshó
(3) In oibríocht an ranga aschuir, ach amháin nuair a bhíonn an RDD nochta, is féidir leat ligean don úsáideoir an stóráil chomhfhreagrach, ríomhanna eile agus oibríochtaí eile a dhéanamh.