Seirbhís

Sásra glantacháin sonraí Spark Streaming
(I) DStream agus RDD
Mar is eol dúinn, tá ríomh Spark Streaming bunaithe ar Spark Core, agus is é RDD croílár Spark Core, mar sin ní mór go mbeadh baint ag Spark Streaming le RDD chomh maith. Mar sin féin, ní ligeann Spark Streaming d'úsáideoirí RDD a úsáid go díreach, ach déanann sé achoimre ar shraith coincheapa DStream, is caidrimh chuimsitheacha iad DStream agus RDD, is féidir leat é a thuiscint mar an patrún maisiúcháin i Java, is é sin, is feabhsú ar RDD é DStream, ach tá an iompar cosúil le RDD.
Tá roinnt coinníollacha ag baint le DStream agus RDD araon.
(1) a bhfuil gníomhartha claochlaithe comhchosúla acu, amhail map, reduceByKey, srl., ach tá roinnt gníomhartha uathúla acu freisin, amhail Window, mapWithStated, srl.
(2) tá gníomhartha Gníomhaíochta ag gach ceann acu, amhail foreachRDD, count, srl.
Tá an tsamhail chlársceidealaithe comhsheasmhach.
(B) Réamhrá DStream i Spark Streaming
Tá roinnt ranganna i DStream.
(1) Ranganna foinse sonraí, amhail InputDStream, ar leith amhail DirectKafkaInputStream, etc.
(2) Ranganna comhshó, de ghnáth MappedDStream, ShuffledDStream
(3) ranganna aschuir, amhail ForEachDStream de ghnáth
Ón méid thuas, déantar na sonraí ón tús (ionchur) go dtí an deireadh (aschur) ag an gcóras DStream, rud a chiallaíonn nach féidir leis an úsáideoir RDDanna a ghiniúint agus a ionramháil go díreach de ghnáth, rud a chiallaíonn go bhfuil an deis agus an oibleagáid ag an DStream a bheith freagrach as saolré na RDDanna.
I bhfocail eile, tá ag Spark Streamingglanadh uathoibríochfeidhm.
(iii) An próiseas chun RDD a ghiniúint i Spark Streaming
Seo a leanas sreabhadh saoil RDDanna i Spark Streaming garbh.
(1) In InputDStream, déantar na sonraí a fhaightear a chlaochlú go RDD, amhail DirectKafkaInputStream, a ghineann KafkaRDD.
(2) ansin trí MappedDStream agus comhshó sonraí eile, tugtar RDD go díreach ar an am seo a fhreagraíonn don mhodh mapála le haghaidh comhshó
(3) Sa oibríocht ranga aschuir, nuair a bhíonn an RDD nochta amháin, is féidir leat ligean don úsáideoir an stóráil chomhfhreagrach, ríomhanna eile, agus oibríochtaí eile a dhéanamh.