ÌØÐ§¼¼ÊõÓëÖÆ×÷
¼ÆËã»úÌØÐ§£ºÔÚÏÖ´úÊÓÆµÖÆ×÷ÖУ¬¼ÆËã»úÌØÐ§¼¼Êõ°çÑÝÁ˷dz£ÖØÒªµÄ½ÇÉ«¡£Í¨¹ý¸´ÔÓµÄËã·¨ºÍÏȽøµÄÈí¼þ£¬ÖÆ×÷ÕßÄܹ»´´Ôì³öÁîÈ˾ªÌ¾µÄ¹âӰЧ¹û¡£
¶¯»ÖÆ×÷£º¶¯»¼¼ÊõÔÚSparklingÊÓÆµÖеÄÓ¦Ó÷dz£¹ã·º¡£Í¨¹ý¶¯»£¬ÖÆ×÷ÕßÄܹ»½«¾²Ì¬µÄͼÏñ±ä³É¶¯Ì¬µÄÊÓÆµ£¬Õ¹Ê¾³ö¸ü¼Ó·á¸»µÄÊÓ¾õЧ¹û¡£
ºÏ³É¼¼Êõ£ºÍ¨¹ýºÏ³É¼¼Êõ£¬ÖÆ×÷ÕßÄܹ»½«²»Í¬µÄÊÓÆµÆ¬¶Î»òͼÏñ½øÐÐ×éºÏ£¬´´Ôì³öеÄ?¡¢¶ÀÌØµÄÊÓ¾õÌåÑé¡£ÕâÖÖ¼¼ÊõÔÚÖÆ×÷¿Æ¼¼ÌØÐ§SparklingÊÓÆµÖÐÓÈΪ³£¼û¡£
»ù´¡Ñ§Ï°Â·¾¶ÍƼö
ÈëÃÅÊÓÆµ£º½¨ÒéÄú´Ó»ù´¡ÈëÃŵÄÊÓÆµ¿ªÊ¼Ñ§Ï°¡£ÀýÈ磬˹̹¸£´óѧµÄCS242¿Î³Ì£¨BigDataAnalytics£©ÖеÄ?Spark²¿·Ö£¬ÄÚÈݷdz£ÊʺϳõѧÕß¡£ÊÓÆµÁ´½Ó£ºCS242BigDataAnalytics-Spark²¿·Ö¹Û¿´½¨Ò飺ÊÓÆµ½²½âÁËSparkµÄ»ù±¾¸ÅÄîºÍ¼Ü¹¹£¬Í¨¹ýʵ¼Ê°¸ÀýÑÝʾÁËSparkµÄʹÓ÷½·¨£¬·Ç³£ÊʺϳõѧÕß¡£
»·¾³´î½¨£ºÔÚÀí½âSpark»ù±¾?¸ÅÄîºó£¬ÄúÐèҪѧϰÈçºÎ´î½¨Spark»·¾³¡£¿ÉÒԲο¼ÒÔÏÂÊÓÆµ£ºÊÓÆµÁ´½Ó£ºHowtoInstallandSetupApacheSpark¹Û¿´½¨Ò飺Õâ¸öÊÓÆµÏêϸ½éÉÜÁËÈçºÎÔÚ±¾µØ»·¾³ºÍHadoop¼¯ÈºÉϰ²×°ºÍÅäÖÃSpark£¬²¢Í¨¹ýʵÀýÑÝʾÁË»·¾³´î½¨µÄÍêÕûÁ÷³Ì¡£
×ܽá
¹úÍâÃâ·ÑSparklingÊÓÆµ²»½öÔÚÊÓ¾õÉÏ´ø¸øÎÒÃÇÕ𺳣¬¸üÔÚ¼¼ÊõºÍÇé¸ÐÉϸøÎÒÃÇÉî¿ÌµÄÆôʾ¡£Í¨¹ýÁ˽âÕâЩÊÓÆµ±³ºóµÄ´´×÷¹ý³ÌºÍ¼¼ÊõÊֶΣ¬ÎÒÃÇÄܹ»¸üºÃµØÐÀÉÍÕâЩ×÷Æ·£¬²¢ÔÚ×Ô¼ºµÄ´´×÷Öг¢ÊÔÓ¦ÓÃÕâЩ¼¼Êõ¡£ÎÞÂÛÊÇÉãÓ°¡¢ÌØÐ§£¬»¹ÊǶ¯»ÖÆ×÷£¬Ã¿Ò»¸ö»·½Ú¶¼ÊÇÒ»´Î̽Ë÷ºÍ·¢ÏÖµÄÂó̡£
Ï£ÍûÕâÆªÎÄÕÂÄܹ»¼¤·¢Äú¶ÔSparklingÊÓÆµµÄÐËȤ£¬²¢ÔÚ´´×÷ºÍ¹ÛÉÍÖÐÕÒµ½¸ü¶àµÄÀÖȤ¡£ÈÃÎÒÃÇÒ»Æð³Á½þÔÚÕâЩÉÁÒ«µÄ»ÃæÖУ¬¸ÐÊÜËüÃÇ´øÀ´µÄÎÞÏÞ¿ÉÄÜ¡£
ÄÚÈݲßÂÔ
SparkReviewBigRobinµÄ³É¹¦ºÜ´ó³Ì¶ÈÉÏÒÀÀµÓÚÆä׿ԽµÄÄÚÈݲßÂÔ¡£Æ½Ì¨×¨×¢ÓÚ¸ßÖÊÁ¿¡¢Éî¶È·ÖÎöºÍ´´ÐÂÐÔµÄÄÚÈÝÖÆ×÷£¬´ÓÑ¡ÔñÖ÷Ìâµ½ÊÓÆµ¼ô¼£¬Ã¿Ò»¸ö»·½Ú¶¼Á¦ÇóÍêÃÀ¡£Í¨¹ý³ÖÐø¸ú×ÙÐÐÒµ¶¯Ì¬ºÍÓû§ÐèÇó£¬SparkReviewBigRobinÄܹ»¼°Ê±µ÷ÕûÄÚÈݲßÂÔ£¬±£³Ö?ÄÚÈݵÄÐÂÏʶȺÍÎüÒýÁ¦¡£
Óû§»¥¶¯
SparkReviewBigRobin·Ç³£ÖØÊÓÓû§»¥¶¯¡£Í¨¹ýÉçÇøÂÛ̳¡¢ÆÀÂÛÇøºÍʵʱÎÊ´ðµÈ¶àÖÖ·½Ê½£¬¸Ãƽ̨²»½ö¼¤·¢Á˹ÛÖڵIJÎÓëÈÈÇ飬»¹Í¨¹ý¼°Ê±»ØÓ¦Óû§·´À¡£¬²»¶Ï¸Ä½øºÍÓÅ»¯ÄÚÈÝÖÊÁ¿¡£ÕâÖָ߶ÈÖØÊÓÓû§ÌåÑéµÄ̬¶È£¬Ê¹µÃSparkReviewBigRobinÔÚ¹ÛÖÚÐÄÖн¨Á¢ÁËÇ¿´óµÄÆ·ÅÆÖҳ϶ȡ£
¹úÍâSparkÊÓÆµÊµ¼ùµÄƽ̨
ÔÚ¹úÍ⣬Ðí¶àÖªÃûµÄ¼¼Êõ²©¿Í¡¢YouTubeƵµÀºÍÔÚÏßѧϰƽ̨¶¼ÌṩÁË´óÁ¿¸ßÖÊÁ¿µÄSparkÊÓÆµÊµ¼ù¡£ÀýÈ磬YouTubeÉϵġ°Databricks¡±ºÍ¡°SparkSummit¡±ÆµµÀ£¬ÒÔ¼°ÔÚÏßѧϰƽ̨ÈçCourseraºÍUdacity£¬¶¼ÓдóÁ¿×¨ÒµµÄSparkÊÓÆµ¿Î³ÌºÍʵ¼ù½Ì³Ì¡£
ÕâЩƽ̨²»½öº¸ÇÁËSparkµÄ»ù±¾²Ù×÷£¬»¹Éæ¼°ÁËÆäÔÚ´ó?Êý¾Ý·ÖÎö¡¢»úÆ÷ѧϰµÈÁìÓòµÄ¸ß¼¶Ó¦Óá£
ʵսÏîÄ¿ºÍ°¸Àý·ÖÎö
СÐÍÏîĿʵս£º´ÓСÐÍÏîÄ¿¿ªÊ¼£¬±ÈÈçÊý¾ÝÇåÏ´¡¢Êý¾Ý·ÖÎöºÍ¿ÉÊÓ»¯µÈ¡£¿ÉÒÔ³¢ÊÔʹÓù«¿ªµÄÊý¾Ý¼¯£¬ÈçUCI»úÆ÷ѧϰ¿âÖеÄÊý¾Ý¼¯£¬½øÐÐʵսÁ·Ï°¡£
´óÐÍÏîĿʵ¼ù£ºÔÚÕÆÎÕÁË»ù´¡¼¼Äܺ󣬿ÉÒÔ³¢ÊÔ²ÎÓë»òÕß×Ô¼º¹¹½¨´óÐÍÏîÄ¿£¬±ÈÈç´óÊý¾ÝÁ÷´¦Àí¡¢ÊµÊ±Êý¾Ý·ÖÎöµÈ¡£ÔÚʵʵսÏîÄ¿ÖУ¬Äú½«Ãæ¶Ô¸ü¶à¸´ÔÓµÄÎÊÌâºÍÌôÕ½£¬Õâ²»½öÄܹ»¹®¹ÌÄúµÄ֪ʶ£¬»¹ÄÜÌáÉýÄúµÄʵ¼Ê²Ù×÷ÄÜÁ¦¡£
ʵ¼Ê¹¤×÷ÏîÄ¿£ºÈç¹ûÄúÔÚÒ»¸öÓÐSparkÓ¦ÓõÄÍŶӹ¤×÷£¬³¢ÊÔ²ÎÓëʵ¼Ê¹¤×÷ÏîÄ¿£¬Õ⽫ÊÇ×îºÃµÄѧϰ»ú»á¡£Í¨¹ýÓëÍŶӳÉÔ±ºÏ×÷£¬Äú¿ÉÒÔѧµ½ÈçºÎÔÚÕæÊµ»·¾³Öнâ¾öÎÊÌ⣬ÓÅ»¯´úÂ룬²¢ÓëÆäËû¹¤¾ßºÍϵͳ¼¯³É¡£
¿ªÔ´ÏîÄ¿£ºÐí¶à¿ªÔ´ÏîĿʹÓÃSpark£¬Äú¿ÉÒÔÔÚGitHubÉÏÕÒµ½ÕâЩÏîÄ¿£¬³¢ÊÔ¹±Ï×´úÂë»òÕßѧϰÏîÄ¿ÖеĴúÂ룬Õ⽫´ó´óÌáÉýÄúµÄʵս¾Ñé¡£
»ù±¾²Ù×÷£ºÁ˽⻷¾³´î½¨ºó£¬Ñ§Ï°SparkµÄ?»ù±¾²Ù×÷ÊÇÏÂÒ»²½¡£ÍƼöÒÔϼ¸¸öÊÓÆµ£ºÊÓÆµÁ´½Ó£ºApacheSparkBasics¹Û¿´½¨Ò飺Õâ¸öÊÓÆµº¸ÇÁËSparkµÄ»ù±¾²Ù×÷£¬ÈçRDD£¨ResilientDistributedDataset£©µÄ´´½¨ºÍ²Ù×÷£¬ÒÔ¼°³£ÓõÄ?ת»»ºÍ¶¯×÷²Ù×÷¡£
Êý¾Ý´¦Àí£ºSparkµÄÇ¿´óÖ®´¦ÔÚÓÚÆä¸ßЧµÄÊý¾Ý´¦ÀíÄÜÁ¦¡£¿ÉÒÔͨ¹ýÒÔÏÂÊÓÆµÁ˽âÈçºÎ¸ßЧµØ´¦ÀíÊý¾Ý£ºÊÓÆµÁ´½Ó£ºSparkDataProcessing¹Û¿´½¨Ò飺Õâ¸öÊÓÆµÏêϸ½²½âÁËÈçºÎʹÓÃSpark½øÐÐÊý¾ÝÇåÏ´¡¢×ª»»ºÍ·ÖÎö£¬²¢Í¨¹ýʵ¼Ê°¸ÀýչʾÁËSparkÔÚ´óÊý¾Ý´¦ÀíÖеÄÓ¦Óá£
У¶Ô£º·½±£ƒS(1C0m4pJyqZtPma0S7t9ZFfz4hTykKag)


