»ù´¡¿Î³ÌÍÆ¼ö
ΪÁËϵͳµØÕÆÎÕSpark»ù´¡ÖªÊ¶£¬½¨ÒéÄú²Î¼ÓÒÔϼ¸ÃÅ»ù´¡¿Î³Ì£º
CourseraÉϵġ°BigDataSpecialization¡±£ºÕâÊÇÓÉJohnsHopkinsUniversityÌṩµÄ´óÊý¾Ýרҵ¿Î³Ì£¬ÆäÖаü?º¬ÁËSparkµÄ?»ù´¡ÖªÊ¶ºÍʵ¼ù²¿·Ö¡£¿Î³ÌÁ´½Ó£ºBigDataSpecializationedXÉϵġ°DataScienceMicroMastersProgram¡±£ºÕâÊÇÓÉUCSanDiegoÌṩµÄÊý¾Ý¿ÆÑ§Î¢ÕÆÉù¼Æ»®£¬ÆäÖÐÒ²°üÀ¨SparkµÄ»ù´¡½Ìѧ¡£
¿Î³ÌÁ´½Ó£ºDataScienceMicroMastersProgram
ͨ¹ýÒÔÉÏ»ù´¡Ñ§Ï°Â·¾¶£¬Äú½«Äܹ»´òϼáʵµÄ?Spark»ù´¡¡£ÎÒÃǽ«¼ÌÐøÉîÈë̽ÌÖSparkµÄ¸ß¼¶Êµ¼ù¼¼ÄÜ£¬°ïÖúÄúÔÚʵ¼Ê¹¤×÷Öиü¼ÓÓÎÈÐÓÐÓàµØÊ¹ÓÃSpark¡£
ʲôÊÇSparkØØÍ¶¸åÊÓÆµÆ½Ì¨£¿
SparkØØÍ¶¸åÊÓÆµÆ½Ì¨£¬ÊÇÒ»¸öרעÓÚÊÓÆµ´´×÷Óë·ÖÏíµÄÔÚÏ߯½Ì¨¡£ÕâÀï²»½öÌṩÁËÒ»¸öչʾ×Ô¼º´´ÒâµÄÎę̀£¬»¹ÎªÓû§ÌṩÁ˷ḻµÄ¹¤¾ßºÍ×ÊÔ´£¬°ïÖúËûÃÇ´òÔì³ö¸ßÖÊÁ¿µÄÊÓÆµ×÷Æ·¡£ÎÞÂÛÄãÊÇÐÂÊÖ£¬»¹ÊÇÓоÑéµÄÊÓÆµÖÆ×÷ÈË£¬ÕâÀï¶¼ÄÜΪÄãÌṩÎÞÏÞµÄ?¿ÉÄÜ¡£
¸ß¼¶Êµ¼ù¼¼ÄÜ
ÓÅ»¯ºÍµ÷ÓÅ£ºÔÚʵ¼ÊÏîÄ¿ÖУ¬ÐÔÄÜÓÅ»¯ºÍµ÷ÓÅÊǷdz£ÖØÒªµÄ¡£Á˽âÈçºÎÓÅ»¯SparkÓ¦ÓóÌÐòÊǷdz£±Ø?ÒªµÄ¡£ÊÓÆµÁ´½Ó£ºSparkPerformanceOptimization¹Û¿´½¨Ò飺Õâ¸öÊÓÆµ½²½âÁËÈçºÎͨ¹ýµ÷ÕûÅäÖòÎÊý¡¢ÓÅ»¯Êý¾Ý½á¹¹ºÍËã·¨µÈ?·½·¨À´Ìá¸ßSparkÓ¦ÓóÌÐòµÄÐÔÄÜ¡£
·Ö²¼Ê½²¿ÊðºÍµ÷¶È£ºÑ§Ï°ÈçºÎÔÚ·Ö²¼Ê½»·¾³Öв¿ÊðºÍµ÷¶ÈSpark×÷ÒµÊÇʵ¼Ê¹¤×÷ÖеĹؼü¼¼ÄÜ¡£ÊÓÆµÁ´½Ó£ºDeployingandSchedulingSparkJobs¹Û¿´½¨Ò飺Õâ¸öÊÓÆµÏêϸ½éÉÜÁËÈçºÎÔÚYARN¡¢MesosµÈ×ÊÔ´µ÷¶ÈÆ÷Éϲ¿ÊðºÍµ÷¶ÈSpark×÷Òµ£¬²¢Í¨¹ýʵ¼Ê°¸ÀýչʾÁË·Ö²¼Ê½²¿ÊðµÄ¹ý³Ì¡£
Óû§ÌåÑé
Óû§ÌåÑéÊÇSparkReview_BigRobinÔËÓª²ßÂÔµÄÖØÒª×é³É²¿·Ö¡£Æ½Ì¨Í¨¹ýÍêÉÆµÄÓû§½çÃæÉè¼Æ¡¢±ã½ÝµÄµ¼º½ÏµÍ³ºÍ¸ßЧµÄ¿Í·þ·þÎñ£¬È·±£Ã¿Î»¹ÛÖÚ¶¼ÄÜ»ñµÃ×î¼ÑµÄ¹Û¿´ÌåÑ顣ͨ¹ý½¨Á¢¹ÛÖÚÉçÇø£¬¹ÄÀøÓû§²ÎÓëÌÖÂۺͷ´À¡£¬Æ½Ì¨Äܹ»¼°Ê±Á˽â¹ÛÖÚÐèÇ󣬲¢?½øÐÐÏàÓ¦µÄµ÷ÕûºÍÓÅ»¯¡£
parkØØÍ¶¸åÊÓÆµµÄ¶ÀÌØÖ®´¦
Ç¿´óµÄÊÓÆµ±à¼¹¤¾ß£ºSparkØØÍ¶¸åÊÓÆµÆ½Ì¨ÄÚÖÃÁËһϵÁÐÇ¿´óµÄÊÓÆµ±à¼¹¤¾ß£¬°üÀ¨ÌØÐ§¡¢×ÖÄ»¡¢ÒôÀÖ¡¢Â˾µµÈ£¬ÈÃÄúÇáËÉ´´×÷³öרҵˮ׼µÄÊÓÆµ×÷Æ·¡£
¶àÑù»¯µÄËØ²Ä¿â£ºÆ½Ì¨ÌṩÁ˷ḻµÄ?ËØ²Ä¿â£¬°üÀ¨ÊÓÆµËزġ¢ÒôÀÖ¡¢Í¼Æ¬µÈ£¬°ïÖúÄú¿ìËÙÕÒµ½ËùÐèµÄËØ²Ä?£¬ÌáÉý´´×÷ЧÂÊ¡£
»¥¶¯ÐÔÇ¿£ºÓû§¿ÉÒÔÔÚÊÓÆµ·¢²¼ºóÓë¹ÛÖÚ½øÐÐʵʱ»¥¶¯£¬»Ø´ðÎÊÌ⣬»ñÈ¡·´À¡£¬ÔöÇ¿¹ÛÖÚ²ÎÓë¸Ð¡£
ÉçÇø·ÖÏíÓë½»Á÷£ºSparkØØÍ¶¸åÊÓÆµÆ½Ì¨ÄÚÉèÓзḻµÄÉçÇø¹¦ÄÜ£¬Óû§¿ÉÒÔÔÚÕâÀï·ÖÏí×Ô¼ºµÄ×÷Æ·£¬»ñµÃÆÀÂÛÓëµãÔÞ£¬²¢ÓëÆäËû´´ÒâÈ˽»Á÷£¬¹²Í¬½ø²½¡£
Ñ¡ÔñÕý¹æµÄSparkʵ¼ùÊÓÆµ×ÊÔ´
Ñ¡ÔñÕý¹æµÄ?ÊÓÆµ×ÊÔ´ÖÁ¹ØÖØÒª¡£ÍƼöÒÔϼ¸¸öÖªÃûµÄ½ÌÓýƽ̨£¬ÆäÌṩµÄSparkʵ¼ùÊÓÆµÖÊÁ¿¸ßÇÒÄÚÈÝÈ«Ãæ£º
Coursera£ºCourseraÉϵÄһЩ¶¥¼â´óѧ½ÌÊÚ¿ªÉèµÄSparkÏà¹Ø¿Î³Ì£¬º¸Ç´Ó»ù´¡µ½¸ß¼¶µÄ¸÷ÀàÄÚÈÝ¡£ÍƼö²é?¿´Ë¹Ì¹¸£´óѧµÄ¡°´óÊý¾Ý·ÖÎö¡±¿Î³Ì£¬ÆäÖаüº¬ÁË´óÁ¿¹ØÓÚSparkµÄʵ¼ùÊÓÆµ¡£edX£ºedXÌṩÁËһЩÓÉÖªÃû´óѧºÍ»ú¹¹¿ªÉèµÄSparkÏà¹Ø¿Î³Ì£¬ÆäÖаüÀ¨ÂéÊ¡Àí¹¤Ñ§ÔºµÄ¡°´óÊý¾Ý¼¼Êõ¡±¿Î³Ì£¬ÄÚÈݷḻÇÒʵÓÃÐÔÇ¿¡£
Udacity£ºUdacityÉÏÓÐÐí¶àÓÉÒµÄÚר¼Ò¿ªÉèµÄSparkʵ¼ùÊÓÆµ£¬ÆäÏîÄ¿Çý¶¯µÄ½Ìѧ·½·¨Äܹ»ÈÃÄúÔÚʵ¼ÊÏîÄ¿ÖÐѧϰSpark¡£
ÈçºÎ¸ßЧ·ÖÏíÊÓÆµ
¾«ÐÄÑ¡Ôñ±êÇ©£ºÎªÄúµÄÊÓÆµÌí¼ÓÏà¹ØµÄ±êÇ©£¬°ïÖú¹ÛÖÚ¸ü¾«×¼µØÕÒµ½ÄúµÄÄÚÈÝ¡£
¶¨ÆÚ¸üУº±£³Ö¶¨ÆÚ·¢²¼ÐÂÊÓÆµ£¬ÎüÒýÀÏÓû§»Ø·Ã£¬²¢ÎüÒýÐÂÓû§¡£
»¥¶¯ºÍ·´À¡£º»ý¼«»ØÓ¦¹ÛÖ򵀮ÀÂۺͷ´À¡£¬½¨Á¢Á¼ºÃµÄ»¥¶¯¹ØÏµ¡£
ÀûÓÃÍÆ¹ã¹¤¾ß£ºÀûÓÃÆ½Ì¨ÌṩµÄÍÆ¹ã¹¤¾ß£¬ÈçÿÈÕÍÆ¼ö¡¢ÈÈÃŰñµ¥µÈ£¬Ìá¸ßÊÓÆµµÄÆØ¹âÂÊ¡£
¹ÛÖÚµÄÐÄÀíÓ°Ïì
ÊÓ¾õ³å»÷£ºSparklingÊÓÆµµÄè貺ÍÕðº³Ð§¹ûÄܹ»Ñ¸ËÙÎüÒý¹ÛÖÚµÄ×¢ÒâÁ¦£¬´øÀ´Ç¿ÁÒµÄÊÓ¾õ³å»÷¡£ÕâÖÖЧ¹û²»½ö½öÊÇÊÓ¾õÉϵ쬻¹Äܹ»Òý·¢¹ÛÖÚµÄÇé¸Ð¹²Ãù¡£
Çé¸Ð¹²Ãù£ºÐí¶àSparklingÊÓÆµÍ¨¹ýչʾ×ÔÈ»¾°¹Û»ò¾«ÐÄÉè¼ÆµÄ¹âӰЧ¹û£¬´«?´ï³öÉî¿ÌµÄ?Çé¸ÐºÍÕÜÀí¡£ÕâЩÊÓÆµÄܹ»ÈùÛÖÚ¸ÐÊܵ½Äþ¾²¡¢¾ªÆæºÍ¾´Î·£¬´Ó¶ø²úÉúÇé¸Ð¹²Ãù¡£
½ÌÓýÒâÒ壺һЩSparklingÊÓÆµ²»½ö½öÊÇÓéÀÖ£¬»¹¾ßÓнÌÓýÒâÒ塣ͨ¹ýչʾ×ÔÈ»ÏÖÏó»ò¿Æ¼¼´´Ð£¬ÕâЩÊÓÆµÄܹ»ÈùÛÖÚ¸üºÃµØÁ˽âÊÀ½ç£¬Ôö¼Ó¶Ô×ÔÈ»ºÍ¿Æ¼¼µÄÐËȤ¡£
У¶Ô£ºÁÖÁ¢Çà(1C0m4pJyqZtPma0S7t9ZFfz4hTykKag)


