ºòµ¥ÀÌÅÍ ±âÃÊ °³³ä | - ºòµ¥ÀÌÅÍÀÇ °³³ä ¹× ±âÃÊÁö½Ä - µ¥ÀÌÅÍ ¼öÁý °èȹ ¼ö¸³Çϱâ - ºòµ¥ÀÌÅÍ ¼öÁý ½Ã½ºÅÛ ±¸¼ºÇϱâ - ³»ºÎ µ¥ÀÌÅÍ ¼öÁýÇϱâ - ¿ÜºÎ µ¥ÀÌÅÍ ¼öÁýÇϱâ - µ¥ÀÌÅÍ º¯È¯Çϱâ - ¼öÁý µ¥ÀÌÅÍ °ËÁõÇϱâ |
---|
Hadoop | - ÇÏµÓ ¼Ò°³ - HDFS °³¿ä, MapReduce ÇÁ·¹ÀÓ¿öÅ© - ÇÏµÓ ´Ù¿î·Îµå ¹× ÇÊ¿ä¼ÒÇÁÆ®¿þ¾î ¼³Ä¡ - µ¶ÀÚ¸ðµåÀÇ»çºÐ»ê¸ðµå ¼³Ä¡¿Í È®ÀÎ - ÀÇ»çºÐ»ê¸ðµå ¼³Ä¡¿Í È®ÀÎ - WordCount ÇÁ·Î±×·¥ÀÇ ÄÄÆÄÀÏ°ú ½ÇÇà - ÀÚ¹ÙMapReduce ÇÁ·Î±×·¡¹Ö¸ÊŬ·¡½º ´Ù½Ã»ìÆ캸±â - ÀÔ·Â Æ÷¸äÀÇ ¿ªÇÒ ÄĹÙÀÌ³Ê ¼ÅÇøµ°ú ¼ÒÆà - ¸®µà½º Ŭ·¡½º ÀÚ¼¼È÷ º¸±âÃâ·Â Æ÷¸ä Ä«¿îÅÍ - WordCount 2ÇÁ·Î±×·¥ - TopN ÇÁ·Î±×·¥ - CountTrigram ÇÁ·Î±×·¥ - Join ID & Title ÇÁ·Î±×·¥ - °í±Þ Map Reduce ÇÁ·Î±×·¡¹Ö StringSort ÇÁ·Î±×·¥ - ºÐ»ê ij½Ã¸¦ ÀÌ¿ëÇÑ Á¶ÀÎ - ¿ª»öÀÎ ¸¸µé±â(Inverted Index ¹öÀü1) - ¿ª»öÀÎ ¸¸µé±â(Inverted Index ¹öÀü2) - ¿ª»öÀÎ ¸¸µé±â(Inverted Index ¹öÀü3) - °Ë»ö¿£Áø »öÀÎ ¸¸µé±â CreateESIndex - ½ºÆ®¸®¹Ö ÇÁ·Î±×·¡¹Ö - Pig ÇÁ·Î±×·¡¹Ö - ¾Æ¸¶Á¸ elasticmapreduce ec2 s3 - Çϵӿ¡ÄڽýºÅÛ±¸¼º HIVE - Çϵӿ¡ÄڽýºÅÛ È°¿ë SQOOP - Çϵӿ¡ÄڽýºÅÛ È°¿ë MAHOUT |
---|
Spark | - ¾ÆÆÄÄ¡ ½ºÆÄÅ© °³¿ä - ½ºÆÄÅ© ¼Ò°³ - ½ºÆÄÅ© ¼³Ä¡ ¹× ȯ°æ¼³Á¤ - °³¹ß ȯ°æ ±¸Ãà - ½ºÆÄÅ©ÄÁÅؽºÆ® »ý¼º - RDD ÇÁ·Î±×·¡¹Ö - RDD »ý¼º - RDD ¾×¼Ç - Ŭ·¯½ºÅÍ È¯°æ - ½ºÅĵå¾ó·Ð Ŭ·¯½ºÅÍ - Apache Mesos - ½ºÆÄÅ© SQL - ½ºÆÄÅ© SQLÀ» ÀÌ¿ëÇÑ µ¥ÀÌÅÍ Ã³¸® - ½ºÆÄÅ© ½ºÆ®¸®¹Ö µ¥ÀÌÅÍ Ã³¸® - ½ºÆÄÅ© ½ºÆ®¸®¹Ö µ¥ÀÌÅÍ Àбâ - µ¥ÀÌÅÍÀÇ ÀúÀå - MLlib - MLlib API - µ¥ÀÌÅÍ Å¸ÀÔ - MLlib µ¥ÀÌÅÍ Ã³¸® - ¾Ë°í¸®Áò |
---|
Python | - Python ÀνºÅç - ¼ýÀÚ - ½ºÆ®¸µ - ¸®½ºÆ® - If elif else - For - ¹üÀ§¿Í While - ÁÖ¼®°ú Break - Continue - Function - Return Value - ¸Å°³º¯¼öÀÇ ±âº»°ª - º¯¼öÀÇ ½ºÄÚÇÁ - Å°¿öµå ¸Å°³º¯¼ö - Ç÷º¼ºíÇÑ ¸Å°³º¯¼öÀÇ °³¼ö - ¾ðÆÐÅ· ¸Å°³º¯¼ö - µñ¼Å³Ê¸® - ¸ðµâ - À¥¿¡¼ À̹ÌÁö ´Ù¿î·ÎµåÇϱâ - ÆÄÀÏ ÀÐ°í ¾²±â - À¥¿¡¼ ÆÄÀÏ ´Ù¿î·Îµå Çϱâ - À¥Å©·Ñ·¯ ÀÛ¼ºÇϱâ - ¿¹¿Ü ó¸® Çϱâ - Ŭ·¡½º¿Í °´Ã¼ - ÃʱâÈ(init) - Ŭ·¡½º¿Í ÀνºÅϽº º¯¼öÀÇ Â÷ÀÌÁ¡ - »ó¼Ó - ´ÙÁß »ó¼Ó - ½º·¹µù - ´Ü¾î ºóµµ Ä«¿îÅÍ - Zip - ¶÷´Ù - µñ¼Å³Ê¸® Max, Min, Sorting - À̹ÌÁö ÀÚ¸£±â - À̹ÌÁö ÇÕÄ¡±â - Struct - Map - ºñÆ® ¿¬»êÀÚ - µñ¼Å³Ê¸® °è»ê |
---|
Python µ¥ÀÌÅÍ ºÐ¼® | * Pandas - Series - DataFrame - ±âº»ÇÔ¼ö ÀÍÈ÷±â
* ÅؽºÆ® µ¥ÀÌÅÍ ¼öÁý ¹× Á¤¸® - µ¥ÀÌÅÍ ¼öÁý(requests, Ixml) - µ¥ÀÌÅÍ ´Ùµë±â(Æ÷¸Ë ÅëÀÏ, ºó°ª ä¿ì±â)
* µ¥ÀÌÅÍÁ¤Á¦ - Index - Merge - Join - Concatenate - GroupBy
* À§Ä¡Á¤º¸ µ¥ÀÌÅÍ ºÐ¼® - À§Ä¡ Á¤º¸ µ¥ÀÌÅÍ ´Ù·ç±â
* Pandas °í±Þ - Time Series - ¿ø°Ý µ¥ÀÌÅÍ Á¢±Ù(³»Àå APIµé) - ´Ù¾çÇÑ I/O ó¸® ¿É¼Ç
* ÆÄÀ̽ã½Ã°¢È - ¶óÀ̺귯¸®¸¦ È°¿ëÇÑ ÆÄÀ̽㠵¥ÀÌÅÍ ½Ã°¢È |
---|
ML(Machine Learning | - ¸Ó½Å·¯´×(±â°èÇнÀ) - ±âº» ¾Ë°í¸®Áò °³³ä ¹× ¼Ò°³ - ³ªÀÌºê º£ÀÌÁî ºÐ·ù - ÀÇ»ç°áÁ¤³ª¹« - ·£´øÆ÷·¹½ºÆ® - ȸ±ÍºÐ¼® - Àº´Ð¸¶ÄÚºê¸ðÇü - ¼Æ÷Æ® ¹éÅÍ ¸Ó½Å - ÁÖ¼ººÐ ºÐ¼® - KÆò±Õ - ¿¬°ü¼º ºÐ¼® - Àΰø½Å°æ¸Á(ANN, Articial Neural Network) |
---|
DL(Deep Learning | * µö·¯´× ±âÃÊ ½Ç½À - Cost, Activation Function OverFitting µî ±âÃÊÇÔ¼ö ½Ç½À - ÇÊ¿ä ¸ðµâ(Pandas µî) ½Ç½À
* Àΰø½Å°æ¸Á - ºÐ·ù ¹× ±ºÁýÈ - ´ÙÁ߽Űæ¸Á - ȸ±ÍºÐ¼®
* CNN - À̹ÌÁö ó¸® ½Ç½À
* RNN - RNNÀ» È°¿ëÇÑ µ¥ÀÌÅÍ Ã³¸® - ±ÛÀÚ »ý¼º ¹× ÇÁ·Î±×·¥ ±¸Çö
* GAN - À̹ÌÁö »ý¼º ½Ç½À - °È ÇнÀ ¸ðµ¨¸µ ¹× ÇнÀ ½Ç½À |
---|
ÃÖÁ¾ ÇÁ·ÎÁ§Æ® | * ÇÁ·ÎÁ§Æ® ±âȹ - Á¶º° ¼±Á¤ ¹× ÇÁ·ÎÁ§Æ® ÁÖÁ¦ ¼±Á¤ - ȯ°æ¿¡ ¸Â´Â Ç÷§Æû ÀÌÇØ ¹× ¼±Á¤ - ÇÁ·ÎÁ§Æ® °ü¸® ±âȹ ¹× ÀÏÁ¤ °èȹ, ½ÇÇà °èȹ¼ ÀÛ¼º
* ÇÁ·ÎÁ§Æ® µ¥ÀÌÅÍ ¼öÁý ¹× Á¤Á¦, º¯È¯ - Á¤Çü/ºñÁ¤Çü ¼öÁý ±â´É ±¸Çö (Å©·Ñ¸µ, µ¥ÀÌÅÍ ÀúÀå¼Ò ¼öÁý µî) - ºòµ¥ÀÌÅÍ Ç÷§Æû ¿¬µ¿ ±â´É ±¸Çö ½Ç½À - ¹èÄ¡ ±â¹Ý µ¥ÀÌÅÍ ÀûÀç ¹× ½Ç½Ã°£ µ¥ÀÌÅÍ ÀûÀç ±â´É ±¸Çö - µ¥ÀÌÅÍ ¼Â Á¤ÀÇ ¹× µ¥ÀÌÅÍ Ã³¸®, ÀÚµ¿È ±¸Çö - ½Ç½Ã°£ º¯È¯ ¹× ºÐ¼® ±â´É ±¸Çö ¹× ¿ÜºÎ DB ¿¬µ¿
* ±â°èÇнÀ ½Ç½À - ¸Ó½Å·¯´× ¹× µö·¯´× ±â¹ýÀ» È°¿ëÇÑ µ¥ÀÌÅÍ ¿¹Ãø ½Ç½À - ±¸Çö ½Ã½ºÅÛ µ¥ÀÌÅÍ ¸ñ·Ï Á¤ÀÇ ¹× °ü¸® ½Ã½ºÅÛ °³¹ß ½Ç½À - À¥ ±¸ÇöÀ» À§ÇÑ View ¹× ±â´É ±¸Çö ½Ç½À
* Å×½ºÆ® ¹× ¹ßÇ¥ - ÅëÇÕ Å×½ºÆ® ¹× Á¦¹Ý»çÇ× Á¡°Ë, µð¹ö±ë - ÃÖÁ¾ º¸°í¼ ÀÛ¼º ¹× ÇÁ·ÎÁ§Æ® °á°ú ¹ßÇ¥ |
---|