ÇѾç´ë ¼Áö¿ø ±³¼ö,
È¿À²ÀûÀÎ µö·¯´× ¸ðµ¨ ÇнÀ±â¼ú °³¹ß
¡¸MLSys¡¹ Çмú´ëȸ ³í¹® ¹ßÇ¥, ½Ç¸®Äܹ븮 ±â¾÷ MosaicML °ú Çù¾÷ ÃßÁø
ÇѾç´ë ÄÄÇ»ÅͼÒÇÁÆ®¿þ¾îÇкΠ¼Áö¿ø ±³¼ö ¿¬±¸ÆÀÀÌ ÃÖ±Ù µö·¯´× ¸ðµ¨À» È¿À²ÀûÀ¸·Î ÇнÀÇÏ´Â ¾Ë°í¸®ÁòÀ» °³¹ßÇÏ¿´´Ù. ÇØ´ç ±â¼úÀº µö·¯´× ¸ðµ¨ ÇнÀ¿¡¼ »ç¿ëµÇ´Â µå·Ó¾Æ¿ô(Dropout) ¾Ë°í¸®ÁòÀ» °³¼±ÇÑ ¡®ÀÚÀÌ·Î µå·Ó¾Æ¿ô(Gyro Dropout)¡¯ À̶ó´Â ±â¼ú·Î ¸ðµ¨ÀÇ ÀϹÝȸ¦ ³ôÀ̵µ·Ï ÇнÀÇÏ¿© Ãß·Ð Á¤È®µµ¸¦ ³ôÀÌ´Â ±â¼úÀÌ´Ù.
±âÁ¸ÀÇ µå·Ó¾Æ¿ô ¾Ë°í¸®ÁòÀº µö·¯´× ¸ðµ¨ÀÇ ¼ºê ³×Æ®¿öÅ©µéÀ» ·£´ýÇÏ°Ô ÇнÀÇÏ¿© À̵éÀÇ ÇÕÁýÇÕÀ¸·Î ÀÌ·ç¾îÁø Àüü ³×Æ®¿öÅ©ÀÇ Á¤È®µµ¸¦ ³ôÀ̵µ·Ï ÇнÀÀ» ÇÑ´Ù. ±× °úÁ¤¿¡¼ °¢ ¼ºê ³×Æ®¿öÅ©µéÀº Çѹø ¾¿¸¸ ÇнÀÀÌ µÈ´Ù. ¼ ±³¼ö ¿¬±¸ÆÀÀº ¼ºê ³×Æ®¿öÅ© ÇϳªÀÇ ÇнÀ Ƚ¼ö¸¦ ´Ã¸®°í ÇнÀµÇ´Â ¼ºê ³×Æ®¿öÅ©ÀÇ °³¼ö¸¦ ÁÙ¿´À» ¶§¿¡ ÇнÀ È¿À²°ú ÀϹÝÈ ¼º´ÉÀÌ ³ô¾ÆÁö´Â °ÍÀ» È®ÀÎÇϰí, À̸¦ ÃÖÀûÈÇÏ´Â ÀÚÀÌ·Î µå·Ó¾Æ¿ô ¾Ë°í¸®ÁòÀ» ¼³°èÇÏ¿´´Ù.
¼ ±³¼ö ¿¬±¸ÆÀÀº ÀÚÀÌ·Î µå·Ó¾Æ¿ô ¾Ë°í¸®ÁòÀ» Àû¿ëÇÏ¿© ¾Ë·º½º³Ý(AlexNet), ·¹Áî³Ý(ResNet) µîÀÇ ÄÄÇ»ÅÍ ºñÀü ¸ðµ¨°ú ¹öÆ®(BERT) µîÀÇ ÀÚ¿¬¾î ó¸® ¸ðµ¨ÀÇ ¼º´ÉÀÌ Çâ»óµÊÀ» ½ÇÇèÀ¸·Î ¹àÇô³Â´Ù. ¶ÇÇÑ ÀÚÀÌ·Î µå·Ó¾Æ¿ôÀ» Àû¿ëÇÒ ¶§¿¡ ±×·¡ÇÈ Ã³¸® ÀåÄ¡(GPU)¿¡¼ µå·Ó¾Æ¿ô µÇ´Â ´º·±µéÀÇ °è»êÀ» È¿À²ÀûÀ¸·Î »ý·«ÇÒ ¼ö ÀÖ´Â ÀÚÀÌ·Î µå·Ó¾Æ¿ôÀÇ º¯Çü ¾Ë°í¸®Áòµµ ¼³°èÇÏ¿´À¸¸ç, À̸¦ Àû¿ëÇÏ¿´À» ¶§¿¡ µö·¯´× ¸ðµ¨ÀÇ ÇнÀ ¼Óµµ¸¦ ÃÖ´ë 30% Çâ»ó½Ãų ¼ö ÀÖÀ½À» ÀÔÁõÇß´Ù.
¼ ±³¼ö ¿¬±¸ÆÀÀº ÀÚÀÌ·Î µå·Ó¾Æ¿ô ¾Ë°í¸®Áò°ú °ü·Ã ¿¬±¸ °á°ú¸¦ ¸Ó½Å·¯´× ½Ã½ºÅÛ ºÐ¾ßÀÇ ¿ì¼ö Çмú´ëȸÀÎ MLSys¿¡¼ ¹ßÇ¥ÇÏ¿´´Ù. ¹ßÇ¥ Á÷ÈÄ, ½Ç¸®Äܹ븮 ±â¹Ý ½ºÅ¸Æ®¾÷ MosaicML¿¡¼ ¿¬±¸ °á°ú¿¡ °ü½ÉÀ» º¸¿´°í Çù¾÷À» Á¦¾ÈÇÏ¿´´Ù. MosaicMLÀº ÀΰøÁö´É ÇнÀÀ» ½±°í Æí¸®ÇÏ°Ô ¼öÇàÇÒ ¼ö ÀÖ´Â ¿ÀǼҽº ¼ÒÇÁÆ®¿þ¾î ¡®ÄÄÆ÷Àú(Composer)¡¯¿Í Ŭ¶ó¿ìµå Ç÷§ÆûÀ» Á¦°øÇÏ´Â ±â¾÷ÀÌ´Ù.
¼Áö¿ø ±³¼ö¿Í ¿¬±¸ÆÀÀÇ ¼®/¹Ú»ç°úÁ¤ ÇлýÀÎ ÀÌÁØ¿, ¹Ú±âÇö ÇлýÀº MosaicML°ú Çù¾÷ÇÏ¿© ÀÚÀÌ·Î µå·Ó¾Æ¿ô ¾Ë°í¸®ÁòÀ» MosaicMLÀÇ ¿ÀǼҽº ½Ã½ºÅÛÀÎ ÄÄÆ÷Àú ¹öÀü 0.12¿¡ °ø°³ÇÏ¿´´Ù[1].
@¼Ûâȯ±âÀÚ