×ß½ø°²È«ÐÐÒµ´óÄ£ÐÍ

°ä²¼¹¦·ò 2024-04-11
×ÔChatGPT°ä²¼ÒÔÀ´£¬ÝÓÈÆ´óÄ£ÐÍ£¬Ó×ÎÒ¡¢ÆóÒµÉõÖÁ¹ú¶È£¬¶¼ÏÝÈëÓú·¢¾çÁÒµÄË¢ÐÂÖС£ËüµÄÓ°ÏìÁ¦ÒѾ­Ô¶³¬¼¼ÊõÁìÓò£¬³ÉΪȫÇò¼¼Êõ¡¢²úÒµºÍ¹ú¼Ê¾ºÕùµÄ×ÛºÏÕ½³¡¡£È»¶ø£¬´óÄ£Ð͵ÄÂ䵨²¢·Ç±¥¾­·ç˪£¬´ÓÐÐÒµÊý¾ÝµÄÍøÂçµ½ÏÖʵÀûÓó¡¾°µÄ½áºÏ£¬Ëƺõÿһ²½Íƶ¯¶¼Ãæ¶Ô×Ŷà³ÁÄÑÌâ¡£±¾ÎÄÖØÒª½éÉÜ»ù´¡´óÄ£ÐͺÍÐÐÒµ´óÄ£Ð͵ıØÒªÐÔ£¬²¢Í¨¹ýL0-L2·Ö²ã¼Ü¹¹À´¼Ó¿ì´óÄ£ÐÍÂ䵨¹ý³ÌÒÔ¼°°²È«´óÄ£Ð͵ÄÀûÓó¡¾°µÈÄÚÈÝ£¬ÒÔ±ãÔ®ÊÖ¸÷È˸üºÃµØÀí½âºÍÂ䵨´óÄ£ÐÍ¡£

ÔÚ´óÄ£ÐͳöÏÖ֮ǰ£¬ÒÔ»úе½ø½¨¡¢Éî¶È½ø½¨¡¢¹æ¶¨ÍÆÀíµÈΪ´ú±íµÄÈËΪÖÇÄܼ¼ÊõÒѾ­¿í·ºÀûÓÃÓÚÍøÂ簲ȫÁìÓòÁË¡£ÄÇôΪʲô»¹±ØÒª´óÄ£ÐÍÄØ £¿


Ϊʲô±ØÒª´óÄ£ÐÍ £¿


ÓÉÓÚ´óÄ£ÐͲ»½ö¾ß±¸Í¨ÓÃÖÇÄܺÍ֪ʶ£¬»¹¾ß±¸ÖªÊ¶ÕûºÏÌáÈ¡ÄÜÁ¦ºÍÂß¼­Ë¼ÏëÄÜÁ¦¡£ÃÎÏëµÄ´óÄ£ÐÍÏñÊÇÈËÀàµÄ¸±ÊÖ£¨»òÕß˵¸±¼ÝÊ»£©£¬¶ø²»ÊÇÒ»¸ö¿É¹©²éÔĵŤ¾ßÊé¡£


ÒÔͨ¹ýÉî¶È½ø½¨ÑµÁ·µÃµ½µÄרÓÃÓ×Ä£ÐÍΪÀý¡£Ó×Ä£Ð͵ÄѵÁ·±ØÒª´óÁ¿µÄ±ê×¢Êý¾Ý£¬²¢ÇÒÖ»Äܽâ¾öµ¥Ò»ÎÊÌâ¡£Ïà±È֮ϣ¬´óÄ£Ð͵ÄͨÓÃÐԽýݺö࣬ÉõÖÁÖ»±ØÒª¼¸Ìõµ¥Ò»µÄÑùÀý£¬¾ÍÄܾ߱¸ÐÂÄÜÁ¦£¬Õâ¾ÍʹµÃ´óÄ£ÐÍÓиü¿í·ºµÄÀûÓó¡¾°¡£


OpenAIÔÚ2020ÄêÌá³öµÄËõ·Å¶¨ÂÉ£¨Scaling Law£©Ö¸³ö£¬Ä£Ð͵Ä×îÖÕ»úÄÜÖØÒªÓëÍÆËãÁ¿£¬Ä£ÐͲÎÊýÁ¿ºÍÊý¾Ý´óÓ×ÈýÕßÓйØ£¬¶øÓëÄ£Ð͵ľßÌå½á¹¹£¨²ãÊý/Éî¶È/¿í¶È£©¸ù»ùÎ޹ء£


¶ø´óÄ£ÐÍÏà±Å×Ú֮ǰµÄÓײÎÊýÁ¿Ëµ»°Ä£ÐÍ£¬ÔÚÒÔÉÏÈý¸ö·½Ãæ¶¼×öÁ˾޴óÌáÉý£¬²¢ÏÔ¶³öһЩӿÏÖÄÜÁ¦£¨ÊÀ½ç֪ʶ£¬Ö¸Áî×ñÑ­£¬Öð²½ÍÆÀíµÈ£©¡£


ͨË×À´½²£¬»ù´¡´óÄ£ÐÍÓÉ¿í·ºµÄͨÓÃÊý¾Ý£¨ÈçÍøÒ³¡¢°Ù¿Æ¡¢Êé¼®µÈ£©ÑµÁ·µÃµ½£¬ËüÏñÊÇÒ»¸öÄܹ»ºÍÄã¶Ô»°µÄ°Ù¿ÆÈ«Ê飬Ïàʶȴ²»¾«Í¨¸÷Àà֪ʶ£¬Í¬Ê±¾ß±¸¿Ï¶¨µÄÂß¼­Ë¼ÏëÄÜÁ¦£¬¶øÕâЩ¶¼ÊǹýÍùÓ×Ä£ÐͺÜÄÑ×öµ½µÄ¡£


½ØÖÁ2023Äêµ×£¬¹úÄÚÒѰ䲼µÄͨÓôóÄ£Ðͳ¬¹ýÁË200¸ö£¬ÄÇôΪʲô»¹Òª´òÔìÃæÏòÌØ¶¨ÁìÓò»òÐÐÒµµÄÐÐÒµ´óÄ£ÐÍÄØ £¿


Ϊʲô±ØÒªÐÐÒµ´óÄ£ÐÍ?


ÉÏÎÄÌáµ½ÁËÃÎÏëµÄ´óÄ£ÐÍËù¾ß±¸µÄÄÜÁ¦¡£È»¶ø£¬»úÄÜÊÜÏÞÓÚËõ·Å¶¨ÂÉ£¬»ù´¡´óÄ£ÐÍÏÖʵÀûÓÃÆðÀ´È´²¢Ã»ÓÐÉèÏëÖÐÄÇôµÃÐÄÓ¦ÊÖ¡£´óÄ£ÐÍʹÓÃͨÓÃÓïÁÏ¿â½øÐÐѵÁ·£¬¶ø°²È«ÐÐÒµµÄÊý¾Ýͨ³£ÊÇÌØÊâÇÒÓÐÏ޵ġ£


Õâµ¼Ö LLM ²»×㰲ȫÓйØÊý¾ÝºÍרҵ֪ʶ£¬¶ÔÌØ¶¨°²È«ÎÊÌâµÄÀí½âÄÜÁ¦ØÑ·¦£¬ÎÞ·¨ÌṩÕýÈ·»òÉî¿ÌµÄרҵڹÊÍ¡£


×êÑÐÅú×¢£¬Í¨ÓôóÄ£ÐÍÔÚ°²È«ÎÊÌâÉÏÌìÉú´ð°¸µÄÕýÈ·ÂʶàÊý²»¼°50%£¬¶ÔÖÐÎÄÎÊÌâ»Ø¸²µÄÕýÈ·ÂʸüµÍ¡£ÏÂͼչʾµÄÊÇ·ÖÆçÄ£ÐÍÔÚÍøÂ簲ȫÎÊÌ⼯Éϻظ²µÄÕýÈ·ÂÊ£º


GA»Æ½ð¼×¡¤(ÖйúÇø)¹Ù·½ÍøÕ¾



ͼƬÆðÔ´£ºMiao, Yukai, et al. "An Empirical Study of NetOps Capability of Pre-Trained Large Language Models." arXiv preprint arXiv:2309.05557 (2023)


Òò¶ø£¬Í¨¹ýÔöÁ¿Ô¤ÑµÁ·£¨Continuous Pre-train£¬CPT£©µÈ¼¼ÊõΪ´óÄ£ÐÍ×¢È밲ȫÐÐҵ֪ʶ£¬¾Í³ÉΪÁ˰²È«ÐÐÒµ´óÄ£ÐÍÀûÓõıØÒª¼¿Á©¡£¶ÌȱÕâ¸ö²½ÖèÖ±½Ó¶ÔºóÐø°²È«¹¤×÷×ö¼à¶½Î¢µ÷£¨Supervised Fine-tuning£¬SFT£©£¬´óÄ£ÐÍÔò»ò¶à»òÉÙ»áÎî¶Ô֪ʶØÑ·¦µÄÎÊÌâ£¬Ëæ¼´³öÏÖ¡°»Ã¾õ¡±¾°Ï󣬶Բ»¶®µÄÎÊÌâ×ö³öÖ£ÖØÆäʵĻظ²¡£


ÔçÄêÃæµÄÃèÊöÄܹ»¿´³ö£¬Í¬Ñù¶¼½Ó×°´óÄ£ÐÍ¡±£¬µ«¾ßÌåÔ¢ÒâºÍºÏÓÃÁìÓòÉÏÊÇ´æÔÚ²î¾àµÄ¡£ÄÇô´óÄ£ÐÍ»¹ÓÐÄÄЩµµ´Î»®·ÖÄØ £¿


L0-L2´óÄ£ÐÍ·Ö²ã¼Ü¹¹


ΪÁ˼ӿì´óÄ£ÐÍÂ䵨¹ý³Ì£¬¿É½«´óÄ£ÐÍ»®·ÖΪL0»ù´¡´óÄ£ÐÍ¡¢L1ÐÐÒµ´óÄ£ÐÍ¡¢L2ÀûÓôóÄ£ÐÍÈý¸öµµ´Î£º


L0»ù´¡´óÄ£ÐÍ£ºÖØÒªÔ̺¬Ê¹ÓÃͨÓÃ֪ʶԤѵÁ·µÃµ½µÄ»ù×ùÄ£ÐÍ£¨Èç¾ÅÌì¡¢ÎÄÐÄÒ»ÑÔ¡¢Í¨ÒåǧÎʵȣ©£¬ÓÃÀ´Îª´óÄ£Ð͵Ļù´¡ÄÜÁ¦Ìṩ֧³Ö¡£L1ÐÐÒµ´óÄ£ÐÍ£ºÔòÊÇʹÓÃÐÐҵ֪ʶÔöÁ¿Ô¤ÑµÁ·µÃµ½ÐÐҵģÐÍ£¬Îª´óÄ£ÐÍ×¢ÈëÁìÓò֪ʶ¡£ÔÚ°²È«ÐÐÒµ£¬ÎÒÃDZØÒªµÄ¾ÍÊǰ²È«´óÄ£ÐÍ¡£L2ÀûÓó¡¾°£ºÊÇͨ¹ý¸÷À༼ÊõʹL1ÐÐÒµ´óÄ£ÐÍÊÊÅäÓÚÏÂÓÎÀûÓó¡¾°µÄ·½Ê½£¬×¨Ò»ÓÚÔÚÌØ¶¨¹¤×÷ÉÏ»ñµÃÓÅÁ¼µÄ³ÉЧ¡£


ͨË×À´½²£¬L0»ù´¡´óÄ£ÐÍÏñÊǽø½¨ËùÓпÆÖ÷ÕŸßÖÐÉú£¬L1ÐÐÒµ´óÄ£ÐÍÀàËÆÓÚÑ¡¶¨×¨ÒµµÄ´óѧÉú£¬L2ÀûÓôóÄ£ÐÍÔòÊÇÑ¡¶¨Ìض¨·½ÏòµÄ×êÑÐÔ±¡£ÕâÖּܹ¹µÄÓÅÊÆÔÚÓÚ£¬½«´óÄ£ÐÍÀûÓÃÓÚÒµÎñµÄ²½ÖèÁ÷³Ì»¯£¬¼Ó¿ìÕûÌåÂ䵨¹ý³Ì£¬½µ½µµÍµØ³É±¾¡£Í¬Ê±£¬¶ÔÓÚL0-L2µµ´ÎµÄ»®·Ö£¬Ò²ÈÃÒµÎñÊý¾ÝµÄ³ÁµíÔ½·¢ÓÐÌõÀí£¬·½±ãÊý¾Ý²»ÐÝ»ØÁ÷µ½´óÄ£ÐÍ£¬²»ÐÝÓÅ»¯´óÄ£ÐÍÖÇÄÜˮƽ¡£


GA»Æ½ð¼×¡¤(ÖйúÇø)¹Ù·½ÍøÕ¾



ÔÚÎÒÃǹØ×¢µÄÍøÂ簲ȫÁìÓò£¬ÓÐÁ˰²È«´óÄ£Ðͺ󣬾ßÌåÄܹ»ÀûÓÃÔÚÄÄЩ³¡¾°ÖУ¬ÎªGA»Æ½ð¼×ÈÕ³£¹¤×÷´øÀ´ÄÜÁ¦ºÍЧÄܵÄÌáÉýÄØ £¿


°²È«´óÄ£Ð͵ÄÀûÓó¡¾°


°²È«´óÄ£ÐÍÔÚL2²ãÃæÓµÓÐ¿í·ºµÄÀûÓó¡¾°¡£°²È«´óÄ£ÐÍͨ³£ÔÊÐíÓû§Í¨¹ýÌìȻ˵»°ÊäÈëµÄ·½Ê½ÊµÏÖ°²È«ÔËÓªµÄÈÕ³£²Ù×÷£¬Æ¾¾ÝÓû§ÊäÈ룬°´ÐèŲÓÃÒÑÓеÄÓ×Ä£ÐͺͲúÆ·Ö°ÄÜ£¬ÊµÏÖ´óÓ×Ä£ÐÍЭͬµÄÖÇÄÜË㷨ϵͳ¡£


ÕâÖÖÌìȻ˵»°Å²ÓÃÖ°ÄÜÄ £¿éµÄ·½Ê½£¬Äܹ»ÀûÓôóÄ£Ð͵Ä֪ʶ´¢ÐîºÍÀí½âÍÆÀíÄÜÁ¦£¬ÎªÁìÓòÎÊÌâÌṩרҵµÄ½â¾ö¹æ»®¡£Í¬Ê±£¬¶ÔÓÚÒѾ­ÓÐÓйؾ­ÑéµÄ°²È«×¨¼Ò£¬ÔòÄܹ»Í¨¹ý´óÄ£ÐÍÌáÉýͨÀý·ÖÎö¹¤×÷µÄЧÄÜ¡£¼´¡°Ô®ÊÖͨ³£È˳ÉΪר¼Ò£¬Ô®ÊÖר¼ÒÌáÉýЧÄÜ¡±¡£


ÏÂÃæÁоÙһЩ³£¼ûµÄ°²È«´óÄ£ÐÍÀûÓó¡¾°£º 


ÀûÓó¡¾°1£º°²È«ÔËÓª

  

°²È«»ã±¨£º´óÄ£ÐÍÍùÍùÄܹ»ÔÚ¼¸·ÖÖÓÄÚ»ã×ÜÖ¸¶¨ÁìÓòÄÚµÄËùÓи澯ÊÂÎñ£¬²¢ÇÒÌìÉú×ÛºÏÐÔ°²È«»ã±¨£¬¹©°²È«×¨¼Ò²é¿´¡£


¸æ¾¯½â¶Á£ºÊµÏÖ¶ÔÓÚ°²È«ÊÂÎñµÄ¹Ø¼üÉí·Ö£¬Ô̺¬¸æ¾¯ÄÚÈÝ¡¢ÊÂÎñÀàÐÍ¡¢¹¥»÷ÊÖ·¨¡¢×ʲúÊôÐԵȽøÐÐרҵ·ÖÎöºÍ½â¶Á£¬ÌìÉú½â¶Á»ã±¨£¬¸¨ÖúÓû§¸æ¾¯ÑÐÅС£


¸æ¾¯ËÝÔ´£º¶ÔÓÚÌØÊâµÄ¸æ¾¯£¬°²È«×¨¼ÒÄܹ»Í¨¹ý´óÄ£ÐͽøÇ°½øÒ»²½ËÝÔ´·ÖÎö£¬ÒªÇó´óÄ£ÐÍÆ¾¾ÝÖÕ¶ËÈÕÖ¾ÌìÉúËÝԴͼµÈ¡£


ÏìÓ¦´ëÖ㺻ùÓÚÊÂÎñÐÅÏ¢ºÍ°²È«É豸²¿ÊðÐÅÏ¢£¬ÓÉ´óÄ£ÐÍ×Ô¶¯ÌìÉúÊÂÎñ´ëÖÃÕ½Êõ£¬Éϱ¨Óû§½øÈ¥Åú¸Ä»òÈ·ÈÏ£¬ ʵÏÖ¶Ô¹¥»÷ÐÐΪµÄ¼±¾çÏìÓ¦¡£


ÀûÓó¡¾°2£ºÖªÊ¶ÕûºÏ


°²È«µý±¨£º´óÄ£ÐÍÄܹ»ÀûÓÃÕûºÏ·ÖÆçÆðÔ´µÄ°²È«µý±¨Ô´£¬²¢ÔÚÓû§»·¾³ÖÐ×Ô¶¯ÊÊÅä¡£ÔÚ°²È«×¨¼Ò½øÐÐÊÂÎñµ÷²éʱ£¬Îª°²È«¸æ¾¯Ìṩ¸ßµÍÎÄ¡£


°²È«ÎÊ´ð£ºÍ¨¹ý¹¹½¨°²È«ÖªÊ¶¿â£¬´óÄ£ÐÍÄܹ»»Ø¸²Óû§µÄ°²È«ÎÊÌâ¡£Óû§Äܹ»²éÎʸ÷ÀàÍøÂ簲ȫ¡¢Ö÷»ú°²È«µÈ·½ÃæµÄÎÊÌ⣬²¢´Ó»Ø¸²ÖлñȡרҵµÄ°²È«ÐÅÏ¢ºÍ½¨Òé¡£ 


ÀûÓó¡¾°3£º´úÂëÖÎÀí


·ì϶ÍÚ¾ò£ºÍ¨¹ý½ø½¨´óÁ¿´úÂëºÍ·ì϶°¸Àý£¬´óÄ£ÐÍÄܹ»¶Ñ¼¯·á˶µÄ·ì϶´úÂë·ÖÎö¾­ÑéºÍרҵ֪ʶ£¬´Ó¶ø·¢ÏÖ´úÂëÖдæÔÚµÄDZÔÚ·ì϶»ò·çÏÕ¡£


·ì϶½¨¸´£º´óÄ£ÐÍÄܹ»Æ¾¾Ý·ì϶·ÖÎöÁ˾Ö£¬ÌìÉú²¹¾È²½Öè¡¢×Ô¶¯Ö´Ðи´ÔӵķçÏÕ»º½â»î¶¯»òÔÚÎÞÐèÓû§½»»¥µÄÇé¿öϽ¨²¹Èí¼þ£¬Õâ´ó´ó¼Ó¿ìÁËÖÎÀí·ì϶ºÍÌá¸ß×éÖ¯°²È«ÐԵĿìÂÊ¡£


¶ñÒâ¾ç±¾£º´óÄ£ÐÍÄܹ»·ÖÎöºÍÚ¹ÊͶñÒâ¾ç±¾ÐÐΪ£¬Ð­ÖúÓû§·¢ÏÖ´æÔÚÍþвµÄ¾ç±¾¡£ËüÔÊÐíÓû§µ¼Èë¾ç±¾²¢·ÖÎöÆäÊÇ·ñ´æÔÚ¶ñÒâÐÐΪ£¬¼ì²â»ººÍ½âDZÔÚÍþв£¬ÏóÕ÷©±¨ºÍ¶Ï¸ùÎ󱨡£ 


ÀûÓó¡¾°4£ººÏ¹æ¼à¿Ø


ºÏ¹æÉ󼯣ººÜ¶àÆóÒµ±ØÐë×ñÊØÐÐÒµ³ß¶ÈÒÔ± £»¤¹«Ë¾Êý¾Ý²¢Âú×ã¼à¹ÜÒªÇó£¬ÈËΪÉóºËͨ³£½ÏΪõ¿½Å£¬´óÄ£ÐÍÄܹ»Ô®ÊÔìÀ¹À×éÖ¯¶ÔÐÐÒµ³ß¶È¡¢ÂÉÀýÒªÇóºÍÄÚ²¿Õ½ÊõµÄºÏ¹æÐÔ¡£


Êý¾Ý´óÆÁ£º´óÄ£ÐÍÄܹ»×Ô¶¯ÌìÉúÕâЩÊý¾Ý´óÆÁÀ´¼à¿Ø×éÖ¯Êý¾ÝµÄºÏ¹æÐÔ£¬Äܹ»Ô®ÊÖ°²È«×¨¼ÒÇáËɸú×ٺϹæÖ¸±êµÄ½ø¶È²¢ÏòÉóºËԹعʾ¡£


ºÏ¹æ½¨¸´£º´óÄ£ÐÍÄܹ»Í¨¹ýºÏ¹æÐÔÉó¼ÆÁ˾Ö£¬ÌṩÏàÓ¦µÄ½¨¸´½¨Ò飬ԮÊÔìóÒµ´ïµ½¼à¹Ü³ß¶È¡£


³ÖÐø¸üУºËæ×ÅÐÐÒµ³ß¶ÈµÄ¸üкÍÖÎÀí»ú¹¹¸ü¸ÄÆäÂÉÀýÒªÇ󣬺ϹæÉó¼ÆÍùÍù±ØÒª×ö³öÏàÓ¦±ä¶¯¡£´óÄ£ÐÍÄܹ»¼±¾çµÄ¸ú½øÕâЩ±ä¶¯£¬²¢ÌṩÁìµ¼½¨Òé¡£