树莓派上流畅运行大模型！让终端具备自主学习与记忆能力
閲忓瓙浣嶆櫤搴撻噺瀛愪綅 | 鍏�紬鍙� QbitAI
2022骞村垵锛屽郊鏃禣penAI杩樻湭鍙戝竷ChatGPT锛孯ockAI灏卞凡缁忛€夋嫨鎶兼敞闈濼ransformer璺�嚎銆�
杩欎竴鍦ㄥ綋鏃剁湅鏉ラ潪涓绘祦鐨勯€夋嫨锛屽�浠婃�閫愭笎鏄剧幇鍑哄墠鐬绘€с€�
浠栦滑鎵撻€犵殑绔�晶澶фā鍨嬪凡缁忓彲浠ュ湪鏍戣帗娲捐繖鏍风殑寰�瀷璁惧�涓婃祦鐣呰繍琛岋紝棣栨壒鎼�浇Yan鏋舵瀯澶фā鍨嬬殑鍏疯韩鏅鸿兘鏈哄櫒浜轰篃宸茬粡闈�笘銆�
褰撲笅AI绠楀姏绔炶禌鎰堟紨鎰堢儓涔嬮檯锛屼粬浠�殑鈥滀綆绠楀姏鈥濃€滅兢浣撴櫤鑳解€濅箣璺��鍦ㄨ幏寰楁洿澶氬叧娉ㄣ€�
鏈�湡銆屽ぇ妯″瀷鍒涙柊鏋舵瀯銆嶄富棰樿�璋堬紝閲忓瓙浣嶉個璇峰埌RockAI CEO鍒樺嚒骞筹紝鑱婅亰浠栦滑閫夋嫨闈濼ransformer鏋舵瀯璺�嚎鑳屽悗鐨勬晠浜嬶紝浠ュ強閫氳繃鏋舵瀯鍙婄畻娉曞垱鏂板疄鐜癆GI鐨勬妧鏈�効鏅�€�
鈻砇ockAI CEO鍒樺嚒骞�
浠ヤ笅涓洪噺瀛愪綅涓嶳ockAI CEO鍒樺嚒骞崇殑瀵硅瘽瀹炲綍鏁寸悊锛�
闈濼ransformer閫嗗娍閫夋嫨
閲忓瓙浣嶏細浠嬬粛涓€涓婻ockAI鐨勫垱绔嬭儗鏅�惂锛屽綋鏃朵负浠€涔堥€夋嫨鍋氶潪Transformer鏋舵瀯锛�
鍒樺嚒骞筹細RockAI鎴愮珛鐨勫伐鍟嗙櫥璁扮殑鏃堕棿鏄�2023骞�6鏈堬紝浣嗗叾瀹炴垜浠�緢澶氬勾鍓嶅氨鍦ㄥ仛杩欎簺浜嬫儏浜嗭紝褰撴椂ChatGPT杩樻病鏈夌伀銆�
鎴戞渶鏃╁湪2016銆�2017骞寸爺绌禔ttention鏈哄埗鏃跺氨璁よ瘑鍒癟ransformer瀛樺湪寰堝�闂��銆�2022骞村垵鍒涗笟鏃讹紝鎴戜滑灏卞潥瀹氳蛋闈濼ransformer璺�嚎锛屼富瑕佹槸鍥犱负鎰忚瘑鍒癟ransformer鍙堣€楃畻鍔涘張鑰楁暟鎹�€�
鍦ㄦ�涔嬪墠锛屾垜浠�叾瀹炰篃鎺㈢储杩嘥ransformer鏋舵瀯鐨勪紭鍖栨柟鍚戯紝鍋氫簡绾挎€�ttention绛夋敼杩涳紝浣嗗彂鐜拌繖浜涢兘娌℃湁瑙ｅ喅鏍规湰闂��锛屾墍浠ョ储鎬ф斁寮冿紝鐩存帴璧伴潪Transformer杩欐潯璺�€�
閲忓瓙浣嶏細褰撴椂璁炬兂鐨勫簲鐢ㄥ満鏅�槸浠€涔堬紵
鍒樺嚒骞筹細鏈€鍒濆仛鐨勫叾瀹炴槸鎼滅储寮曟搸锛屽綋鏃舵垜浠�殑鎼滅储寮曟搸鏄�€滄墍鎼滃嵆鎵€寰椻€濓紝鑳藉�鐩存帴缁欏嚭绛旀�锛岃€屼笉鏄�粰涓€鍫嗙綉椤甸摼鎺ャ€傝繖鏈夌偣鍍忕幇鍦ㄧ殑Kimi鎴朠erplexity閭ｇ�妯″紡锛屼絾鎴戜滑褰撴椂鍋氬緱寰堟棭銆�
閭ｆ椂鍊欏氨鍙戠幇Transformer婊¤冻涓嶄簡鎴戜滑鐨勯渶姹傦紝棣栧厛鏄�够瑙夐棶棰橀潪甯镐弗閲嶏紝鍙﹀�鎴戜滑甯屾湜AI鑳藉疄鐜颁釜鎬у寲鐨勮嚜涓诲�涔犲拰璁板繂锛岃繖涓ょ偣閮芥槸褰撴椂Transformer鍩烘湰涓婂仛涓嶅埌鐨勶紝鐢氳嚦鍒扮幇鍦ㄩ兘鏃犳硶鍋氬埌銆�
閲忓瓙浣嶏細涓轰粈涔堜粠鍋氭悳绱㈠紩鎿庤浆鍙樻垚鐜板湪鍋氱�渚�I鍜岀兢浣撴櫤鑳斤紵
鍒樺嚒骞筹細鍏跺疄鏄�緢鑷�劧鐨勯€夋嫨鍜岃浆鍙樸€傛悳绱㈠紩鎿庡府鍔╃敤鎴疯幏寰椾俊鎭�紝浣嗗畠瀵圭敤鎴风殑浜嗚В姣旇緝娴咃紝鍙�兘閫氳繃鐢ㄦ埛鐨剄uery銆佺偣鍑婚摼鎺ュ拰鎴戜滑缁欑殑缁撴灉鏉ヤ簡瑙ｇ敤鎴枫€�
杩欑�鏂瑰紡瀵硅�蹇嗗拰鑷�富瀛︿範鐨勫奖鍝嶅亸灏忥紝浠呭仠鐣欏湪浼犵粺鏈哄櫒瀛︿範鐨勭敤鎴风敾鍍忚繖涓�緢娴呯殑灞傞潰銆傛垜浠�兂璧板緱鏇磋繙锛岃�AI涓庣敤鎴蜂箣闂翠骇鐢熸洿澶氱矘鎬э紝鎵€浠ユ兂鍒拌�璁惧�璧拌繘鏉ャ€�
鎴戜滑褰撴椂鍒ゆ柇AGI锛堥€氱敤浜哄伐鏅鸿兘锛変細鍜岃�澶囨湁寮哄叧鑱旓紝鑰屼笉浠呬粎鏄�簰鑱旂綉鐨勬ā寮忋€傛悳绱㈠紩鎿庡彧鏄�€氬線AGI鐨勪竴涓�伐鍏凤紝骞舵病鏈夋垚涓哄熀寤猴紝鑰屼汉宸ユ櫤鑳借�鎴愪负鍩哄缓锛屽氨涓€瀹氳�鍜岃�澶囧叧鑱旇捣鏉ャ€�
鍏跺疄2022骞村簳GPT鐏�簡涔嬪悗锛屽緢澶氫汉涓嶇悊瑙ｆ垜浠�负浠€涔堣�鍋氶潪Transformer鏋舵瀯澶фā鍨嬨€傜敋鑷冲埌2023骞达紝寰堝�浜洪兘涓嶅お鐞嗚В锛岀幇鍦ㄩ殢鐫€瓒婃潵瓒婂�浜虹湅鍒颁簡Transformer涔嬪�鐨勫彲鑳芥€э紝澶у�寮€濮嬫參鎱㈢悊瑙ｄ簡銆�
閲忓瓙浣嶏細鑳戒笉鑳戒粙缁嶄竴涓嬩粈涔堟槸缇や綋鏅鸿兘锛�
鍒樺嚒骞筹細鎴戜滑瀵圭兢浣撴櫤鑳芥湁涓€涓�畾涔夛紝鍏峰�鑷�富瀛︿範鐨勮嫢骞叉櫤鑳藉崟鍏冿紝閫氳繃鐜��鎰熺煡銆佽嚜鎴戠粍缁囥€佷簰鍔ㄥ崗浣滃叡鍚岃В鍐冲�鏉傞棶棰橈紝骞跺湪涓嶆柇鍙樺寲鐨勭幆澧冧腑瀹炵幇鏁翠綋鏅鸿兘鎻愬崌銆傛垜浠�繕瀹氫箟浜嗙兢浣撴櫤鑳界殑鍥涗釜闃舵�锛�
绗�竴闃舵�鏄�垱鏂版€у熀纭€鏋舵瀯锛屾憭寮冧紶缁熸灦鏋勩€佺爺鍙戜綆绠楀姏闇€姹傜殑鍒涙柊鏋舵瀯鍜岀畻娉曘€�
绗�簩闃舵�鏄��鍏冨寲纭�欢鐢熸€侊紝鏋勫缓璺ㄥ钩鍙般€佷綆鍔熻€椼€佸�妯℃€佸吋瀹圭殑妯″瀷锛屽疄鐜板湪鍚勭被缁堢�璁惧�鐨勭伒娲婚儴缃层€�
绗�笁闃舵�鏄�嚜閫傚簲鏅鸿兘杩涘寲锛岃祴浜堟櫤鑳藉崟鍏冭嚜涓诲�涔犺兘鍔涳紝寤虹珛鎸佺画杩涘寲浣撶郴锛屽疄鐜拌嚜鎴戜紭鍖栧拰杩�唬銆�
绗�洓闃舵�鏄�崗鍚屽寲缇や綋鏅鸿兘锛屾瀯寤烘櫤鑳藉崟鍏冮棿鐨勯珮鏁堜俊鎭�氦鎹�笌鍗忎綔鏈哄埗锛屽舰鎴愭棦鐙�珛鍙堟暣浣撶殑鏅鸿兘鐢熸€佺郴缁熴€�
鏁翠釜杩囩▼鎴戜滑甯屾湜鏄�粠浜掕仈缃戞ā寮忚蛋鍚戠墿鐞嗕笘鐣岀殑锛岃�鐗╃悊涓栫晫鐨勬瘡涓€绉嶄氦浜掗兘鎴愪负鏁版嵁锛岃€岃繖绉嶆暟鎹�兘鏇翠簡瑙ｇ敤鎴凤紝鍚屾椂AI瀵规暟鎹�殑瀛︿範涔熻兘鍙嶉�鍒扮敤鎴疯韩涓婏紝鎴戜滑璁や负杩欐墠鏄�渶鏈変环鍊肩殑銆�
鈻砇ockAI缇や綋鏅鸿兘鍙戝睍鐞嗗康
MCSD涓庣被鑴戞縺娲�
閲忓瓙浣嶏細鑳戒笉鑳戒粙缁嶄竴涓媃an鏋舵瀯澶фā鍨嬬殑鏍稿績鎶€鏈疢CSD锛�
鍒樺嚒骞筹細鍏跺疄MCSD鍙�槸鎴戜滑妯″瀷鐨勪竴涓�ā鍧楋紝杩欎釜妯″潡闄嶄綆浜嗘椂闂村�鏉傚害鍜岀┖闂村�鏉傚害銆�
涓句釜渚嬪瓙锛孴ransformer涓�殑Attention鏈哄埗灏卞儚鐕冩补姹借溅鐨勫彂鍔ㄦ満锛屾槸鏈€鏍稿績鐨勯儴鍒嗐€傜幇鍦ㄥ緢澶氫汉鍦ㄤ紭鍖栧畠锛岀浉褰撲簬鎶婂彂鍔ㄦ満浠庤嚜鐒跺惛姘斿彉鎴愭丁杞��鍘嬶紝浣嗘棤璁烘€庝箞鏀癸紝瀹冨氨鏄�竴涓�噧娌瑰彂鍔ㄦ満銆�
鎴戜滑鐨凪CSD鐩稿綋浜庢妸瀹冨彉鎴愪簡鏂拌兘婧愭苯杞︾殑鐢垫満銆侫ttention鏈哄埗寤虹珛浜嗕竴涓�ぇ鐭╅樀鍘昏�绠梩oken涓巘oken涔嬮棿鐨勫叧鑱斿叧绯伙紝鏃堕棿澶嶆潅搴︽槸O(n虏)锛屾€ц兘鎹熻€楅潪甯稿ぇ銆�
鑰屾垜浠�殑MCSD鍙�互閫氫織鐞嗚В涓猴紝瀵硅緭鍏ュ唴瀹逛腑鐨則oken杩涜�鍔ㄦ€佺殑澧炲己鍜岃“鍑忋€�
姣斿�鎴戞兂棰勬祴鈥滀粖澶╁寳浜�殑娓╁害鏄��灏戔€濊繖涓�彞瀛愮殑涓嬩竴涓猼oken鏄�粈涔堬紝鏄�棶鍙疯繕鏄�彞鍙枫€傚叾涓�殑鈥滀粖澶┾€濅袱涓�瓧瀵瑰悗闈㈢敤闂�彿杩樻槸鍙ュ彿褰卞搷寰堝皬锛屾墍浠ュ�瀹冭繘琛岃“鍑忥紱鑰屸€滃�灏戔€濆�涓嬩竴涓猼oken褰卞搷姣旇緝澶э紝鎵€浠ヨ繘琛屽�寮恒€�
杩欎釜杩囩▼鍙�渶瑕佺畻涓€娆★紝灏辨妸璁＄畻澶嶆潅搴︿粠O(n虏)闄嶄负浜哋(n)锛屾帹鐞嗗氨鏇村揩锛屽熀鏈�笂鍋氬埌涓€涓�ǔ瀹氬父閲忕骇鐨勬帹鐞嗐€�
鈻炽€奙CSD: An Efficient Language Model with Diverse Fusion銆嬭�鏂�
閲忓瓙浣嶏細闄や簡MCSD锛孻an鏋舵瀯澶фā鍨嬭繕鏈変粈涔堟牳蹇冩妧鏈�紵
鍒樺嚒骞筹細鎴戜滑杩樻彁鍑轰簡绫昏剳婵€娲绘満鍒讹紝瀹冩槸鍦∕CSD鍩虹�涓婃墿灞曠殑妯�悜鍐呭�銆傝繖涓�被鑴戞縺娲绘満鍒舵垜浠�唴閮ㄧО涓衡€滃姩鎬佺�缁忓厓閫夋嫨椹卞姩绠楁硶鈥濄€�
浜虹殑澶ц剳鏄�姩鎬佹縺娲荤殑銆傚紑杞︽椂锛岃�瑙夌毊灞傝�澶ч噺婵€娲伙紱浼戞伅鏃讹紝瑙嗚�鐨�眰琚�姂鍒讹紱鑰冭瘯鏃讹紝閫昏緫鍖鸿�婵€娲伙紱鍥炲繂闂��鏃讹紝璁板繂鍖鸿�婵€娲汇€傝€屼紶缁烼ransformer鏋舵瀯锛屽摢鎬曠畻1 1锛屾墍鏈夌�缁忓厓閮戒細鍙備笌杩愮畻锛岃繖鏄�潪甯镐笉鍚堢悊鐨勩€�
MoE锛堟贩鍚堜笓瀹舵ā鍨嬶級铏界劧鍑忓皯浜嗗弬涓庤�绠楃殑鍙傛暟锛屼絾瀹冨湪妯″瀷鍒濆�鍖栧墠灏卞畾涔夊ソ浜嗗垎鏀�暟閲忥紝骞朵笉鏄�湡姝ｅ姩鎬佹縺娲荤殑銆傛垜浠�殑鍋氭硶鏄�紝褰撶敤鎴疯緭鍏�uery鏃讹紝浼氬姩鎬佺粍寤轰竴涓��缁忕綉缁滐紝杩欎釜缃戠粶鏄�牴鎹�渶瑕佷复鏃跺缓绔嬬殑锛屼笉鏄��璁惧ソ鐨勩€�
褰㈣薄鍦拌�锛孧oE鐩稿綋浜庡湪娌充笂鎻愬墠淇�ソ浜斿骇妗ワ紝鐢ㄦ埛鏉ヤ簡鍚庨€夋嫨涓€搴ц繃娌筹紱鑰屾垜浠�槸娌℃湁鐜版垚鐨勬ˉ锛屽彧鎻愪緵涓€鍫嗗伐鍏凤紙绁炵粡鍏冿級锛岀敤鎴烽渶瑕佽繃娌虫椂锛岃繖浜涘伐鍏峰姩鎬佸湴鍒涘缓鍑轰竴搴фˉ锛岄棶棰樿В鍐冲悗杩欎釜妗ュ氨娑堝け浜嗐€�
鈻矼CSD涓庣被鑴戞縺娲绘満鍒剁ず鎰�
閲忓瓙浣嶏細杩欑�璁＄畻澶嶆潅搴︿负O(n)鐨勬ā鍨嬭兘鍦ㄧ幇瀹炰腑鎻愪緵浠€涔堟柊鐨勫彲鑳芥€э紵
鍒樺嚒骞筹細鏈€鍏稿瀷鐨勬槸璁惧�绔�簲鐢ㄣ€傚緢澶氳�澶囧巶鍟嗘壘鎴戜滑锛屾槸鍥犱负鎴戜滑鐨勬ā鍨嬭兘鍦ㄤ粬浠��澶囦笂璺戣捣鏉ャ€俆ransformer鏋舵瀯濡傛灉瑕佸湪楠侀緳6鐨勬墜鏈轰笂杩愯�锛屽弬鏁伴噺闇€瑕侀檷寰楀緢浣庯紝鑰屾垜浠�彲浠ョ洿鎺ヨ繍琛屻€�
鍍忔爲鑾撴淳杩欐牱鐨勪綆绔��澶囷紝鎴戜滑涔熻兘杩愯�璧锋潵锛岃繖瀵圭墿鑱旂綉璁惧�寰堥噸瑕併€傝繕鏈夋棤浜烘満銆佸叿韬�櫤鑳芥満鍣ㄤ汉绛夛紝濡傛灉瀹冧滑闇€瑕佽仈缃戞墠鑳藉�璇濓紝閭ｇ敤鎴蜂綋楠屾槸寰堢碂绯曠殑銆傛垜浠�兘璁╂ā鍨嬮儴缃插湪璁惧�涓婏紝瀹炵幇绂荤嚎鏅鸿兘锛岃繖鏄�潪甯稿ぇ鐨勪紭鍔裤€�
閲忓瓙浣嶏細璁＄畻澶嶆潅搴︾殑涓嬮檷鍜屾ā鍨嬫€ц兘鐨勬彁鍗囧彲浠ュ吋寰楀悧锛�
鍒樺嚒骞筹細鎴戣�涓烘槸鍙�互鐨勩€傝繖涓嶆槸鎷嶈剳琚嬬殑鎰熻�锛岃€屾槸鍩轰簬涓ゆ柟闈㈠師鍥狅細
涓€鏄�垜浠�仛浜嗗緢澶氬疄楠岋紝鍙戠幇鏍囧噯Attention鏈哄埗鐨凮(n虏)璁＄畻澶嶆潅搴︽湁閮ㄥ垎鏄�氮璐圭畻鍔涚殑锛涗簩鏄�粠鑴戠�瀛﹁�搴︾湅锛屽嵆浣挎槸绁炵粡鍏冨緢灏戠殑绠€鍗曠敓鐗╋紝涔熻兘鎷ユ湁涓€瀹氱殑鏅鸿兘銆�
鎴戜滑璁や负鍏抽敭鏄�簳灞傜畻娉曠殑闂��銆傛垜浠�笉浠呭湪鍋氭灦鏋勫垱鏂帮紝杩樻湁鍩虹�绠楁硶鐨勫垱鏂般€傚�杈涢】鎵€璇达紝鍙嶅悜浼犳挱绠楁硶鏈�韩涔熷瓨鍦ㄩ棶棰樸€傝�杩涗竴姝ュ彂灞曚汉宸ユ櫤鑳斤紝搴曞眰绠楁硶蹇呴』瑕佸仛澶ч噺鍒涙柊銆�
搴曞眰绠楁硶鍐冲畾浜嗕笂灞傛灦鏋勶紝搴曞眰绠楁硶濡傛灉涓嶈�锛屾灦鏋勫眰鐨勫垱鏂板氨浼氳秺鏉ヨ秺鏈夐檺銆�
璁�帹鍚屾�涓庣�渚ч潻鍛�
閲忓瓙浣嶏細鑳戒笉鑳芥弿缁樹竴涓嬬兢浣撴櫤鑳芥渶缁堢殑鍦烘櫙鏄�粈涔堟牱瀛愶紵
鍒樺嚒骞筹細浜虹被绀句細鐨勫彂灞曚竴瀹氫細浼撮殢鐫€鏂拌�澶囩殑浜х敓锛屾湭鏉ュ彲鑳芥瘡涓�汉閮戒細鏈変竴涓�柊鐨勮�澶囷紝杩欎釜璁惧�鍙�兘涓嶅啀鏄�墜鏈猴紝鍥犱负鎵嬫満鐨勫満鏅�湁闄愩€�
杩欎釜璁惧�浼氭槸浠€涔堟牱鐜板湪涓嶆竻妤氾紝浣嗘垜璁や负瀹冩洿澶氫細鍦ㄧ墿鐞嗕笘鐣屽府鍔╀綘锛屼笖涓嶄竴瀹氭槸鏈哄櫒浜哄舰寮忋€備細甯�綘瑙ｅ喅鏃ュ父鐢熸椿涓�殑缁濆ぇ閮ㄥ垎闂��锛屽叿鏈夐珮搴﹂殣绉佹€э紝瀹屽叏蹇犱簬浣犱笖涓嶄細娉勯湶闅愮�銆�
鏇撮噸瑕佺殑鏄�紝杩欎簺璁惧�鍏峰�鑷�富瀛︿範鑳藉姏銆傛瘮濡備綘鍛婅瘔瀹冨仛涓�泲鐐掗キ锛屽畠鏆傛椂杩樹笉浼氬仛锛屼絾瀹冧細鍦ㄧ墿鐞嗕笘鐣屼腑鑷�繁瀛︿範鎬庝箞鍋氥€傝�澶囦箣闂翠篃浼氱浉浜掑叧鑱旓紝鍦ㄤ汉绫荤ぞ浼氫箣澶栵紝杩樻湁浜轰笌鏈哄櫒鐨勭ぞ浼氥€佹満鍣ㄤ笌鏈哄櫒鐨勭ぞ浼氥€�
涓嶈繃杩欎笉鏄��纭呭熀鐢熷懡浼氫骇鐢燂紝鑰屾槸鏈嶅姟浜虹被绀句細鐨勮繃绋嬨€傛垜鏄�釜鍔″疄涓讳箟鑰咃紝涓嶄細骞绘兂闈炲父绉戝够鐨勫満鏅�€傛湭鏉ョぞ浼氬彧瑕佷汉瀛樺湪锛屽氨鏄�负浜烘湇鍔＄殑绀句細锛屾病閭ｄ箞绉戝够锛屼絾涓€瀹氫細璁╀汉鏇寸畝鍗曘€佹洿楂樻晥鍦版€濊€冨拰琛屽姩銆�
閲忓瓙浣嶏細鐩�墠鎴戜滑鏄�湪缇や綋鏅鸿兘鍥涗釜闃舵�閲岀殑鍝�釜闃舵�锛�
鍒樺嚒骞筹細绗�竴涓�樁娈碘€滃垱鏂版€у熀纭€鏋舵瀯鈥濆凡缁忓畬鍏ㄥ疄鐜般€傜�浜屼釜闃舵�鈥滃�鍏冨寲纭�欢鐢熸€佲€濊�鍏煎�闈炲父骞挎硾鐨勮�澶囷紝鎴戜滑涔熷凡缁忓仛鍒颁簡銆�
鐜板湪姝ｈ繄鍚戠�涓変釜闃舵�鈥滆嚜閫傚簲鏅鸿兘杩涘寲鈥濄€傚洜涓鸿嚜涓诲�涔犲拰璁板繂鎶€鏈�繕娌℃湁姝ｅ紡瀵瑰�鍙戝竷锛屼竴鏃﹀叿澶囧悗锛屾垜浠�氨瀹屽叏杩涘叆绗�笁闃舵�銆傜�鍥涢樁娈垫槸鈥滃崗鍚屽寲缇や綋鏅鸿兘鈥濋樁娈碉紝鎵€浠ョ洰鍓嶆垜浠��浜庣�浜岄樁娈靛悜绗�笁闃舵�杩囨浮鐨勯樁娈点€�
閲忓瓙浣嶏細绗�笁闃舵�鑷�€傚簲鏅鸿兘杩涘寲鐨勯棬妲涙槸浠€涔堬紝鏈€澶ф寫鎴樻槸浠€涔堬紵
鍒樺嚒骞筹細鈥滆嚜閫傚簲鏅鸿兘杩涘寲鈥濈殑涓や釜鍏抽敭闂ㄦ�鏄�嚜涓诲�涔犲拰璁板繂鑳藉姏銆傛渶澶ф寫鎴樻槸鈥滆�鎺ㄥ悓姝モ€濓紝鍗宠�缁冨拰鎺ㄧ悊鍚屾�杩涜�銆�
杩欎釜鎸戞垬闈炲父楂橈紝涓嶆槸璇碊eepSeek鎴栨槸OpenAI灏卞彲浠ヨ交鏄撳仛鍒扮殑銆備粬浠�仛鐨勫叾瀹炴洿澶氳繕鏄��Transformer鐨勪紭鍖栵紝鑰岃�鎺ㄥ悓姝ュ湪琛屼笟鍐呴兘娌℃湁浜哄仛杩囥€�
Google鏈€杩戝彂琛ㄤ簡涓€绡囥€奣itans: Learning to Memorize at Test Time銆嬬殑璁烘枃锛屼篃绠楁槸璁板繂鑳藉姏鐨勪竴绉嶆帰绱�紝浣嗚繕涓嶅�锛岃€屾垜浠�凡缁忓湪瀹炴柦鑷�富瀛︿範涓庤�蹇嗚兘鍔涚殑璺�笂銆�
鈻炽€奣itans: Learning to Memorize at Test Time銆嬭�鏂�
鎴戜滑鐨勬妧鏈��鍒掓湁涓や釜鏂归潰锛氫竴鏄�粠鏋舵瀯灞傞潰锛岄€氳繃绫昏剳婵€娲绘満鍒舵敼杩涘湪璁板繂杩囩▼涓��姣忎釜绁炵粡鍏冭兘璁扮殑涓滆タ鏇村�锛涗簩鏄�熀纭€绠楁硶鍒涙柊锛岀壒鍒�槸浼樺寲鍙嶅悜浼犳挱绠楁硶銆�
鎺ㄧ悊鐜板湪鐪嬭捣鏉ュ�鏄擄紝涓€鍙癎PU璁惧�灏辫兘瀹屾垚锛屼絾璁�粌鍗村緢闅撅紝涓昏�鏄�洜涓哄弽鍚戜紶鎾�畻娉曘€傚�鏋滆�缁冨拰鎺ㄧ悊绠楁硶瑕佹眰閮藉緢浣庯紝閭ｄ箞灏卞彲浠ュ湪缁堢�璁惧�涓婄洿鎺ュ仛璁�粌鎺ㄧ悊鍚屾�锛岀洿鎺ヤ粠鐗╃悊涓栫晫浜や簰鑾峰緱鏁版嵁杩涜�璁�粌锛岃繖鏄�悊鎯崇姸鎬併€�
閲忓瓙浣嶏細棰勮�绗�笁闃舵�鑷�€傚簲鏅鸿兘杩涘寲鍜岀�鍥涢樁娈靛崗鍚屽寲缇や綋鏅鸿兘浼氬湪澶氫箙鍚庡疄鐜帮紵
鍒樺嚒骞筹細绗�笁闃舵�鎴戜滑棰勮�鍦ㄦ湭鏉ヤ竴鍒颁袱骞村唴瀹炵幇锛屼笉浼氱壒鍒�箙銆�
鎴戜滑鍐呴儴宸茬粡鐪嬪埌浜嗕竴浜涙晥鏋滐紝鍘诲勾6鏈堜唤涓栫晫浜哄伐鏅鸿兘澶т細涓婃垜浠��澶栨紨绀鸿繃杩欎釜鑳藉姏锛屼絾閭ｈ繕灞炰簬瀹為獙瀹ょ増鏈�紝娌℃湁鍟嗙敤銆�
绗�洓闃舵�鈥滃崗鍚屽寲缇や綋鏅鸿兘鈥濋渶瑕佺殑鏃堕棿鏇撮暱锛屽洜涓哄畠娑夊強璁惧�涓庤�澶囦箣闂寸殑閫氫俊锛岃繖鏂归潰铏界劧鎴戜滑鏈夊緢澶氱爺绌讹紝浣嗙‘瀹炶繕鏈夐殰纰嶏紝棰勮�2鍒�3骞村悗鍙�兘浼氱湅鍒版槑鏄捐繘灞曘€�
鈻崇兢浣撴櫤鑳界ず鎰�
閲忓瓙浣嶏細瑕佸疄鐜扮兢浣撴櫤鑳斤紝涓嶅悓璁惧�涓婄殑澶氫釜妯″瀷鐩镐簰鍗忎綔鐨勬寫鎴樺ぇ鍚楋紵
鍒樺嚒骞筹細寰堝ぇ锛岃繖姝ｆ槸鎴戜滑瀹為獙瀹ゅ洟闃熸�鍦ㄧ爺绌剁殑闂��銆�
鍗忓悓瀛︿範鏄�緢闅剧殑锛屽畠棣栧厛闇€瑕佸崗鍚岀殑鏈哄埗鍜岃�瑷€銆備汉涓庝汉浜ゆ祦鍙�互閫氳繃璇�█锛屼絾鏈哄櫒涔嬮棿鐨勪氦娴佸ぇ姒傜巼涓嶆槸璇�█褰㈠紡锛屽洜涓鸿�瑷€浜ゆ祦鏈夋椂闂存垚鏈�紝涓旇�瑷€鏄�叿璞¤〃杈撅紝鑰岄潪鎶借薄鐨勩€�
鏈哄櫒涔嬮棿鐨勫崗浣滀竴瀹氭槸浠ユ洿绮惧噯鐨勬柟寮忚繘琛岋紝鑰岀洰鍓嶆垜浠�繕娌℃壘鍒板緢濂界殑鏂瑰紡銆傛垜浠�湪鐮旂┒鏈哄櫒涓庢満鍣ㄤ箣闂寸殑浜ゆ祦妯″紡锛屽寘鎷��缁忓厓浜ゆ崲鐨勬柟寮忋€�
涓句釜渚嬪瓙锛屾瘮濡傛垜鐨勬ā鍨嬪湪寮€杞︽椂鐭ラ亾鍝�簺绁炵粡鍏冭�婵€娲伙紝閭ｈ兘鍚︽妸杩欓儴鍒嗙�缁忓厓绉绘�鍒板彟涓€涓�笉浼氬紑杞︾殑妯″瀷涓婏紵绉绘�鍚庯紝閭ｄ釜妯″瀷鏃犻渶璁�粌灏卞彲浠ョ洿鎺ュ紑杞︼紝瀹炵幇鑳藉姏杩佺Щ銆�
鍚屾牱锛屽綋涓や釜妯″瀷闇€瑕佷竴璧峰畬鎴愪换鍔℃椂锛屽�浣曡�瀹冧滑榛樺�閰嶅悎锛熻繖闇€瑕佸疄鏃跺悓姝ョ殑鏂囨湰銆佽�瑙夈€佽�闊崇殑浜や簰銆�
鐩�墠澶фā鍨嬬殑浜や簰锛岃緭鍏ュ拰杈撳嚭涓嶆槸瀹炴椂鍚屾�鐨勶紝鐢ㄦ埛杈撳叆鏂囨湰鍚庯紝妯″瀷瑕佺瓑寰呭畬鏁磋緭鍏ュ畬鎴愭墠寮€濮嬫€濊€冨啀杈撳嚭銆備絾浜轰笌浜轰氦娴佹椂锛屽�鏂瑰紑濮嬭�璇濅箣鍚庝綘鍚屾�灏卞湪鎬濊€冧簡銆�
閲忓瓙浣嶏細杩欎笌浼犵粺浜轰笌鏅鸿兘闊崇�鐨勯偅绉嶄氦浜掓湁浣曟湰璐ㄥ尯鍒�紵
鍒樺嚒骞筹細浼犵粺鏅鸿兘闊崇�鏄�崟鍚戞寚浠ゅ瀷浜や簰锛屾瘮濡傝�灏忓害鎾�斁闊充箰锛屽畠灏辨挱鏀俱€傛垜浠�殑妯″紡鏄�紝褰撲綘鍒氳�鈥滃府鎴戞挱涓€棣栤€濓紝杩樻病璇村埌鍚庢枃鏃讹紝妯″瀷宸茬粡寮€濮嬫帹鐞嗕綘鎯冲惉璋佺殑姝岋紝寮€濮嬬悊瑙ｄ綘鐨勬剰鍥惧苟鍑嗗�缁撴灉锛岃繖鑳借�璁惧�鏇村儚浜鸿€岄潪宸ュ叿銆�
杩欓渶瑕佸畬鍏ㄤ笉鍚岀殑鎶€鏈�疄鐜般€備紶缁熷�妯℃€佹ā鍨嬪父甯告槸鍒嗗紑璁�粌鐨勶紝鍏堣�缁冭嚜鐒惰�瑷€妯″瀷锛屽啀璁�粌闊抽�銆佽�棰戞ā鍨嬶紝鐒跺悗鍋氬�榻愩€�
鑰屾垜浠�殑鏂规硶鏇村儚鏁欏┐鍎匡紝涓嶆槸鍏堝�鏂囨湰鍐嶅�闊抽�鍐嶅�瑙嗚�锛岃€屾槸鍚屾椂瀛︿範锛岃繖浜х敓鐨勫�涓栫晫鐨勮�璇嗘槸瀹屽叏涓嶅悓鐨勶紝鏀瑰彉浜嗗ぇ妯″瀷鐨勫�涔犳ā寮忋€�
姣斿�鏁欏�瀛愯�瀛楋紝褰撲綘鎸囩潃瀛楁瘝璇粹€滆繖鏄疉鈥濇椂锛屽０闊冲拰瑙嗚�鏄�悓姝ヨ緭鍏ョ粰浠栫殑銆傞噸澶嶅嚑娆″�瀛愬緢蹇�氨鑳借�鍑哄瓧姣嶃€傚疄鏃跺�涔犱笉闇€瑕佹捣閲忔暟鎹�紝鍙�渶瑕乫ew-shot锛岃€屼紶缁熷ぇ妯″瀷闇€瑕佸ぇ閲忔牱鏈�緭鍏ュ幓瀛︿範銆�
褰撳墠鐨勫ぇ妯″瀷鐢变簬鏋舵瀯闂��鍜屽弽鍚戜紶鎾�殑闄愬埗锛屽�鑷村己渚濊禆鏁版嵁鍜岀畻鍔涖€傝€屽疄鏃舵ā鍨嬪�鏁版嵁鐨勮�姹備細澶уぇ闄嶄綆銆�
涓€涓�汉浠庡┐鍎垮埌澶у�姣曚笟锛屽苟娌℃湁鐪嬭繃涓€涓囦嚎token鐨勬暟鎹�紝鑰岀幇鍦ㄥぇ妯″瀷璁�粌鍔ㄨ緞闇€瑕佸崄鍑燭鐨則oken鏉ヨ�锛岃繖鏄剧幇浜嗙幇鏈夋柟娉曠殑缂洪櫡銆�
閲忓瓙浣嶏細RockAI鐩�墠宸茬粡鎽嗚劚浜嗗�娴烽噺鏁版嵁鐨勯渶姹傚悧锛�
鍒樺嚒骞筹細鎴戜滑鎽嗚劚浜嗕竴閮ㄥ垎锛屼絾娌℃湁褰诲簳瑙ｅ喅銆傛垜浠�笇鏈涘熀浜庤嚜涓诲�涔犲拰璁板繂鑳藉姏褰诲簳瑙ｅ喅杩欎釜闂��銆�
鎴戜滑鍦ㄤ汉鏈轰氦浜掓柟闈㈠凡缁忓彇寰椾簡杩涘睍锛屼絾鍥犱负鑷�富瀛︿範鍜岃�蹇嗚兘鍔涜繕鏈�骇鍝佸寲搴旂敤锛屾墍浠ョ洰鍓嶄笌鍏朵粬浜у搧鐨勪氦浜掍綋楠屽樊寮傚�閮ㄦ劅鐭ヨ繕涓嶆槸鐗瑰埆鏄庢樉锛屼絾璺�嚎鏄�畬鍏ㄤ笉鍚岀殑銆�
閲忓瓙浣嶏細鎴戜滑鐩�墠鑳藉湪鍝�簺缁堢�璁惧�涓婂疄鐜板吋瀹癸紵涓庡叾浠栧皬鍨嬪紑婧愭ā鍨嬫湁浠€涔堝尯鍒�紵
鍒樺嚒骞筹細瀵逛簬鎺ㄧ悊鐨勮瘽鍩烘湰涓婂ぇ閮ㄥ垎缁堢�閮藉彲浠ュ吋瀹癸紝鍖呮嫭鏍戣帗娲俱€傚�浜庤�缁冿紝鎴戜滑娴嬭瘯鑷冲皯闇€瑕佽嫳鐗瑰皵 i7浠ヤ笂姘村钩鐨勫�鐞嗗櫒銆�
鍦ㄥ吋瀹规€ф柟闈�紝鎴戜滑搴旇�鏄�蛋鍦ㄥ墠闈㈢殑锛岃嚦灏戝湪2024骞�5鏈堝墠灏卞凡鍦ㄦ爲鑾撴淳涓婂疄鐜版帹鐞嗭紝骞跺湪2024骞寸殑涓栫晫浜哄伐鏅鸿兘澶т細涓婂叕寮€寮€鏀句綋楠屻€傚埌鐜板湪搴旇�杩樻病鏈夊摢瀹跺叕鍙歌兘鍋氬埌杩欎釜绋嬪害銆�
鎴戜滑涓庨偅浜涘皬鍨嬪紑婧愭ā鍨嬬殑鍖哄埆寰堝ぇ銆傚畠浠�槸閫氳繃缂╁噺鍙傛暟閲忔潵閫傚簲璁惧�锛岃€屾垜浠�笉鏄�潬鐗虹壊妯″瀷鍙傛暟閲忔潵瀹炵幇璁惧�绔��缁冿紝杩欐牱鍋氭剰涔変笉澶с€�
鈻虫爲鑾撴淳绀烘剰鍥�
閲忓瓙浣嶏細杩欑�骞挎硾鐨勭‖浠堕€傞厤浼氱粰鎴戜滑鐢熸椿甯︽潵浠€涔堝疄闄呮敼鍙橈紵
鍒樺嚒骞筹細鏀瑰彉浼氬緢澶氥€傚挨鍏舵槸鑷�富瀛︿範鍜屽拰璁板繂鑳藉姏浜у搧鍖栧悗锛屽畠鍙�互瀹炵幇楂樺害涓�€у寲鐨勪氦浜掍綋楠屻€備笌浣犱氦娴佺殑AI鏄�畬鍏ㄤ釜鎬у寲鐨勶紝浜嗚В浣犵殑涓€鍒囷紝鑳界粰鍑洪潪甯搁拡瀵规€х殑寤鸿�銆備笉鍍忕幇鍦ㄧ殑澶фā鍨嬮棶鍚屾牱鐨勯棶棰樼粰鐨勫洖绛旈兘鏄�被浼肩殑銆�
姣斿�浣犳槸绉戞妧濯掍綋浜猴紝鏈夎嚜宸辩殑鍐欎綔椋庢牸锛岀幇鍦ㄦ兂璁╀富娴佸ぇ妯″瀷甯�綘鍐欎綔闇€瑕佸仛澶ч噺prompt璋冩暣锛屼絾涓€鏃︾�渚ц兘澶熷疄鐜伴珮搴︿釜鎬у寲鍚庯紝浣犺�澶囦笂鐨勬ā鍨嬩細闈炲父浜嗚В浣犵殑椋庢牸锛屼笉闇€瑕侀�澶栬皟璇曞氨鑳芥寜浣犵殑蹇冩剰鍜岄�鏍煎啓浣滐紝涓旈潪甯搁殣绉佸畨鍏ㄣ€�
鍚屾椂鎴戜滑涔熶笉甯屾湜鏄�€氳繃闀夸笂涓嬫枃缁撳悎鍘嗗彶瀵硅瘽鐨勬柟寮忥紝鏉ュ疄鐜颁釜鎬у寲锛岃繖绉嶆柟寮忔槸涓嶆寔涔呯殑銆�
鍐嶆瘮濡傚湪瀹跺涵鍦烘櫙涓�紝鏈夊�妯℃€佽兘鍔涚殑绔�晶璁惧�鑳藉�涔犱綘骞虫椂鎺ュ緟瀹�汉鐨勪範鎯�槸浠€涔堬紝鑷�劧鐭ラ亾杩欑�鍦烘櫙璇ュ仛浠€涔堬紝涓嶉渶瑕佷笓闂ㄤ笅鎸囦护銆�
瀹冧細瓒婃潵瓒婅创杩戜綘鐨勫績鎰忥紝浜嗚В浣狅紝涓庝綘鐨勭矘鎬ц秺鏉ヨ秺楂橈紝杩欐槸涓€绉嶅畬鍏ㄤ釜鎬у寲鐨勪綋楠岋紝鑰屼笉鏄�墍鏈変汉鐢ㄥ悓涓€涓�骇鍝侀兘寰楀埌鐩镐技鐨勮緭鍑哄拰鍙嶉�銆�
閲忓瓙浣嶏細鎺ㄧ悊璁�粌骞惰�鏋舵瀯浼氭槸鏈�潵鐨勫ぇ鏂瑰悜鍚楋紵浼氬�澶х▼搴﹀奖鍝嶅叿韬�櫤鑳藉拰浜烘満浜や簰鏂瑰紡锛�
鍒樺嚒骞筹細鎴戣�涓轰竴瀹氫細褰卞搷锛岃€屼笖褰卞搷闈炲父澶с€傛垜浠�拰鍥藉唴寰堝�浠ｈ〃鎬х殑鍏疯韩鏅鸿兘鏈哄櫒浜哄巶瀹堕兘鑱婅繃锛岀幇鍦ㄥ叿韬�櫤鑳芥湁涓�緢澶ч棶棰樸€�
鎴戜滑璁や负鍏疯韩鏅鸿兘鏈哄櫒浜洪櫡鍏ヤ簡鎭舵€у惊鐜�細鏈哄櫒鍗栦笉鍑哄幓锛屽埗閫犳垚鏈�笅涓嶆潵锛涙垚鏈�笅涓嶆潵锛屾満鍣ㄦ洿鍔犲崠涓嶅嚭鍘汇€傛牳蹇冨湪浜庢満鍣ㄦ病鏈夌湡姝ｇ殑鏅鸿兘锛屽崠涓嶅嚭濂戒环鏍硷紝鏃犳硶寤虹珛姝ｅ悜寰�幆闄嶄綆杈归檯鎴愭湰锛屽挨鍏舵槸鍒堕€犳垚鏈�€�
闂��涓嶆槸浜戠�澶фā鍨嬩笉澶熷ソ锛岃€屾槸浜戠�澶фā鍨嬩笉閫傚悎鍏疯韩鏅鸿兘鍘傚�銆傜湡姝ｉ€傚悎鍏疯韩鏅鸿兘鐨勬槸璁�粌鍜屾帹鐞嗚兘鍚屾�鐨勬ā鍨嬨€傛満鍣ㄤ汉鏄�釜鎬у寲鏈嶅姟锛屽叿韬�櫤鑳藉巶瀹朵笉鍙�兘闈犻�璁炬潵婊¤冻鐢ㄦ埛鎵€鏈夌殑闇€姹傘€�
鍗充娇纭�欢鍋氬緱鍐嶅ソ銆佸啀浼樼�锛岄兘涓嶆槸鐢ㄦ埛璐�拱鐨勫喅瀹氭€у洜绱狅紝鐢ㄦ埛璐�拱鍙�細鍥犱负瀹冪殑鏅鸿兘瓒冲�濂姐€�
鍑犲崄涓囧厓涓€鍙版満鍣ㄤ汉锛屽洖瀹跺彧鑳借蛋璺�紝娌′汉涔般€備絾濡傛灉鑳藉憡璇夊畠瀹堕噷甯冨眬锛岃�瀹冨仛鍚勭�瀹跺姟灏变笉涓€鏍蜂簡銆傝繖浜涢€氱敤浜戠�澶фā鍨嬪仛涓嶄簡锛屽洜涓烘瘡涓��搴�渶姹備笉鍚岋紝姣忎釜鍦烘櫙涓嶅悓锛屾瘡涓�満鍣ㄤ汉涔熶笉鍚屻€�
鏈�潵鏈哄櫒浜虹殑澶ц剳涓€瀹氫細涓庢満鍣ㄤ汉寮虹粦瀹氾紝鏄�畬鍏ㄤ竴瀵逛竴鍏崇郴锛屼笉鍍忕幇鍦ㄤ簯绔�ぇ妯″瀷涓庢満鍣ㄤ汉鏄�1瀵筺鍏崇郴銆�
杩欏氨鍍忎汉绫诲ぇ鑴戯紝鍑虹敓鏃剁浉浼硷紝浣嗚秺鏉ヨ秺涓嶅悓銆傚洜涓烘瘡涓�汉鐨勭敓闀跨幆澧冦€佸悗澶╁�涔犻兘浼氬奖鍝嶅ぇ鑴戝喅绛栥€傚悓鏍锋嬁姘寸殑鍔ㄤ綔锛屼笉鍚屼汉鐨勫ぇ鑴戝彂鍑虹殑鎸囦护涓€瀹氫笉鏄�畬鍏ㄧ浉鍚岀殑锛屽洜涓哄ぇ瀹剁敤鐨勪笉鏄�悓涓€鍏疯韩浣擄紝澶ц剳涓庤韩浣撴槸缁戝畾杩愪綔鐨勩€�
鍏疯韩鏅鸿兘涔熶竴鏍凤紝澶ц剳浼氫笌鏈哄櫒寮虹粦瀹氾紝鍗充娇鏈哄櫒鍑哄巶瑙勬牸鐩稿悓锛屽洜姣忎釜瀹跺涵鎯呭喌涓嶅悓锛屼娇鐢ㄦ柟寮忎篃浼氫笉鍚屻€備簯绔�ぇ妯″瀷鏃犳硶瀹屾垚杩欎釜杩囩▼锛屾湭鏉ュ叿韬�櫤鑳戒竴瀹氫細琚��缁冩帹鐞嗗悓姝ョ殑绔�晶妯″瀷鎶€鏈��瑕嗗拰椹卞姩銆�
鈻砓an鏋舵瀯澶фā鍨嬪湪鍏疯韩鏅鸿兘鏈哄櫒浜虹殑搴旂敤
閲忓瓙浣嶏細鐜板湪鍋氳�缁冩帹鐞嗗苟琛岃繖鏂归潰宸ヤ綔鐨勫叕鍙稿�鍚楋紵
鍒樺嚒骞筹細娌℃湁锛岀幇鍦ㄧ湡姝ｅ仛璁�粌鎺ㄧ悊骞惰�鐨勫彧鏈夋垜浠�竴瀹躲€�
閲忓瓙浣嶏細鐩�墠RockAI宸茬粡涓庡摢浜涘叕鍙稿缓绔嬩簡鍚堜綔锛熸湁娌℃湁姣旇緝婵€鍔ㄤ汉蹇冪殑钀藉湴鍦烘櫙鍙�互鍒嗕韩锛�
鍒樺嚒骞筹細鍏蜂綋鐨勫叕鍙稿悕瀛椾笉鏂逛究閫忛湶锛屼絾浼氭湁PC鍘傚晢鍦ㄤ骇鍝佷笂绂荤嚎閮ㄧ讲鎴戜滑鐨勫ぇ妯″瀷锛岀洿鎺ラ噺浜т娇鐢ㄣ€�
鍏疯韩鏅鸿兘鍘傚晢涔熸湁鍚堜綔锛屽凡缁忔湁鍑鸿揣锛屼粬浠�緢闈掔潗鎴戜滑妯″瀷鐨勭�绾块儴缃茶兘鍔涖€�
閲忓瓙浣嶏細鎮ㄨ�寰楁湭鏉ョ�渚у拰浜戜晶妯″瀷浼氭槸鎬庢牱鐨勫叧绯伙紵浼氫竴瀹堕€氬悆杩樻槸鍏卞瓨鍗忎綔锛�
鍒樺嚒骞筹細鎴戣�涓洪暱鏈熸潵璇存槸鍏卞瓨鐨勶紝浣嗕簯绔�ぇ妯″瀷甯傚満涓€瀹氫細琚�敹绐勩€�
鎴戜滑璁茬殑绔�晶澶фā鍨嬪彲鑳藉拰琛屼笟鍐呭緢澶氫汉鐨勫畾涔変笉鍚屻€傜幇鍦ㄥ緢澶氫汉鎵€璋撶殑绔�晶澶фā鍨嬪彧鏄�妸Transformer閫氳繃閲忓寲銆佸壀鏋濈瓑鎶€鏈��瀹冭兘鍦ㄧ�渚ц�澶囦笂杩愯�锛岃繖娌℃湁鎰忎箟銆�
鎴戜滑璁や负鐨勭�渚уぇ妯″瀷灏卞儚浜虹殑澶ц剳涓€鏍凤紝娌℃湁鎵€璋撲簯绔�ぇ鑴戯紝澶ц剳灏卞湪缁堢�閲岋紝姣忎釜璁惧�閮芥嫢鏈夎嚜宸辩殑鏅鸿兘锛岃繖鏄�垜浠�殑鎰挎櫙銆備簯绔�ぇ妯″瀷鏃犳硶璁╂瘡鍙拌�澶囨嫢鏈夎嚜宸辩殑鏅鸿兘锛岃繖鏄�嚧鍛界己闄枫€�
浜戠�澶фā鍨嬪彲浠ヨВ鍐冲畯瑙傞棶棰橈紝姣斿�闇€瑕佽秴绠楁潵瑙ｅ喅鐨勪汉绫荤ぞ浼氭瀬搴﹀�鏉傞棶棰橈紝浜戠�澶фā鍨嬮潪甯告湁鎰忎箟銆備絾鏅�€氫汉鐢熸椿涓�殑楂橀�闂��锛屾瘮濡傝�鏈哄櫒浜哄仛浼氳�绾��銆佹嬁姘达紝涓嶉渶瑕佷簯绔�ぇ妯″瀷锛屼簯绔�ぇ妯″瀷涔熷仛涓嶅埌銆�
鍙﹀�锛屼簯绔�ぇ妯″瀷鍋氫笉鍒颁釜鎬у寲銆傚畠涓嶅彲鑳戒负鍏ㄧ悆80浜夸汉閮ㄧ讲80浜夸釜妯″瀷锛岃兘鏈�10涓�ā鍨嬮兘涓嶉敊浜嗐€備絾褰撹�澶囧叿澶囪嚜涓诲�涔犮€佽�蹇嗐€佷氦浜掕兘鍔涙椂锛屾墠鏄�汉宸ユ櫤鑳芥柊鐨勭獊鐮存椂鍒汇€�
閲忓瓙浣嶏細浠ュ悗杩橀渶瑕佷簯渚у拰绔�晶鍗忓悓鍚楋紵杩樻槸绔�晶鐩存帴瑙ｅ喅澶ч儴鍒嗛棶棰橈紵
鍒樺嚒骞筹細浼氭湁鍗忓悓锛屼絾涓嶆槸鐜板湪鐞嗚В鐨勫崗鍚屻€傛垜浠�殑绔�晶澶фā鍨嬫槸鍘讳腑蹇冨寲鐨勶紝娌℃湁涓�績鑺傜偣锛岃€屼簯绔�ぇ妯″瀷鏈�韩灏辨槸涓�績鑺傜偣銆�
鏈�潵鐨勭�浜戝崗鍚屽彲鑳芥洿鍍忎汉绫荤殑鍗忓悓銆傚湪鍏�徃鏃讹紝閮ㄩ棬leader鍜屽悓浜嬩滑寮€浼氾紝姝ゆ椂濂规槸涓�績鑺傜偣锛岄渶瑕佹妸鑷�繁鐨勬剰鎬濆悓姝ョ粰鍏朵粬浜恒€傚洖鍒板�锛岀埗姣嶅彲鑳戒細缁欏ス涓€浜涘彯鍢憋紝杩欐椂鐖舵瘝鍙堟垚浜嗕腑蹇冭妭鐐广€�
杩欎釜杩囩▼閲屼腑蹇冭妭鐐规槸涓嶆柇鍙樺寲鐨勶紝涓嶆槸鍥哄畾鍞�竴鐨勶紝杩欑�绔�簯鍗忓悓鏈�川鏄�兢浣撴€濇兂涓嶆柇瀵归綈鐨勮繃绋嬨€傚氨鍍忔垜浠�湅鐢佃�鏂伴椈鑺傜洰锛屼篃鍙�悊瑙ｄ负涓€绉嶇�浜戝崗鍚岋紝缁欐瘡涓�汉鍚屾�淇℃伅璁╁ぇ瀹朵俊鎭��榻愩€�
鏈�潵绔�簯鍗忓悓涓嶄細鍐嶆槸鐜板湪鐨勨€滅�渚ц兘鍔涙湁闄愭墍浠ラ渶瑕佷簯绔�敮鎸佲€濊繖绉嶆�蹇点€�
閲忓瓙浣嶏細鏈�潵5骞碅I鍙戝睍鐨勫叧閿�嫄鐐瑰皢鍑虹幇鍦ㄥ摢浜涙柟闈�紵
鍒樺嚒骞筹細绗�竴锛屾垜璁や负鍩虹�绠楁硶鍜屾灦鏋勪竴瀹氫細鏈夊ぇ閲忔敼鍙樸€傚彲鑳藉緢澶氫汉涓嶆効鎰忕浉淇★紝鍥犱负浠栦滑宸茬粡鍦═ransformer涓婃姇鍏ヤ簡澶ч噺璧勬簮銆備絾鎴戣�涓轰粖鏄庡勾鍩虹�绠楁硶鍜屾灦鏋勪竴瀹氫細鏈夊ぇ鍙樺寲銆�
绗�簩锛岀�渚�I涓€瀹氫細鎱㈡參琚�汉鎺ュ彈鍜岀悊瑙ｏ紝杩欐槸瀹炵幇AGI鐨勯噸瑕佽浇浣撱€傚�绠楀姏鍜屾暟鎹�殑闇€姹備竴瀹氫細涓嬮檷銆傜畻鍔涙槸涓�ぇ鍧戯紝鎴戜笉璁や负鎴戜滑鐪熺殑闇€瑕侀偅涔堝�鐨勭畻鍔涖€�
鏂扮殑鍩虹�绠楁硶鍜岀�渚�I浼氳�瓒婃潵瓒婂�浜烘帴鍙椼€傛渶鍚庯紝5~10骞村悗锛岀兢浣撴櫤鑳戒篃浼氭參鎱㈡櫘鍙婏紝鍏朵环鍊间細杩滆秴鐜板湪闈犲爢绠楀姏浜х敓鐨勬櫤鑳姐€�
涓轰粈涔堬紵鍥犱负缇や綋鏅鸿兘浼氬姞閫熸櫤鑳界ぞ浼氭寚鏁扮骇澧為暱锛屽氨鍍忓伐涓氶潻鍛芥椂鏈熺殑鐢熶骇鍔涚獊鐮翠篃鍙�互鐞嗚В鎴愭槸涓€绉嶇兢浣撴櫤鑳界殑绐佺牬锛屾柊鐨勭�鎶€鍜屽伐鍏疯�浜轰笌浜恒€佹満鍣ㄤ笌鏈哄櫒鐨勫崗浣滄洿楂樻晥浜嗐€�
鐜板湪鏈哄櫒涔嬮棿鍗忎綔杩橀潪甯稿急锛屾墜鏈恒€佺數鑴戝熀鏈�笉瀛樺湪鐪熸�鐨勫崗浣滐紝鍙�槸浜掍紶鏂囦欢鎴栬法璁惧�鎺ョ數璇濄€傜湡姝ｇ殑鍗忎綔鏄��涓€璧疯В鍐抽棶棰橈紝杩欓渶瑕佺兢浣撴櫤鑳芥潵瀹炵幇銆�
鎴戣�涓烘湭鏉ヤ簲骞寸ぞ浼氫細鍙戠敓寰堝ぇ鍙樺寲锛屽彲鑳介渶瑕佹櫘閫氫汉鐢氳嚦涓撲笟浜哄憳浠樺嚭璇稿�鍔�姏鎵嶈兘閫傚簲銆傜幇鍦ㄤ篃鏈夌被浼肩殑瓒嬪娍锛屽綋鍓嶈繕澶勪簬缂撴參鐖�潯闃舵�锛屼互鍚庝細浠庣埇鍧″彉鎴愮洿鎺ヤ笂鍧°€�
璁烘枃锛歨ttps://arxiv.org/abs/2406.12230