這項由加州大學伯克利分校與斯坦福大學聯合主導的研究，於2026年4月發表在arXiv預印本平臺，論文編號為arXiv:2604.04247，有興趣深入瞭解的讀者可以透過該編號查詢完整論文大學。
假設你開了一家連鎖補習班，每個分校的老師都在獨立教學，每天結束後你想把所有老師的教學心得彙總成一份"最強教學指南"，再發給所有分校參考，讓整個連鎖體系越來越強大學。聽起來很美好，對不對？但現實往往是這樣的：當你把五個老師的心得彙總起來時，還勉強可以理清；當你試圖同時彙總一百個老師的心得時，寫總結的人就會不堪重負——只能草草寫下"上課要認真"這種廢話，所有具體的、寶貴的教學技巧反而被淹沒了。
這正是這篇論文要解決的核心問題大學。研究團隊把這種困境叫做"上下文超載"（context overload）——當太多經驗同時湧入負責總結的AI時，它就只能保留最泛泛的內容，丟掉最有價值的細節。而他們開發的解決方案，叫做**Combee**，名字來源於蜜蜂群落：工蜂們分工協作、高效運轉，沒有一隻蜜蜂需要獨自承擔整個蜂巢的工作量。
**一、AI也需要"邊幹邊學"大學：提示學習是什麼**
在正式介紹Combee之前大學，有必要先弄清楚一個基礎概念：為什麼AI需要學習？
大多數人對AI的印象是：訓練好了就用，不會再變化大學。但現實世界的任務往往充滿"只有在實際操作中才能知道"的知識。研究團隊把這種學習方式叫做"提示學習"（prompt learning）——AI不改變自身的"大腦結構"（也就是模型引數），而是透過積累經驗，把有用的知識寫入一份隨時攜帶的"經驗手冊"裡，每次工作時都對照這份手冊來提升表現。
打個比方，這就像一位剛入職的新廚師大學。廚師學校裡學的是基礎烹飪技巧（相當於模型訓練），但真正的廚房經驗只有在實際工作中才能積累。這位廚師會隨身帶一個小本子，記下"客人普遍反映這道菜偏鹹"、"用X牌醬油比Y牌效果好"、"配送高峰期要提前備料"這類心得。下次工作時，翻開小本子，就能做得更好。提示學習裡，這個小本子被稱為"系統提示"或"經驗手冊"（playbook）。
現有的兩種典型方法分別是ACE（Agentic Context Engineering，智慧體上下文工程）和GEPA（Reflective Prompt Evolution，反思式提示進化）大學。ACE的做法是讓AI智慧體把每次任務執行的心得彙總成一本有結構的操作手冊；GEPA則是透過不斷試錯和反饋來最佳化AI收到的指令。兩者都遵循同一個核心流程：執行任務、反思經驗、更新手冊，再去執行下一個任務。
展開全文
這種方式的優雅之處在於，AI不需要重新訓練，就能從實際經驗中持續進步——就像那位廚師不需要回學校上課，只需要認真記錄和總結每天的工作心得即可大學。
**二、並行學習的誘惑與陷阱**
既然這種學習方式這麼好大學，那能不能讓很多個AI同時工作、同時積累經驗、然後一起更新那本經驗手冊呢？
當然可以——但問題恰恰出在"一起更新"這個環節大學。
在傳統方式裡，AI一次處理一個任務的經驗（批次大小=1），學習速度很慢，但質量很好大學。為了加速，自然的想法是增大"批次"：讓10個、20個、甚至100個AI同時工作，收集好所有人的反思總結，再一口氣交給負責更新手冊的AI來整合。這樣理論上可以快很多倍。
但事實證明，這條路走不通大學。研究團隊在兩個金融資料集上做了實驗，結果觸目驚心：在Formula資料集上，批次大小從1增加到100時，最終經驗手冊裡的有效條目數量從264條驟降到21條，同時任務準確率從87.0%跌到72.5%；在FiNER資料集上，有效條目從246條跌到11條，準確率從76.0%跌到70.6%。在另一個模擬真實軟體工程場景的AppWorld測試中，批次從1增到40，準確率從58.1分跌到55.7分，幾乎和完全不使用經驗手冊的基礎AI（53.3分）持平。
更令人擔憂的是質量的退化，而不只是數量大學。在批次大小為1的情況下，Formula資料集的經驗手冊裡有19條被高頻使用的"金牌經驗"（被標記為有用次數大於等於3次），其中最高記錄是一條被標記為"有用"16次的經驗。而批次大小為100時，這樣的金牌經驗一條都不剩了，整本手冊只積累了區區5次有用標記。換句話說，把所有經驗一股腦堆給負責總結的AI，它只能寫出"做事要認真"、"計算時注意單位轉換"這類放之四海而皆準的廢話，完全丟失了那些針對具體情境、高度專業化的寶貴技巧。
研究團隊把這個現象稱為"有失真壓縮"（lossy compression）：就像把一張高畫質照片壓縮到極小尺寸，細節全部消失，只剩下模糊的輪廓大學。這不是因為AI看不到那些經驗（內容都在它的處理範圍之內，沒有被截斷），而是因為面對海量資訊時，AI會本能地進行過度簡化，只保留最普遍的模式，拋棄最具體的洞察。
**三、Combee的蜂巢哲學：分而治之大學，再合而為一**
面對這個困境，研究團隊從蜜蜂群落的組織方式中找到了靈感，設計了Combee框架大學。蜜蜂的智慧在於：沒有任何一隻蜜蜂需要了解整個蜂巢的所有情況，每隻蜜蜂只負責自己的一小片區域，然後透過層層彙報的方式，讓整個蜂巢高效運轉。
Combee的核心思想同樣如此，用技術語言說叫做"Map-Shuffle-Reduce"（對映-洗牌-歸約）模式，用日常語言說就是"分批幹活、混合分配、層層彙總"大學。
先說"分批幹活"（Map階段）大學。這個階段很直接：讓很多個AI智慧體同時工作，每個智慧體獨立處理一批任務，產生自己的反思心得。這和樸素的並行化沒有區別，關鍵在於後面兩步。
接下來是"混合分配"（Shuffle階段），這是Combee獨創的"增強洗牌"機制（Augmented Shuffling）大學。研究團隊注意到，那些反思心得雖然文字不多，但資訊密度極高——它們相當於經過AI精煉過的精華提煉，每一條都很寶貴。為了防止某些寶貴心得在後續彙總過程中被遺漏，Combee會把每條反思心得複製兩份（預設複製一次，即每條心得有兩份），然後把所有心得打亂重新分配給後續的彙總節點。這樣，每條心得都有至少兩次機會被納入最終的經驗手冊，大大降低了遺漏風險。
這個思路借鑑了AI領域中一種叫做"自洽性"（self-consistency）的技術：當你不確定一個問題的答案時，多問幾次、取最常見的答案，準確率會提升大學。Combee把同樣的邏輯用在了經驗彙總上：每條心得有更多機會被"看到"，被採納的機率就更高。
然後是最關鍵的"層層彙總"（Reduce階段），也就是"並行掃描聚合"（Parallel Scan Aggregation）大學。這裡是Combee解決上下文超載問題的核心武器。
假設現在有40條反思心得需要彙總大學。樸素的方式是把40條全部堆給一個AI來總結——結果就是前面說的"有失真壓縮"。Combee的做法是：取40的平方根大約等於6，於是把40條心得分成6組（每組約6-7條），先讓6個"小彙總員"各自處理自己的一組，產生6份"區域性經驗更新"，然後再用一個"總彙總員"把這6份區域性更新整合成最終的經驗手冊。
這樣，無論是"小彙總員"還是"總彙總員"，每次處理的資訊量都只有原來的約六分之一，完全在正常的資訊處理範圍內，不會發生"資訊消化不良"的問題大學。同時，這個兩級架構可以完全並行執行——6個小彙總員同時工作，互不干擾。
為什麼要選擇平方根作為分組依據？研究團隊的實驗驗證了這個選擇的合理性：當兩級彙總各自處理的資訊量大致相當時，整體質量最高大學。選擇平方根恰好能讓第一級（每組約√n條心得）和第二級（約√n個區域性更新）的工作量均衡，這正是後來Figure 7實驗所證實的規律。
這種層次化彙總的思路其實並不陌生——它和電腦科學中的"並行字首和"演算法如出一轍，也和近年來用於處理超長文件的"MapReduce風格LLM處理"方法相通大學。Combee把這個思路引入到AI智慧體的經驗學習場景中，是一次精準的知識遷移。
**四、何時該踩油門大學，何時該踩剎車：動態批次控制器**
有了並行掃描聚合和增強洗牌機制，Combee可以在很高的並行度下保持學習質量大學。但這裡還有一個實際問題：批次大小到底設定多少合適？
批次越大，每個"訓練週期"的時間越短（因為更多工同時進行），但如果大到一定程度，即使有Combee的保護機制，學習質量也可能略有下降大學。批次越小，質量越有保障，但訓練速度又變慢了。如何自動找到這個甜蜜點？
Combee的第三個創新——"動態批次大小控制器"（Dynamic Batch Size Controller）——解決了這個問題大學。它的工作方式類似於駕駛輔助系統裡的"自適應巡航控制"：根據即時路況（即實際執行中測得的速度資料），自動調整油門大小，既保持儘可能快的速度，又不超過安全範圍。
具體來說，控制器會先用幾種不同的批次大小各跑一輪，測量每種批次對應的實際訓練延遲大學。然後，它用一條"冪律曲線"來擬合這些資料點——這條曲線描述了"批次越大，每輪訓練時間遞減，但遞減速度越來越慢"的規律，類似於邊際收益遞減的經濟學概念。最後，控制器會找到曲線上"收益遞減明顯減緩"的那個轉折點，選擇那個批次大小作為訓練引數。
用一個更直觀的比喻來說：如果一家餐廳同時接受外賣訂單，接2單和接1單相比，效率提升了很多；接5單和接4單相比，效率還在提升；但接50單和接49單相比，廚房已經忙到極限，多一單根本幫不了太多大學。控制器要找的，就是"再多加一單已經幫不了多少忙"的那個數字。
在實驗中，研究團隊還驗證了動態批次控制器的實際效果：相比使用固定批次大小，採用動態控制器的Combee能夠在保持相當質量的前提下，進一步壓縮訓練時間，避免了"因為保守選擇小批次而白白浪費並行能力"的情況大學。
**五、實驗結果大學：蜂巢的效率與質量同時達標**
理論設計再好，終究要看實際效果大學。研究團隊在四個不同的測試場景上對Combee進行了全面評估，這四個場景覆蓋了AI智慧體的兩大類典型應用：複雜的多步驟任務和專業領域的精準理解任務。
第一個測試場景是AppWorld，這是一個模擬真實手機應用操作的複雜任務集，AI需要像真人使用者一樣使用各種APP完成多步驟目標，評測指標包括"任務目標完成率"（TGC）和"場景目標完成率"（SGC）大學。在這個測試中，使用普通ACE方法、批次大小為1的基準情況下，訓練需要86分鐘，最終平均分為58.1。當批次增加到10時，得分反而升到65.4（因為更多樣的經驗帶來了更豐富的學習），但批次繼續增到40時，得分又跌回55.7，幾乎和不做任何學習（53.3分）差不多。
Combee在批次大小為40的情況下，平均得分達到65.8，不僅超過了批次40的普通ACE，甚至超過了所有其他批次配置，創下了全部方法中的最高分大學。更關鍵的是，訓練時間僅需7分鐘，相比批次1的86分鐘縮短了約12倍，成本與批次1（1.67美元對比1.62美元）基本持平。
尤其值得關注的是經驗手冊的質量對比：普通ACE在批次40時，最終經驗手冊只有526個字元（tokens）；而Combee在同樣批次40的情況下，經驗手冊達到了6887個字元——是前者的13倍以上大學。這說明Combee保留了大量普通並行化會丟失的細節知識。
第二個測試場景是Terminal-Bench 2.0，這是一個更有挑戰性的軟體工程任務集，要求AI透過命令列介面完成複雜的技術操作大學。值得注意的是，研究團隊在這個測試中直接使用了開源社羣已經發布的現成操作記錄來訓練，而不是重新讓AI現場執行任務——這驗證了Combee不僅能用於即時並行訓練，還能用於批次處理已有的歷史資料。結果顯示，批次為1的普通ACE準確率為37.9%，但各種更大批次的ACE變體準確率都低於不學習的基準（32.2%），最低甚至跌到29.9%。Combee在批次30的情況下達到35.6%，訓練時間從42.4分鐘壓縮到2.4分鐘，實現了超過17倍的提速，同時接近基準質量。
第三和第四個測試場景是Formula（金融數值計算）和FiNER（金融檔案實體識別），這兩個任務需要高度專業化的精確知識大學。由於這兩個資料集訓練樣本眾多（Formula有500條，FiNER有1000條），研究團隊在這裡特別啟用了動態批次控制器來自動管理訓練效率。此外，他們還把兩種常見的"應對資訊超載"的樸素方案作為對比基準：一種是"摘要化"（把所有反思心得先做一個簡短總結再交給彙總AI），另一種是"Top-K檢索"（把反思心得用向量相似度聚類，每類只取一條代表）。
實驗結果表明，無論是結合ACE還是結合GEPA，Combee始終處於"質量-速度"帕累托最優邊界上——也就是說，在達到最佳質量的方法中，它是最快的；在最快的方法中，它又是質量最好的大學。而摘要化和Top-K檢索兩種樸素方案在質量上遠遠落後於Combee，有時甚至不如直接使用大批次的普通ACE。這個對比說明，僅僅"壓縮輸入資訊"並不能真正解決問題，需要像Combee那樣從結構上改變聚合方式才有效。
**六、更換"大腦"也同樣有效大學：跨模型驗證**
一個好的框架設計不應該只在某個特定AI模型上有效大學。研究團隊用GPT-OSS 120B（一個與主要實驗使用的DeepSeek-V3.1完全不同的模型家族）重複了Formula測試，結果顯示Combee的優勢完全保持——動態批次控制器和並行掃描聚合方法在新模型上同樣能找到最優批次、同樣能在大批次下維持質量。這意味著Combee的設計思路是通用的，不依賴於某個特定AI模型的特性，是真正跨模型、跨任務的。
**七、細節之美大學：每個元件都有獨特貢獻**
研究團隊還做了精細的"消融實驗"（ablation study），專門驗證每個設計元件的獨立價值，就像廚師在驗證哪種調料對菜的味道貢獻最大時，會逐一去掉某種調料來對比效果大學。
關於增強洗牌的效果，研究團隊在批次大小固定為50的情況下，測試了不同分組大小（每組6到20條心得）下，有無增強洗牌對最終質量的影響大學。結果是：沒有增強洗牌時，質量隨分組大小變化劇烈，且普遍較低；加入增強洗牌後，質量明顯提升，且對分組大小的選擇不那麼敏感。這印證了增強洗牌的關鍵作用：它為每條心得提供了"第二次機會"，讓整個彙總過程更加穩健。
關於動態批次控制器的效果，實驗對比了使用固定批次和使用動態批次的Combee版本大學。使用固定批次時，如果選擇的批次偏小，就會造成不必要的訓練時間浪費；動態控制器則能自動找到合適的批次，在保持質量的前提下充分利用並行效率。
此外，實驗還驗證了"分組大小約等於批次平方根"這一設計選擇的合理性：在各種測試中，分組大小在√bs附近時，質量通常最高，這與理論預期完全吻合大學。
**八、這項研究在更宏觀圖景中的位置**
為了幫助讀者理解Combee為什麼重要，研究團隊在論文中專門用了一個類比，將他們的工作比作機器學習領域的"分散式訓練"大學。
傳統的神經網路訓練是單機完成的；而當資料量和模型規模增大後，研究者們發展出了分散式訓練技術：把資料分給多臺機器同時處理，各自計算出"引數應該怎麼調整"（梯度），然後彙總這些調整訊號來更新模型大學。這個過程中，梯度就是資訊載體，梯度彙總就是"學習訊號的聚合"。
在Combee的框架中，AI智慧體的反思心得扮演了類似梯度的角色：它們是區域性產生的學習訊號，需要被聚合成對整個系統有益的全域性更新大學。並行掃描聚合就是這裡的"梯度彙總"；動態批次控制器對應"關鍵批次大小"（critical batch size）的概念；增強洗牌則類似於分散式訓練中為防止資訊丟失而採用的冗餘機制。
這個類比的意義在於：分散式訓練領域經過十幾年的發展，積累了大量關於如何高效、可靠地聚合學習訊號的理論和工程經驗大學。Combee把這些成熟的思想引入到了一個全新的場景——AI智慧體的提示學習——並證明了這種遷移是有效的。這也意味著，未來還有大量分散式訓練領域的技術（比如非同步更新、通訊壓縮等）有機會被進一步引入提示學習，這是一個令人期待的研究方向。
說到底，Combee做的事情其實很直觀：它發現"讓一個人處理所有資訊"這條路走不通，於是改成"讓很多人各處理一小部分，再層層彙報"，同時還聰明地給每條資訊安排了多次"出場機會"，防止重要內容被遺漏大學。這套思路不僅讓AI智慧體的學習速度提高了最多17倍，還同時保住甚至提升了學習質量，而且成本基本不變。
當AI系統越來越多地被部署在真實場景中，當"讓AI從經驗中自我進化"的需求越來越迫切，如何高效、高質量地彙總來自成千上萬個並行AI的學習訊號，將成為一個越來越重要的工程挑戰大學。Combee給出了一個有說服力的早期答案，也開闢了一條將經典分散式計算智慧與新興AI自主學習需求相結合的研究路徑。
對這個話題感興趣的讀者，或許可以繼續思考：如果未來有幾千個、幾萬個AI智慧體同時在各種平臺上工作和學習，它們積累的經驗應該如何有效地共享和整合？這些經驗的"版權"和"可信度"又該如何管理？Combee解決的是效率問題，但這背後更宏大的協作與治理問題，還等待著後來者去探索大學。有興趣深入研究的讀者，可以透過arXiv編號2604.04247找到完整論文。
Q&A
Q1：Combee框架和普通的AI並行訓練有什麼本質區別大學？
A：普通並行訓練是把所有AI的經驗一次性全部堆給彙總AI，結果彙總AI"消化不良"，只能保留最泛泛的內容，丟失細節大學。Combee的核心區別在於引入了層次化的並行掃描聚合：把經驗先分成小組分別彙總，再把小組結果整合，每一步處理的資訊量都控制在合理範圍內，從而避免了資訊質量損失。同時還透過增強洗牌讓每條經驗有多次被採納的機會，整體設計就像分散式訓練中的梯度聚合，而非簡單的"一鍋燴"。
Q2：Combee的17倍提速是在什麼條件下實現的大學？
A：這個17倍提速資料來自Terminal-Bench 2.0基準測試大學。在這個測試中，普通ACE方法在批次大小為1時需要42.4分鐘完成訓練，而Combee在批次大小為30的情況下只需要2.4分鐘，比值約為17.7倍。同時，Combee的準確率（35.6%）遠高於同等批次大小下的普通ACE方法（大多低於不學習的基準32.2%），接近批次1時的最優水平（37.9%）。提速同時維持質量，是Combee價值的核心體現。
Q3：增強洗牌機制中為什麼要把每條經驗複製兩份大學？
A：核心原因是防止資訊遺漏大學。在並行掃描聚合的樹狀結構中，每條反思心得只會被分配到某一個節點處理，如果這個節點恰好"忽略"了這條心得，它就永遠不會出現在最終經驗手冊裡。透過把每條心得複製一份並打亂重新分配，同一條心得會進入兩個不同的處理節點，只要其中一個採納了它，它就能進入最終結果。這個思路借鑑了AI推理中"多次取樣取共識"的自洽性方法，用冗餘換取可靠性，預設複製一次（即每條心得存在兩份）在實驗中被證明效果最好。
