大語言模型中的涌現現象是不是偽科學？
Datawhale干貨
作者：平凡@知乎，諾桑比亞大學，在讀博士
【資料圖】
今天晚上，花了一點兒時間看了兩篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior，即涌現現象。
大規模神經網絡下的涌現現象在機器學習中使用大規模神經網絡時，由于增加了參數數量、訓練數據或訓練步驟等因素，出現了定性上的新能力和性質，這些能力和性質在小規模神經網絡中往往是不存在的。
第一篇文章舉了這個例子，每個圖都可以理解為一個任務，橫軸是神經網絡的規模，而縱軸是準確率，可以理解為模型的性能。
我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務上都表現出類似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
作者發現，當我們訓練用網絡計算同余加法 a+b = ? (mod c) 時，網絡在某個時間突然獲得了 100% 準確率。分析發現，神經網絡實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
從這倆例子里面我的感受是，只要數據量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓練說不定真的能夠產生一些意想不到的效果。
還有就是我覺得人類現在積累的知識并不少，但是系統的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話，我覺得有很大概率會讓它涌現出意想不到的能力。
甚至可能把人類的生產力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf標簽：
搶先讀
- 地瓜梗怎么做如何做好吃?
- 下周解禁：限售股解禁市值大降至519億元
- 環球短訊！紓困中小企業仍需“幫把手”
- 紫水街道：扎實推進清廉機關建設 擦亮廉潔文化底色
- 重點聚焦!亞運會的運動員村什么樣？先睹為快→
- psp（wwe2010怎么從擂臺下面拿東西出來）
- 世界今日報丨迪士尼預購《慶余年》第二季海外獨家發行權 網文IP出海漸成規模
- 渴死的魚卷腹健身操 渴死的魚 熱點在線
- 兩江新區翠云社區衛生服務中心獲國家部委通報表揚 世界通訊
- 世界即時：遼寧省本桓高速公路PPP項目獲得超百億銀團貸款
- 自然資源部淺層地熱能重點實驗室揭牌_全球短訊
- 夏養山西：不登王莽嶺，豈識太行山 全球球精選
- C視頻丨四川獻血太空艙2.0來了，首個智能采血系統“上崗”
- 焦點短訊！湖南銻礦上市公司（銻礦上市公司）
- 邢臺二本有哪些大學師范學院錄取分數線
- 2023新手如何選擇靠譜的互聯網項目？
- 焦點要聞：南京高溫津貼發放，看這里→
- 環球快資訊丨天津小學學位控制政策匯總（持續更新）
- 三星8552五件套（三星8552）
- 全球百事通！極兔入局末端之戰：離用戶還能有多近
- 一圖讀懂｜吃點辣的有三個超級好處
- “三棋”重回亞運賽場，柯潔、王天一、丁立人將在此齊聚，這座亞運場館有何“玄機”？-微速訊
- 世界即時：預警！岳陽市局地可能發生山洪災害
- 大電池+超清影像 vivo Y35+陪你解鎖夏日新體驗 世界快資訊
- ez光執事手感怎么樣_ez光執事有特效 天天微資訊
- 淮陽泥泥狗（關于淮陽泥泥狗介紹）|天天播報
- 國際金價若站穩1962美元，后市有望上摸1985美元
- 世界報道:粵鵬環保全資子公司江西粵鵬擬向銀行申請不超過800萬借款 公司為此次借款提供擔保
- 畢節：文化潤烏蒙 惠民沁心脾|天天熱頭條
- 沙 棘_每日速訊
- 美少女動作RPG《慟哭機巧》繁體中文版新截圖公布！
- 天天信息:乒球國手進社區與居民“過招”
- 今日熱搜：xantphos分子量 xantphos
- 一季度湖南民營經濟增加值7776.81億元 同比增長3.9%|環球報資訊
- 每日熱聞!朱自清的代表作品推薦語 朱自清的代表作
- 姚明回應郭艾倫落選男籃集結：主要是傷病+我們需要狀態最好球員
- 三只小豬的故事告訴我們什么道理（三只小豬的故事）
- 環球短訊！東海海睿銳意3個月定開年混合內跌10.75%
- 小龍蝦產業高質量發展大會在江蘇盱眙舉辦
- 個別站點雨量達100毫米以上，河南發布暴雨藍色預警 速遞
- 全球熱文：真假Ruler：虛假的Ruler還在帶貨 真實的Ruler苦心專研悠悠球
- 變相優惠8,000元 特斯拉Model 3開啟“清庫”模式
- 寶安5家社康獲國家級通報表揚
- 創業板疫苗股票有哪些(創業板疫苗股票名單) 天天播報
- 馬鞍山鋼鐵股份(00323)將于7月14日派末期股息每股0.02195港元 每日熱文
- 女人上了年紀這樣穿衣真的很大方，多穿牛仔褲和裙子，減齡又大氣
- 武磊梅開二度，國足4-0勝緬甸！-天天視點
- 速看！2023年貴陽市各區（市、縣）義務教育招生入學、劃片方案公布
- 全球視訊！【三夏進行時】海報｜三晉夏收農忙“豐”景
- 港元拆息連續三日全線上升 與樓按相關的一個月拆息逼近5%創近半年新高_每日消息
- 星紀魅族集團董事長沈子瑜、京東集團副總裁吳雙喜齊聚生日會 共慶京東魅族 20 周年 環球今日報
- 看見“村超”①丨貴州“村超”為啥這么火？一組老照片給出答案 今日快看
- 斑馬魚養殖方法和注意事項（為什么說斑馬魚是流氓魚） 世界熱文
- 全球熱資訊！本田新M-NV售14.98-15.98萬！動力更強 搭比亞迪電池
- 世界焦點！工控速遞：西門子宣布新加坡建廠，中控斬獲中東船務大單，三菱供應全SiC功率半導體，禾川上市光電傳感器
- 名記：莫蘭特將第一次持槍事件歸咎為酗酒 并成功讓聯盟相信了他
- 蘋果iPhone為何只有27W充電？原因可能有三-今日訊
- 熱點！剛剛，特斯拉重磅官宣：6月底前購買這款現車享受8000元補貼
- 環球訊息：協議上簽的是招牌名字，不是營業執照名字，這份協議有效嗎？
- 中考期間，高新區部分路段交通管制！
- 拍拍貸還不上可以協商嗎？還不上會上信用嗎？ 焦點觀察
- 云南啟動代表委員視察法院活動
- 全球新動態：天房發展擬為子公司天薊房地產3.4億元融資提供擔保
- 全球微速訊：熱到懷疑人生！今年“燒烤模式”來得早
- 魔獸肯瑞托聲望給什么（肯瑞托聲望怎么沖簡介介紹）
- 焦點關注：南亞易勝內存條怎么樣_南亞易勝內存怎么樣
- 線下門店反擊：場景營銷再發力 線上線下互動謀破局
- 美國6月密歇根短期通脹預期驟降至兩年多新低，消費者信心創四個月新高
- 非法集資20萬怎么判罰-全球報道
- 股民必看！狂犬病疫苗龍頭股有哪些？（2023/6/16）|全球熱頭條
- 世界百事通！2023端午天津古文化街活動詳情
- 三星商城618優惠大放送，三星電視全明星產品等你挑選
- 小雞寶寶考考你一般來說，涂完保濕面膜，還需要涂保濕面霜嗎|全球即時
- 《牛津高階英漢雙解詞典》（第10版）發布_當前資訊
- 碧桂園文商旅簽約濮陽南樂大樂城 將打造為碧樂匯|天天快資訊
- 2023年高溫費發放標準是多少?2023年寧夏高溫補貼標準及發放時間 天天速訊
- 寧德時代等在珠海成立新基建公司 最資訊
- 科創板在線辦公公司排名(2023上市公司市值榜)_環球關注
- 超智能足球潛龍最強絕招（超智能足球潛龍圖片）|當前熱訊
- 體驗35萬最值得買的家用SUV 蔚來全新ES6只有一個缺點？
- 【全球新視野】大連海邊哪里好玩的地（大連海邊哪里好）
- 可可價格狂飆至7年來新高，巧克力價格又要漲了_全球快資訊
- 上海高校中藥學“創新班”首次招生 設計科學、機制靈活培養拔尖人才 世界焦點-全球聚焦
- 【速看料】傳世復古官方 仿官方傳世私服
- 每日信息：?51家用人單位扎堆“招兵買馬”！青島啟動百日千萬招聘專項行動
- 當前播報:如何申請支付寶收款碼-如何申請支付寶收款碼支持花唄
- 金融機構遇到網絡輿情如何應對？來看看中原網提供的應對策略 世界微頭條
- 全球最資訊丨從618營銷套路，看途虎終局
- 沿著高速看鄉村產業：廣東清遠特色產業發展正酣-全球即時看
- 【全球快播報】微信怎么批量刪除聊天記錄 微信批量刪除聊天記錄方法 微信上如何批量刪除聊天記錄
- 【世界說】研究發現：美國印第安寄宿學校兒童長大后承受著更嚴重的健康問題 患癌風險高四倍_環球時訊
- 有一種選擇叫放棄(對于有一種選擇叫放棄簡單介紹) 速讀
- 環球視點！瘋狂猜圖答案大全圖片（瘋狂猜圖國家答案）
- 環球視訊！以三國的蜀國為例，細談為何在四川建國的政權都沒有太大作為
- 當前焦點!影視投資平臺代理（影視投資平臺）
- 加維：不在乎皇馬想簽誰就簽誰 我們會戰斗到最后_當前快看
- 徽縣：搶抓農時確保“夏糧”豐收 快播報
- 代發工資的好處和壞處 銀行代發工資的好處
- 動感地帶里面的“家庭計劃”是什么（怎么辦理）
- 【世界說】研究發現：美國印第安寄宿學校兒童長大后承受著更嚴重的健康問題 患癌風險高四倍