大模型的研發(fā)和運(yùn)行確實(shí)需要大規(guī)模的資源和資金支持,非小規(guī)模團(tuán)隊(duì)能夠輕易承擔(dān)。這一點(diǎn)在當(dāng)前的人工智能領(lǐng)域尤為明顯。以GPT4-o為例,其訓(xùn)練涉及了文本、視覺(jué)和音頻等多種數(shù)據(jù)模態(tài),這意味著它需要處理和分析的數(shù)據(jù)量是巨大的。據(jù)OpenAI透露,GPT-4o在訓(xùn)練過(guò)程中使用了多達(dá)13兆的數(shù)據(jù),這比之前的一些大型模型如LLAMA和PaLM使用的數(shù)據(jù)量還要多。此外,GPT-4o的模型參數(shù)數(shù)量也非常龐大,達(dá)到了1.8萬(wàn)億。
專(zhuān)業(yè)社區(qū)關(guān)注大語(yǔ)言模型(LLM)如AlphaFold的發(fā)展,其預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)的能力為科研帶來(lái)革命,縮短新藥研發(fā)周期。谷歌DeepMind的Demis Hassabis憑借AlphaFold獲化學(xué)諾貝爾獎(jiǎng),展現(xiàn)AI在科學(xué)研究中的關(guān)鍵作用。AlphaFold-3的架構(gòu)創(chuàng)新和預(yù)測(cè)準(zhǔn)確性提升,使其能預(yù)測(cè)幾乎所有生命分子結(jié)構(gòu)。AI的進(jìn)步讓科研界思緒凌亂,考慮轉(zhuǎn)行搞AI。
瑞典皇家科學(xué)院宣布2024年物理獎(jiǎng)?lì)C給了,兩位AI先驅(qū)Geoff Hinton和John Hopfield。兩位提出的Hopfield網(wǎng)絡(luò)、玻爾茲曼機(jī)器、神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)、反向傳播算法、模仿人類(lèi)大腦等技術(shù)概念。
進(jìn)入10月份,諾貝爾獎(jiǎng)陸續(xù)揭曉,共有六項(xiàng)獎(jiǎng)項(xiàng)的獲獎(jiǎng)?wù)呙麊卧谌蚍秶鷥?nèi)公布。