亚洲精品无码乱码成人|最近中文字幕免费大全|日韩欧美卡一卡二卡新区|熟妇性饥渴一区二区三区|久久久久无码精品国产AV|欧美日韩国产va在线观看|久久精品一本到99热动态图|99国产精品欧美一区二区三区

【資料圖】

不光能讀懂文字、圖像，還能理解音頻、視頻，甚至3D模型、傳感信號(hào)，思考起來更像“真人”。6月16日，在“人工智能框架生態(tài)峰會(huì)2023”上，中國(guó)科學(xué)院自動(dòng)化研究所所長(zhǎng)徐波發(fā)布了“紫東太初”全模態(tài)大模型。作為升級(jí)后的2.0版本，它不僅實(shí)現(xiàn)能力提升，還做到全鏈條“中國(guó)造”，打造出全棧國(guó)產(chǎn)化的通用人工智能底座。

何謂全模態(tài)大模型？“人的學(xué)習(xí)受到現(xiàn)實(shí)世界中視覺、聽覺、觸覺、嗅覺等各種信號(hào)的綜合影響，這些信號(hào)每一類都是一種模態(tài)，人類的學(xué)習(xí)過程是全模態(tài)的。但目前最常見的大語言模型仍以文字、圖片為主要模態(tài)，對(duì)音頻、視頻等信息的識(shí)別能力不足?！敝锌圃鹤詣?dòng)化所紫東太初大模型研究中心常務(wù)副主任王金橋介紹，在“紫東太初”誕生之初，科研團(tuán)隊(duì)就提出要像養(yǎng)育嬰兒一樣，為它營(yíng)造全模態(tài)的學(xué)習(xí)環(huán)境。

早在2021年7月，全球首個(gè)千億參數(shù)的多模態(tài)大模型“紫東太初”1.0就已發(fā)布，實(shí)現(xiàn)圖像、文本、語音三類數(shù)據(jù)的相互生成。而歷經(jīng)近2年的迭代，“紫東太初”2.0的能力再升級(jí)，除了讀懂圖文外，它還能“看懂”來自現(xiàn)實(shí)世界的影像數(shù)據(jù)、力觸覺、工業(yè)傳感信號(hào)等物聯(lián)數(shù)據(jù)，可以像“人”一樣綜合運(yùn)用多種信號(hào)進(jìn)行思考。

給出一張救護(hù)車圖片、一段森林救火的視頻和一段警笛音頻，“紫東太初”能識(shí)別并講述出一段完整的救援過程；而將一張圖書館的照片和汽車?guó)Q笛聲音頻同時(shí)輸入，它則快速發(fā)現(xiàn)了其中的矛盾，認(rèn)為這段音頻不太可能出現(xiàn)在圖書館場(chǎng)景之中。

在同樣的參數(shù)量級(jí)中，多模態(tài)大模型的能力會(huì)強(qiáng)于純粹的語言大模型，這意味著“紫東太初”可以用更少的訓(xùn)練數(shù)據(jù)實(shí)現(xiàn)更優(yōu)的效果?！捌鋵?shí)這也很好理解，多種信息的綜合輸入，能夠降低認(rèn)知成本，但這對(duì)科研的挑戰(zhàn)更大?！蓖踅饦蛘f，得益于團(tuán)隊(duì)在多模態(tài)數(shù)據(jù)領(lǐng)域的多年積累，科研人員以語義為橋梁，將音頻、視頻、物聯(lián)數(shù)據(jù)等模態(tài)聯(lián)系起來，“在這條研發(fā)路徑上，我們走在了世界前列。”

“從算法到硬件、算力，‘紫東太初’都是‘中國(guó)造’。”王金橋表示，大模型算法為中科院自動(dòng)化所自研，以昇騰AI硬件及昇思MindSpore AI框架為基礎(chǔ)，算力則由武漢人工智能計(jì)算中心提供支持，“在國(guó)產(chǎn)軟硬件的支撐下，我們的大模型一樣能跑得很好、很快?！?/p>

大模型所掌握的數(shù)據(jù)種類越多，與真實(shí)世界的交互能力就越強(qiáng)，在不遠(yuǎn)的將來，多模態(tài)大模型將普惠千行百業(yè)。目前，“紫東太初”大模型已在法律咨詢、交通出行、醫(yī)療健康等領(lǐng)域開始引領(lǐng)性示范。例如，通過部署“紫東太初”，中科院自動(dòng)化所自研的微創(chuàng)柔性手術(shù)機(jī)器人MicroNeuro擁有了融合觸覺與視覺的跨模態(tài)分析能力，它已完成國(guó)際首例深位顱內(nèi)活檢手術(shù)，并有望隨著大模型升級(jí)擁有對(duì)神經(jīng)外科手術(shù)場(chǎng)景的自主理解。

“紫東太初”還開放了服務(wù)平臺(tái)，支持各行業(yè)根據(jù)各自需求“組裝”模塊，再輸入少量的行業(yè)樣本數(shù)據(jù)，就能產(chǎn)出自主可控的行業(yè)相關(guān)大模型。徐波表示，未來3至5年，包括“紫東太初”在內(nèi)的我國(guó)大模型技術(shù)，將在促進(jìn)數(shù)字經(jīng)濟(jì)發(fā)展方面發(fā)揮重要作用，進(jìn)一步釋放、提升各行業(yè)的勞動(dòng)生產(chǎn)率。

流程編輯：U022