清華大學(xué)依托精密儀器系的類腦計(jì)算研究中心施路平教授團(tuán)隊(duì),提出一種基于視覺原語的互補(bǔ)雙通路類腦視覺感知新范式,研制出世界首款類腦互補(bǔ)視覺芯片“天眸芯”。
近日,清華大學(xué)在類腦視覺感知芯片領(lǐng)域取得重要突破:
清華大學(xué)依托精密儀器系的類腦計(jì)算研究中心施路平教授團(tuán)隊(duì),提出一種基于視覺原語的互補(bǔ)雙通路類腦視覺感知新范式,研制出世界首款類腦互補(bǔ)視覺芯片“天眸芯”。基于該研究成果的論文《面向開放世界感知、具有互補(bǔ)通路的視覺芯片》(A Vision Chip with Complementary Pathways for Open-world Sensing)作為封面文章,登上5月30日的《自然》雜志。
這是該團(tuán)隊(duì)繼異構(gòu)融合類腦計(jì)算“天機(jī)芯”后第二次登上 《自然》 雜志封面,標(biāo)志著在類腦計(jì)算和類腦感知兩個(gè)方向上均取得重要突破。
這一成果與我們的日常生活有哪些關(guān)系?據(jù)介紹,隨著人工智能的飛速發(fā)展,無人駕駛和具身智能等無人系統(tǒng)在現(xiàn)實(shí)社會(huì)中不斷推廣應(yīng)用,其中,視覺感知作為獲取信息的關(guān)鍵途徑,發(fā)揮著至關(guān)重要的作用。然而,在復(fù)雜多變且不可預(yù)測的環(huán)境中,實(shí)現(xiàn)高效、精確且魯棒的視覺感知依然是一個(gè)艱巨的挑戰(zhàn)。
在開放世界中,智能系統(tǒng)不僅要處理龐大的數(shù)據(jù)量,還需要應(yīng)對各種極端事件,如駕駛中的突發(fā)危險(xiǎn)、隧道口的劇烈光線變化、夜間強(qiáng)閃光干擾等。傳統(tǒng)視覺感知芯片由于受到“功耗墻”和“帶寬墻”的限制,在應(yīng)對這些場景時(shí)往往面臨失真、失效或高延遲的問題,嚴(yán)重影響系統(tǒng)的穩(wěn)定性和安全性。
為了克服這些挑戰(zhàn),清華大學(xué)精密儀器系類腦計(jì)算研究團(tuán)隊(duì)聚焦類腦視覺感知芯片技術(shù),提出了一種基于視覺原語的互補(bǔ)雙通路類腦視覺感知新范式。該范式借鑒了人類視覺系統(tǒng)的基本原理,將開放世界的視覺信息拆解為基于視覺原語的信息表示,并通過有機(jī)組合這些原語,模仿人視覺系統(tǒng)的特征,形成兩條優(yōu)勢互補(bǔ)、信息完備的視覺感知通路。
基于這一新范式,團(tuán)隊(duì)進(jìn)一步研制出了世界首款類腦互補(bǔ)視覺芯片“天眸芯”,在極低的帶寬和功耗代價(jià)下,實(shí)現(xiàn)了每秒10000幀的高速、10bit的高精度、130dB的高動(dòng)態(tài)范圍的視覺信息采集,不僅突破了傳統(tǒng)視覺感知范式的性能瓶頸,而且能夠高效應(yīng)對各種極端場景,確保系統(tǒng)的穩(wěn)定性和安全性。
基于“天眸芯”,團(tuán)隊(duì)還自主研發(fā)了高性能軟件和算法,并在開放環(huán)境車載平臺上進(jìn)行了性能驗(yàn)證。在多種極端場景下,該系統(tǒng)實(shí)現(xiàn)了低延遲、高性能的實(shí)時(shí)感知推理,展現(xiàn)了其在智能無人系統(tǒng)領(lǐng)域的巨大應(yīng)用潛力。
據(jù)悉,論文通訊作者為清華大學(xué)精密儀器系施路平教授和趙蓉教授。研究團(tuán)隊(duì)表示,“天眸芯”的成功研制為自動(dòng)駕駛、具身智能等重要應(yīng)用開辟了新的道路。結(jié)合團(tuán)隊(duì)在類腦計(jì)算芯片“天機(jī)芯”、類腦軟件工具鏈和類腦機(jī)器人等方面已應(yīng)用落地的技術(shù)積累,“天眸芯”的加入將進(jìn)一步完善類腦智能生態(tài),有力推動(dòng)人工通用智能的發(fā)展。
據(jù)中研普華產(chǎn)業(yè)研究院出版的《2024-2029年中國腦機(jī)接口行業(yè)市場深度調(diào)研及未來發(fā)展趨勢預(yù)測報(bào)告》統(tǒng)計(jì)分析顯示:
大腦是人類最重要的器官,理解大腦的結(jié)構(gòu)與功能是21世紀(jì)最具挑戰(zhàn)性的前沿科學(xué)問題。
近年來,美國、歐盟、日本等國家(地區(qū))紛紛宣布啟動(dòng)腦科學(xué)研究,即“腦計(jì)劃”;腦科學(xué)研究既對有效診斷和治療腦疾病有重要的臨床意義,還可推動(dòng)新一代人工智能技術(shù)和新型信息產(chǎn)業(yè)的發(fā)展。
類腦計(jì)算是指利用數(shù)字電路、模擬電路、數(shù)?;旌想娐坊蛐缕骷矸抡嫔锷窠?jīng)元以及神經(jīng)元間的突觸連接,進(jìn)而利用超大規(guī)模集成電路(Very Large Scale Integrated,VLSI)系統(tǒng)來模仿神經(jīng)系統(tǒng)中的神經(jīng)生物學(xué)結(jié)構(gòu)。
和現(xiàn)有馮諾伊曼體系結(jié)構(gòu) 計(jì)算與存儲分離的特點(diǎn)相對,類腦計(jì)算中的神經(jīng)元結(jié)構(gòu)既有計(jì)算能力,也有存儲能力。類腦計(jì)算的這種特點(diǎn)從根本上消除了馮諾伊曼體系結(jié)構(gòu)的“存儲墻”問題。通過對類腦計(jì)算進(jìn)行研究,能夠更好地理解腦計(jì)算模型,為實(shí)現(xiàn)類腦智能提供路徑。
SNN也被稱為第三代神經(jīng)網(wǎng)絡(luò),是人工智能領(lǐng)域機(jī)器學(xué)習(xí)算法的一種,是計(jì)算機(jī)科學(xué)與生物神經(jīng)科學(xué)交叉而成的新興學(xué)科。相比于傳統(tǒng)的ANN,如各種深度學(xué)習(xí)網(wǎng)絡(luò),SNN實(shí)現(xiàn)了更高級的生物神經(jīng)元模擬水平,更容易模擬人腦低功耗高性能的處理方式,是信息技術(shù)向智能化發(fā)展的重點(diǎn)研究方向。
與ANN相比,SNN有諸多優(yōu)良特性,在實(shí)現(xiàn)低功耗、高性能的智能系統(tǒng)上潛力巨大。類腦計(jì)算研究涉及的領(lǐng)域范圍廣泛,包括材料科學(xué)、神經(jīng)科學(xué)、電氣工程、計(jì)算機(jī)工程和計(jì)算機(jī)科學(xué)等。
材料科學(xué)家研究、制造和表征可用于類腦器件的新材料,重點(diǎn)是展示與生物神經(jīng)系統(tǒng)相似特性的材料。神經(jīng)科學(xué)家提供可能在類腦計(jì)算意義上有用的新知識,并利用類腦計(jì)算系統(tǒng)來模擬和研究生物神經(jīng)系統(tǒng)。
電子和計(jì)算機(jī)工程師利用模擬電路、數(shù)字電路、數(shù)?;旌想娐泛推骷順?gòu)造系統(tǒng),模擬神經(jīng)系統(tǒng)的運(yùn)行過程,開發(fā)由生物啟發(fā)的類腦計(jì)算系統(tǒng)。類腦計(jì)算系統(tǒng)的研究涉及到類腦處理器微體系結(jié)構(gòu)技術(shù)、體系結(jié)構(gòu)技術(shù)、類腦處理器配套的軟件工具鏈和基于脈沖神經(jīng)網(wǎng)絡(luò)的算法等研究領(lǐng)域。
國內(nèi)外類腦計(jì)算技術(shù)發(fā)展研究
在現(xiàn)階段的社會(huì)發(fā)展過程中計(jì)算機(jī)科學(xué)技術(shù)在社會(huì)中的應(yīng)用具有極大的社會(huì)現(xiàn)實(shí)含義,不僅其在加速社會(huì)經(jīng)濟(jì)的道路上起到了積極的作用。計(jì)算機(jī)技術(shù)在發(fā)展的同時(shí)帶動(dòng)經(jīng)濟(jì)社會(huì)的進(jìn)步。
由于傳統(tǒng)的計(jì)算機(jī)科學(xué)沒有相關(guān)的技術(shù)信息支撐,當(dāng)代的發(fā)展方向是積極向前的、相互融合的。不過由于當(dāng)代社會(huì)信息的共享性還有待于提高到新的階段,-些方面的信息受到一定的局限和壟斷性。
伴隨著越來越普遍的計(jì)算機(jī)科學(xué)在全世界范圍內(nèi)的迅猛發(fā)展,信息將可以被方便快捷的進(jìn)行傳播,有理由相信計(jì)算機(jī)技術(shù)將會(huì)帶動(dòng)社會(huì)經(jīng)濟(jì)更好發(fā)展,其對經(jīng)濟(jì)的發(fā)展將起到積極有效的作用。
許多新興的類腦芯片在SNN計(jì)算中顯示出巨大的潛力。 例如浙江大學(xué)的達(dá)爾文芯片,其目標(biāo)是嵌入式低功耗應(yīng)用。蘇黎世大學(xué)研究人員開發(fā)的DYNAP-SEL結(jié)合了異步數(shù)字邏輯和模擬電路,以實(shí)現(xiàn)模擬SNN實(shí)現(xiàn)。 清華大學(xué)的研究人員成功設(shè)計(jì)了混合型天機(jī)芯片 ,該混合型既可以實(shí)現(xiàn)常規(guī)神經(jīng)網(wǎng)絡(luò)又可以實(shí)現(xiàn)SNN。
隨著腦科學(xué)與類腦行業(yè)競爭的不斷加劇,大型企業(yè)間并購整合與資本運(yùn)作日趨頻繁,國內(nèi)外優(yōu)秀的腦科學(xué)與類腦企業(yè)愈來愈重視對行業(yè)市場的分析研究,特別是對當(dāng)前市場環(huán)境和客戶需求趨勢變化的深入研究,以期提前占領(lǐng)市場,取得先發(fā)優(yōu)勢。正因?yàn)槿绱?,一大批?yōu)秀品牌迅速崛起,逐漸成為行業(yè)中的翹楚。
中研普華利用多種獨(dú)創(chuàng)的信息處理技術(shù),對腦科學(xué)與類腦行業(yè)市場海量的數(shù)據(jù)進(jìn)行采集、整理、加工、分析、傳遞,為客戶提供一攬子信息解決方案和咨詢服務(wù),最大限度地降低客戶投資風(fēng)險(xiǎn)與經(jīng)營成本,把握投資機(jī)遇,提高企業(yè)競爭力。
本報(bào)告利用中研普華長期對腦科學(xué)與類腦行業(yè)市場跟蹤搜集的一手市場數(shù)據(jù),同時(shí)依據(jù)國家統(tǒng)計(jì)局、國家商務(wù)部、國家發(fā)改委、國務(wù)院發(fā)展研究中心、行業(yè)協(xié)會(huì)、中國行業(yè)研究網(wǎng)、全國及海外專業(yè)研究機(jī)構(gòu)提供的大量權(quán)威資料,采用與國際同步的科學(xué)分析模型,全面而準(zhǔn)確地為您從行業(yè)的整體高度來架構(gòu)分析體系。讓您全面、準(zhǔn)確地把握整個(gè)腦科學(xué)與類腦行業(yè)的市場走向和發(fā)展趨勢。
未來行業(yè)市場發(fā)展前景和投資機(jī)會(huì)在哪?欲了解更多關(guān)于行業(yè)具體詳情可以點(diǎn)擊查看中研普華產(chǎn)業(yè)研究院的報(bào)告《2024-2029年中國腦機(jī)接口行業(yè)市場深度調(diào)研及未來發(fā)展趨勢預(yù)測報(bào)告》。
關(guān)注公眾號
免費(fèi)獲取更多報(bào)告節(jié)選
免費(fèi)咨詢行業(yè)專家
2024-2029年中國腦機(jī)接口行業(yè)市場深度調(diào)研及未來發(fā)展趨勢預(yù)測報(bào)告
腦機(jī)接口(Brain-Machine Interface,BMI [10];Brain Computer Interface,BCI [4]),指在人或動(dòng)物大腦與外部設(shè)備之間創(chuàng)建的直接連接,實(shí)現(xiàn)腦與設(shè)備的信息交換。這一概念其實(shí)早已有2...
查看詳情
產(chǎn)業(yè)規(guī)劃 特色小鎮(zhèn) 產(chǎn)業(yè)園區(qū)規(guī)劃 產(chǎn)業(yè)地產(chǎn) 可研報(bào)告 商業(yè)計(jì)劃書 細(xì)分市場研究 IPO上市咨詢
近年來,隨著國家制造業(yè)結(jié)構(gòu)的優(yōu)化升級以及智能制造、工業(yè)4.0技術(shù)的不斷創(chuàng)新突破,焊接機(jī)器人行業(yè)市場規(guī)模持續(xù)擴(kuò)大。I...
凈洗劑是一種專門用于去除在印染及后整理過程中殘留在纖維或其織物上的各種雜質(zhì)、污垢、助劑和漿料等物質(zhì)的化學(xué)物質(zhì)。...
黏合劑是一種廣泛應(yīng)用于工業(yè)、建筑、醫(yī)療、日常用品等多個(gè)領(lǐng)域的化學(xué)物質(zhì),其主要功能是通過其特有的粘接力將兩個(gè)或多...
防銹劑是一種專門設(shè)計(jì)用于防止金屬表面生銹和腐蝕的化學(xué)制劑。它們通過形成一層保護(hù)膜在金屬表面,有效隔離金屬與外界...
關(guān)于近期小米汽車欲收購恒大汽車58.5%股權(quán)的傳言,小米公司已經(jīng)做出了明確的回應(yīng),他們鄭重澄清表示從未有過收購或控...
工程塑料行業(yè)近年來發(fā)展迅速,市場規(guī)模持續(xù)擴(kuò)大。預(yù)計(jì)未來幾年,隨著制造業(yè)的轉(zhuǎn)型升級和下游需求的增長,市場規(guī)模將繼...
1馬斯克稱 其腦機(jī)接口公司下一個(gè)產(chǎn)品將是盲視 腦機(jī)接口行業(yè)市場深度調(diào)研及未來發(fā)展趨勢預(yù)測報(bào)告
2中國團(tuán)隊(duì)成功研發(fā)65000通道腦機(jī)接口芯片 腦機(jī)接口行業(yè)市場深度調(diào)研及未來發(fā)展趨勢預(yù)測報(bào)告
3去掉部分頭骨植入芯片 馬斯克又有新動(dòng)作 腦機(jī)接口行業(yè)發(fā)展現(xiàn)狀分析
中研普華集團(tuán)聯(lián)系方式廣告服務(wù)版權(quán)聲明誠聘英才企業(yè)客戶意見反饋報(bào)告索引網(wǎng)站地圖 Copyright ? 1998-2023 ChinaIRN.COM All Rights Reserved. 版權(quán)所有 中國行業(yè)研究網(wǎng)(簡稱“中研網(wǎng)”) 粵ICP備05036522號
微信掃一掃