侵權投訴

5行代碼打造無限寬神經網絡模型

2020-03-27 15:47 ? 次閱讀

只要網絡足夠寬,深度學習動態就能大大簡化,并且更易于理解。

最近的許多研究結果表明,無限寬度的DNN會收斂成一類更為簡單的模型,稱為高斯過程(Gaussian processes)。

于是,復雜的現象可以被歸結為簡單的線性代數方程,以了解AI到底是怎樣工作的。

所謂的無限寬度(infinite width),指的是完全連接層中的隱藏單元數,或卷積層中的通道數量有無窮多。

但是,問題來了:推導有限網絡的無限寬度限制需要大量的數學知識,并且必須針對不同研究的體系結構分別進行計算。對工程技術水平的要求也很高。

谷歌最新開源的Neural Tangents,旨在解決這個問題,讓研究人員能夠輕松建立、訓練無限寬神經網絡

甚至只需要5行代碼,就能夠打造一個無限寬神經網絡模型。

這一研究成果已經中了ICLR 2020。戳進文末Colab鏈接,即可在線試玩。

開箱即用,5行代碼打造無限寬神經網絡模型

Neural Tangents 是一個高級神經網絡 API,可用于指定復雜、分層的神經網絡,在 CPU/GPU/TPU 上開箱即用。

該庫用 JAX編寫,既可以構建有限寬度神經網絡,亦可輕松創建和訓練無限寬度神經網絡。

有什么用呢?舉個例子,你需要訓練一個完全連接神經網絡。通常,神經網絡是隨機初始化的,然后采用梯度下降進行訓練。

研究人員通過對一組神經網絡中不同成員的預測取均值,來提升模型的性能。另外,每個成員預測中的方差可以用來估計不確定性。

如此一來,就需要大量的計算預算。

但當神經網絡變得無限寬時,網絡集合就可以用高斯過程來描述,其均值和方差可以在整個訓練過程中進行計算。

而使用 Neural Tangents ,僅需5行代碼,就能完成對無限寬網絡集合的構造和訓練。

from neural_tangents import predict, staxinit_fn, apply_fn, kernel_fn = stax.serial( stax.Dense(2048, W_std=1.5, b_std=0.05), stax.Erf(), stax.Dense(2048, W_std=1.5, b_std=0.05), stax.Erf(), stax.Dense(1, W_std=1.5, b_std=0.05))y_mean, y_var = predict.gp_inference(kernel_fn, x_train, y_train, x_test, ‘ntk’, diag_reg=1e-4, compute_cov=True)

上圖中,左圖為訓練過程中輸出(f)隨輸入數據(x)的變化;右圖為訓練過程中的不確定性訓練、測試損失。

將有限神經網絡的集合訓練和相同體系結構的無限寬度神經網絡集合進行比較,研究人員發現,使用無限寬模型的精確推理,與使用梯度下降訓練整體模型的結果之間,具有良好的一致性。

這說明了無限寬神經網絡捕捉訓練動態的能力。

不僅如此,常規神經網絡可以解決的問題,Neural Tangents 構建的網絡亦不在話下。

研究人員在 CIFAR-10 數據集的圖像識別任務上比較了 3 種不同架構的無限寬神經網絡。

可以看到,無限寬網絡模擬有限神經網絡,遵循相似的性能層次結構,其全連接網絡的性能比卷積網絡差,而卷積網絡的性能又比寬殘余網絡差。

但是,與常規訓練不同,這些模型的學習動力在封閉形式下是易于控制的,也就是說,可以用前所未有的視角去觀察其行為。

對于深入理解機器學習機制來說,該研究也提供了一種新思路。谷歌表示,這將有助于“打開機器學習的黑匣子”。

收藏 人收藏
分享:

評論

相關推薦

Waymo利用DeepMind的進化AI技術來訓練自動駕駛汽車算法

該方法最初由DeepMind發明,是先前的AI項目的一部分,該方法借鑒了進化的線索來增強AI模型。 ....
的頭像 倩倩 發表于 03-31 16:06 ? 113次 閱讀
Waymo利用DeepMind的進化AI技術來訓練自動駕駛汽車算法

中國的聯想集團有限公司正在與英特爾公司合作

兩家公司表示,未來的計劃是利用英特爾技術優化聯想基于云的TruScale Infrastructur....
的頭像 倩倩 發表于 03-31 16:00 ? 166次 閱讀
中國的聯想集團有限公司正在與英特爾公司合作

人工智能地震監測系統有多牛

隨著人工智能的應用越來越充分,他們分析大量地震數據的方式發生了改變,這將有助于人們更好地了解地震,預....
發表于 03-31 11:20 ? 123次 閱讀
人工智能地震監測系統有多牛

人工智能與心理學能否完美配合

從構成單位上看,人腦的神經網絡與深度神經網絡非常不同,深度神經網絡最小單元一般為同類的神經元,但人腦....
發表于 03-31 11:12 ? 19次 閱讀
人工智能與心理學能否完美配合

美國研究便攜式人臉識別設備 能識別一公里外的目標

來自外媒消息,近日,在《新科學》雜志刊登了一篇報道:美國軍方正在開發一種便攜式人臉識別設備,能夠識別....
的頭像 汽車玩家 發表于 03-31 09:18 ? 110次 閱讀
美國研究便攜式人臉識別設備 能識別一公里外的目標

按鈕開關控制流水燈的詳細資料和原理圖代碼合集免費下載

本文檔的主要內容詳細介紹的是按鈕開關控制流水燈的詳細資料和原理圖代碼合集免費下載
發表于 03-31 08:00 ? 10次 閱讀
按鈕開關控制流水燈的詳細資料和原理圖代碼合集免費下載

Facebook Inc.開放了一個名為AI Habitat的平臺的源代碼

為了幫助加快這一進程,Facebook Inc.今天開放了一個名為AI Habitat的平臺的源代碼....
的頭像 倩倩 發表于 03-30 15:36 ? 102次 閱讀
Facebook Inc.開放了一個名為AI Habitat的平臺的源代碼

英特爾公司正在與百度公司合作

這項合作擴展了兩家公司之間的伙伴關系,這種伙伴關系可以追溯到近十年。近年來,兩家公司已經合作在百度的....
的頭像 倩倩 發表于 03-30 15:16 ? 140次 閱讀
英特爾公司正在與百度公司合作

機器學習帶來了怎樣的改變

盡管無人駕駛汽車和機器人技術可能占據了新聞頭條,但人工智能、深度學習以及類似技術可能會讓它們的最大影....
發表于 03-30 14:42 ? 142次 閱讀
機器學習帶來了怎樣的改變

深度學習對于生物學有什么影響

卷積神經網絡能夠讓計算機高效而且完整的處理圖像,而且不需要再對圖像進行分解。
發表于 03-30 14:15 ? 126次 閱讀
深度學習對于生物學有什么影響

AI技術最主要用在哪些地方

人工智能技術應用的細分領域:深度學習、計算機視覺、智能機器人、虛擬個人助理、自然語言處理—語音識別、....
發表于 03-30 10:48 ? 42次 閱讀
AI技術最主要用在哪些地方

機器學習需要具備哪一些數學基礎

我們說到,線性代數起作用是在表示的過程當中。在評價過程中,我們需要使用到概率統計。概率統計包括了兩個....
發表于 03-30 10:02 ? 24次 閱讀
機器學習需要具備哪一些數學基礎

代碼出錯沒有得到輸出

模塊加法器(s,cout,x,y,cin);參數n = 32;輸入[n-1:0] x,y;輸入cin;輸出[n-1:0] s;輸出cout; wire [n :0] c; genvar ...
發表于 03-30 09:46 ? 12次 閱讀
代碼出錯沒有得到輸出

需要了解哪一些神經網絡架構

機器學習方法如下:它沒有為每個特定的任務編寫相應的程序,而是收集大量事例,為給定輸入指定正確輸出。
發表于 03-30 09:41 ? 21次 閱讀
需要了解哪一些神經網絡架構

過份追捧人工智能會帶來什么后果

人工智能技術--深度學習,由于其能夠在影像辨識和語音翻譯等上獲得強大成功,甚至其可以幫助自動駕駛汽車....
發表于 03-29 16:45 ? 14次 閱讀
過份追捧人工智能會帶來什么后果

Google發布降水預報的神經天氣模型 幾秒鐘進行預測

據外媒報道,近日,在先前對降水量預報的研究基礎上,Google提出了MetNet,這是一種用于降水預....
的頭像 汽車玩家 發表于 03-29 13:45 ? 209次 閱讀
Google發布降水預報的神經天氣模型 幾秒鐘進行預測

AI能夠實現預測疫情嗎

在預測疫情傳播和追根溯源方面,利用深度學習等新興人工智能技術,聯合出行軌跡流動信息、社交信息、消費數....
發表于 03-28 11:12 ? 310次 閱讀
AI能夠實現預測疫情嗎

加速度傳感器會成為竊聽的工具?

對于手機加速度計的原理以及如何被利用來監聽電話的問題,任奎教授表示,加速度傳感器(又稱加速計)是目前....
發表于 03-28 09:41 ? 74次 閱讀
加速度傳感器會成為竊聽的工具?

光學3D傳感器可以讓物體變得“透明”?

隨著傳感器技術的不斷發展,各種各樣的傳感器被研制出來,其中就包括光學 3D 傳感器。
發表于 03-28 09:31 ? 62次 閱讀
光學3D傳感器可以讓物體變得“透明”?

步進電機電梯控制的代碼資料免費下載

本文檔的主要內容詳細介紹的是步進電機電梯控制的代碼資料免費下載。
發表于 03-28 08:00 ? 34次 閱讀
步進電機電梯控制的代碼資料免費下載

如何使用小波神經網絡實現溫度傳感器非線性補償的研究

針對熱敏電阻溫度傳感器應用中存在的非線性問題,提出了應用小波神經網絡實現其非線性補償的方法,介紹了非....
發表于 03-27 17:18 ? 32次 閱讀
如何使用小波神經網絡實現溫度傳感器非線性補償的研究

如何使用神經網絡的融合實現溫度傳感器誤差補償的資料說明

海底油氣輸送管道漏磁檢測裝置工作于高溫高壓環境下,其中的InSb霍爾傳感器對溫度敏感,需要補償溫度誤....
發表于 03-27 17:18 ? 27次 閱讀
如何使用神經網絡的融合實現溫度傳感器誤差補償的資料說明

深度神經網絡的實現機理與決策邏輯難以理解

人工智能系統所面臨的兩大安全問題的根源在于深度神經網絡的不可解釋性。深度神經網絡可解釋性定義為可判讀....
的頭像 倩倩 發表于 03-27 15:56 ? 158次 閱讀
深度神經網絡的實現機理與決策邏輯難以理解

科學家繪制哺乳動物腦組織圖

由馬普腦科學研究所主任莫里茲·赫爾姆斯特德領導的研究小組分析了一只4周齡小鼠大腦皮層的活檢腦組織。該....
的頭像 倩倩 發表于 03-27 15:53 ? 252次 閱讀
科學家繪制哺乳動物腦組織圖

邊緣計算中深度神經網絡剪枝壓縮的研究

深度神經網絡與其他很多機器學習模型一樣,可分為訓練和推理兩個階段。訓練階段根據數據學習模型中的參數(....
的頭像 倩倩 發表于 03-27 15:50 ? 199次 閱讀
邊緣計算中深度神經網絡剪枝壓縮的研究

卷積神經網絡有以下幾種應用可供研究

卷積神經網絡與傳統的人臉檢測方法不同,它是通過直接作用于輸入樣本,用樣本來訓練網絡并最終實現檢測任務....
的頭像 倩倩 發表于 03-27 15:43 ? 178次 閱讀
卷積神經網絡有以下幾種應用可供研究

機器學習或將能夠解決時空問題

神經網絡能夠以一種流行的方法進行重要的計算,以統一廣義相對論的量子力學。
發表于 03-27 15:42 ? 159次 閱讀
機器學習或將能夠解決時空問題

基于AI,機器學習和開源社區的復雜智能攻擊正在增加

全球安全公司Fortinet Korea(首席執行官Won-Kyun Cho)宣布推出fortiAI....
的頭像 倩倩 發表于 03-27 15:41 ? 260次 閱讀
基于AI,機器學習和開源社區的復雜智能攻擊正在增加

脈沖神經網絡成為下一代機器學習?

脈沖神經網絡將脈沖神經元作為計算單元,能夠模仿人類大腦的信息編碼和處理過程。不同于CNN使用具體的值....
的頭像 倩倩 發表于 03-27 15:37 ? 263次 閱讀
脈沖神經網絡成為下一代機器學習?

基于硅量子位的可容錯量子計算機體系結構的一種構建方法

這允許以單個晶格來高度精確地找到原子的量子點位,不過下一個挑戰,就是如何將這種精確的空間定位方法,擴....
的頭像 倩倩 發表于 03-27 15:34 ? 829次 閱讀
基于硅量子位的可容錯量子計算機體系結構的一種構建方法

使用numpy Python庫從零開始構建人工神經網絡

人工神經網絡是一種監督式學習算法,這意味著我們為它提供含有自變量的輸入數據和含有因變量的輸出數據。比....
的頭像 倩倩 發表于 03-27 15:29 ? 199次 閱讀
使用numpy Python庫從零開始構建人工神經網絡

信息保留的二值神經網絡IR-Net,落地性能和實用性俱佳

IR-Net提供了一個全新的角度來理解二值神經網絡是如何運行的,并且具有很好的通用性,可以在標準的網....
的頭像 倩倩 發表于 03-27 15:25 ? 174次 閱讀
信息保留的二值神經網絡IR-Net,落地性能和實用性俱佳

賦予機器自主設計模型“能力”,一文概覽結構搜索的起源

隨著近年來計算機設備的算力以及存儲能力逐年遞增,人們逐漸開始去思考是否我們可以讓計算機像學網絡參數一....
的頭像 倩倩 發表于 03-27 15:21 ? 197次 閱讀
賦予機器自主設計模型“能力”,一文概覽結構搜索的起源

深度神經網絡竟然是模塊化的?

先把數據轉換為圖,所有的數據看做是空間中的點,點和點之間用邊相連。距離較遠的兩個點,它們之間邊的權重....
的頭像 倩倩 發表于 03-27 15:16 ? 156次 閱讀
深度神經網絡竟然是模塊化的?

沒有乘法的神經網絡,你敢想象嗎?

現階段的AdderNet并非沒有缺陷,作者在項目主頁中說,由于AdderNet是用加法過濾器實現的,....
的頭像 倩倩 發表于 03-27 15:11 ? 145次 閱讀
沒有乘法的神經網絡,你敢想象嗎?

一種名為ReZero的神經網絡結構改進方法

深度學習在計算機視覺、自然語言處理等領域取得了很多重大突破。神經網絡的表達能力通常隨著其網絡深度呈指....
的頭像 倩倩 發表于 03-27 15:06 ? 1421次 閱讀
一種名為ReZero的神經網絡結構改進方法

如何從其龐大的客戶車隊中獲取訓練數據,以訓練其自動駕駛神經網絡

卡帕西描述了在應用程序中為深度學習培訓收集數據的問題:“用于自動駕駛等應用的深度學習系統是通過訓練機....
的頭像 倩倩 發表于 03-27 15:03 ? 270次 閱讀
如何從其龐大的客戶車隊中獲取訓練數據,以訓練其自動駕駛神經網絡

Facebook為人工智能研究開放輕量級交互式可視化庫/工具HiPlot

能夠選擇將HiPlot用作notebook中的python庫或網絡應用程序,就可以馬上開始對其進行使....
的頭像 倩倩 發表于 03-27 14:52 ? 233次 閱讀
Facebook為人工智能研究開放輕量級交互式可視化庫/工具HiPlot

嵌入式技術在人工智能師時代遇到什么機遇

隨著大數據和深度神經網絡等技術的飛速發展,人工智能在語音分析、計算機視覺以及自然語言處理等方面取得巨....
發表于 03-27 13:58 ? 26次 閱讀
嵌入式技術在人工智能師時代遇到什么機遇

Arduino雨滴傳感器的使用示例代碼免費下載

本文檔的主要內容詳細介紹的是Arduino雨滴傳感器的使用示例代碼免費下載。
發表于 03-27 11:39 ? 45次 閱讀
Arduino雨滴傳感器的使用示例代碼免費下載

WinDev20自動編程軟件的中文教程資料說明

注意:這本手冊是一個自助培訓課程。我們建議您在使用WinDev的同時參閱在線幫助。自助培訓課程手冊的....
發表于 03-27 08:00 ? 29次 閱讀
WinDev20自動編程軟件的中文教程資料說明

深度學習技術已顯示出永久改變心臟MRI的潛力

實際上,研究人員發現,深度學習可以幫助提供者通過結構量化,功能量化,應變和運動量化,組織量化等方式來....
的頭像 倩倩 發表于 03-26 16:04 ? 284次 閱讀
深度學習技術已顯示出永久改變心臟MRI的潛力

全球AI開發框架又添一員,曠視開源“天元”

學界和業界的共同努力下,誕生了早期從學術界走出的 Caffe、 Torch 和 Theano,現如今....
的頭像 倩倩 發表于 03-26 16:01 ? 361次 閱讀
全球AI開發框架又添一員,曠視開源“天元”

國際首部完整講授當代深度學習計算系統軟硬件技術棧的教材

我國智能計算系統能力的缺失原因,可謂眾說紛紜。我個人感覺,人才教育可能是最根本的原因之一(這或許是因....
的頭像 倩倩 發表于 03-26 15:58 ? 283次 閱讀
國際首部完整講授當代深度學習計算系統軟硬件技術棧的教材

“天元”訓練推理一體化、兼容并包、靈活高效

簡單回想一下人工智能發展初期,想要訓練出一個AI模型,至少需要一兩個月,而且開發者要通過手敲代碼完成....
的頭像 倩倩 發表于 03-26 15:52 ? 295次 閱讀
“天元”訓練推理一體化、兼容并包、靈活高效

一個全新的深度學習框架——計圖

清華大學計算機系胡事民教授研究團隊提出了一個全新的深度學習框架——計圖(Jittor)。Jittor....
的頭像 倩倩 發表于 03-26 15:50 ? 327次 閱讀
一個全新的深度學習框架——計圖

怎么從XC32 V1.44切換到V2.XX?

你好!!!!當我從XC32 V1.44切換到V2.XX時,是否需要對代碼進行更改?我在哪里可以閱讀v2.xx vs v 1.xx的更改的完整列表...
發表于 03-26 09:32 ? 17次 閱讀
怎么從XC32 V1.44切換到V2.XX?

嵌套的If語句這些代碼是否相同?

上面的代碼是否等同于下面的代碼?
發表于 03-17 07:51 ? 26次 閱讀
嵌套的If語句這些代碼是否相同?

基于神經網絡融合的傳感器怎么消除溫度誤差?

目前,我國在役長距離油氣輸送管道總長兩萬公里左右,腐蝕導致的油氣泄漏事故時有發生,造成了經濟損失、能源浪費。因此,對油氣...
發表于 03-06 08:16 ? 154次 閱讀
基于神經網絡融合的傳感器怎么消除溫度誤差?

是否有一個命令能重復代碼塊?

是否有一個命令可以生成同一行代碼的“X”迭代次數?我有幾個案例,我想解開一組8行長(200次)的代碼。這是一個麻煩,有200組8...
發表于 03-05 06:55 ? 50次 閱讀
是否有一個命令能重復代碼塊?

BP神經網絡PID控制電機模型仿真

求一個simulink的蓄電池用BP神經網絡PID控制電機加速勻速減速運動的模型仿真...
發表于 02-22 02:17 ? 326次 閱讀
BP神經網絡PID控制電機模型仿真

BP模糊神經網絡純電動汽車電機控制

針對傳統比例積分(PI)控制在電機控制中控制效果不良的問題,設計了一種基于向后傳播算法(BP)模糊神經網絡的PI控制器。...
發表于 12-10 16:32 ? 731次 閱讀
BP模糊神經網絡純電動汽車電機控制

深度學習入門

發表于 12-03 18:11 ? 474次 閱讀
深度學習入門

如何保存cc2640綁定bond后SVN中的配對信息?

cc2640綁定bond,會保存配對信息在SVN,這個信息是怎么保存的?具體代碼是在哪里?...
發表于 11-11 08:56 ? 210次 閱讀
如何保存cc2640綁定bond后SVN中的配對信息?

如何在不注釋代碼的情況下讓這語句不執行呢?

例如像下面這個,只是其中一段,怎么能在編譯的時候不執行這段代碼呢,不能注釋哦 #ifdef FLASH_LIGHT_SUPPOR...
發表于 11-11 04:28 ? 186次 閱讀
如何在不注釋代碼的情況下讓這語句不執行呢?
神马电影院午夜视频