大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關于神經(jīng)網(wǎng)絡的概念的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關鍵詞，就能返回你想要的內(nèi)容，越精準，寫出的就越詳細，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務客戶遍布全球各地，如需了解SEO相關業(yè)務請撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

• 1、halcon第十七講，神經(jīng)網(wǎng)絡

• 2、BP神經(jīng)網(wǎng)絡的梳理

• 3、人工神經(jīng)網(wǎng)絡概念梳理與實例演示

• 4、神經(jīng)網(wǎng)絡相關名詞解釋

一、halcon第十七講，神經(jīng)網(wǎng)絡

一、神經(jīng)網(wǎng)絡是什么

[圖片上傳中...(image-432d8f-1641287520063-0)]

<colgroup><col style="width: 310px;"><col style="width: 310px;"></colgroup>

|

生物神經(jīng)元

|

人工神經(jīng)元

|

|

細胞核

|

神經(jīng)元

|

|

樹突

|

輸入

|

|

軸突

|

輸出

|

|

突觸

|

權(quán)重

|

二、神經(jīng)網(wǎng)絡的相關概念

[圖片上傳中...(image-269e67-1641287555263-8)]

[圖片上傳中...(image-ba78ce-1641287555263-7)]

[圖片上傳中...(image-5dedce-1641287555263-6)]

[圖片上傳中...(image-d4aadb-1641287555263-5)]

[圖片上傳中...(image-eef949-1641287555263-4)]

[圖片上傳中...(image-fcd341-1641287555263-3)]

[圖片上傳中...(image-d0711b-1641287555263-2)]

[圖片上傳中...(image-a37d38-1641287555263-1)]

[圖片上傳中...(image-eb49a1-1641287555263-0)]

二、BP神經(jīng)網(wǎng)絡的梳理

BP神經(jīng)網(wǎng)絡被稱為“深度學習之旅的開端”，是神經(jīng)網(wǎng)絡的入門算法。

各種高大上的神經(jīng)網(wǎng)絡都是基于BP網(wǎng)絡出發(fā)的，最基礎的原理都是由BP網(wǎng)絡而來 [1] ，另外由于BP神經(jīng)網(wǎng)絡結(jié)構(gòu)簡單，算法經(jīng)典， 是神經(jīng)網(wǎng)絡中應用最廣泛的一種。

BP神經(jīng)網(wǎng)絡（back propagation neural network）全稱是反向傳播神經(jīng)網(wǎng)絡。

神經(jīng)網(wǎng)絡發(fā)展部分背景如下 [2] ：

為解決非線性問題，BP神經(jīng)網(wǎng)絡應運而生。

那么什么是BP神經(jīng)網(wǎng)絡？稍微專業(yè)點的解釋要怎么說呢？

很喜歡 最簡單的神經(jīng)網(wǎng)絡--Bp神經(jīng)網(wǎng)絡 一文對算法原理的解釋，語言活潑，案例簡單，由淺入深。

文中提到所謂的 AI 技術(shù)，本質(zhì)上是一種數(shù)據(jù)處理處理技術(shù)，它的強大來自于兩方面：1.互聯(lián)網(wǎng)的發(fā)展帶來的海量數(shù)據(jù)信息；2.計算機深度學習算法的快速發(fā)展。AI 其實并沒有什么神秘，只是在算法上更為復雜 [3] 。

我們從上面的定義出發(fā)來解釋BP神經(jīng)網(wǎng)絡的原理。

BP神經(jīng)網(wǎng)絡整個網(wǎng)絡結(jié)構(gòu)包含了：一層輸入層，一到多層隱藏層，一層輸出層。

一般說L層神經(jīng)網(wǎng)絡，指的是有L個隱層，輸入層和輸出層都不計算在內(nèi)的 [6] 。

BP神經(jīng)網(wǎng)絡模型訓練的學習過程由信號的 正向傳播 和誤差的 反向傳播 兩個過程組成。

什么是信號的正向傳播？顧名思義，就是結(jié)構(gòu)圖從左到右的運算過程。

我們來看看結(jié)構(gòu)圖中每個小圓圈是怎么運作的。我們把小圈圈叫做神經(jīng)元，是組成神經(jīng)網(wǎng)絡的基本單元。

正向傳播就是輸入數(shù)據(jù)經(jīng)過一層一層的神經(jīng)元運算、輸出的過程，最后一層輸出值作為算法預測值y'。

前面正向傳播的時候我們提到權(quán)重w、偏置b，但我們并不知道權(quán)重w、偏置b的值應該是什么。關于最優(yōu)參數(shù)的求解，我們在 線性回歸 、 邏輯回歸 兩章中有了詳細說明。大致來講就是：

BP神經(jīng)網(wǎng)絡全稱 back propagation neural network，back propagation反向傳播是什么？

反向傳播的建設本質(zhì)上就是尋找最優(yōu)的參數(shù)組合，和上面的流程差不多，根據(jù)算法預測值和實際值之間的損失函數(shù)L(y',y)，來反方向地計算每一層的z、a、w、b的偏導數(shù)，從而更新參數(shù)。

對反向傳播而言，輸入的內(nèi)容是預測值和實際值的誤差，輸出的內(nèi)容是對參數(shù)的更新，方向是從右往左，一層一層的更新每一層的參數(shù)。

BP神經(jīng)網(wǎng)絡通過先正向傳播，構(gòu)建參數(shù)和輸入值的關系，通過預測值和實際值的誤差，反向傳播修復權(quán)重；讀入新數(shù)據(jù)再正向傳播預測，再反向傳播修正，...，通過多次循環(huán)達到最小損失值，此時構(gòu)造的模型擁有最優(yōu)的參數(shù)組合。

以一個簡單的BP神經(jīng)網(wǎng)絡為例，由3個輸入層，2層隱藏層，每層2個神經(jīng)元，1個輸出層組成。

【輸入層】傳入

【第一層隱藏層】

對于 神經(jīng)元而言，傳入 ，加權(quán)求和加偏置激活函數(shù)處理后，輸出 ；

對于 神經(jīng)元而言，傳入 ，加權(quán)求和加偏置函數(shù)處理后，輸出 ；

輸出：

【第二層隱藏層】

對于 神經(jīng)元而言，傳入 ，加權(quán)求和加偏置激活函數(shù)處理后，輸出 ；

對于 神經(jīng)元而言，傳入 ，加權(quán)求和加偏置激活函數(shù)處理后，輸出 ；

輸出：

【輸出層】

對于輸出層神經(jīng)元而言，輸入 ，加權(quán)求和加偏置激活函數(shù)處理后，輸出 ，輸出的是一個值

第一次運行正向傳播這個流程時隨用隨機參數(shù)就好，通過反向傳播不斷優(yōu)化。因此需要在一開始對 設置一個隨機的初始值。

首先計算正向傳播輸出值 與實際值的損失 ，是一個數(shù)值。所謂反向是從右到左一步步來的，先回到 ，修正參數(shù) 。

以此類推，通過對損失函數(shù)求偏導跟新參數(shù) ，再跟新參數(shù) 。這時又回到了起點，新的數(shù)據(jù)傳入又可以開始正向傳播了。

keras可以快速搭建神經(jīng)網(wǎng)絡，例如以下為輸入層包含7129個結(jié)點，一層隱藏層，包含128個結(jié)點，一個輸出層，是二分類模型。

神經(jīng)網(wǎng)絡反向傳播的優(yōu)化目標為loss，可以觀察到loss的值在不斷的優(yōu)化。

可以通過model.get_layer().get_weights()獲得每一層訓練后的參數(shù)結(jié)果。通過model.predict()預測新數(shù)據(jù)。

至此，BP神經(jīng)網(wǎng)絡的整個運算流程已經(jīng)過了一遍。之前提到BP神經(jīng)網(wǎng)絡是為解決非線性問題應運而生的，那么為什么BP神經(jīng)網(wǎng)絡可以解決非線性問題呢？

還記得神經(jīng)元里有一個激活函數(shù)的操作嗎？神經(jīng)網(wǎng)絡通過激活函數(shù)的使用加入非線性因素。

通過使用非線性的激活函數(shù)可以使神經(jīng)網(wǎng)絡隨意逼近復雜函數(shù)，從而使BP神經(jīng)網(wǎng)絡既可以處理線性問題，也可以處理非線性問題。

為什么激活函數(shù)的使用可以加入非線性因素 [7] ？

其實邏輯回歸算法可以看作只有一個神經(jīng)元的單層神經(jīng)網(wǎng)絡，只對線性可分的數(shù)據(jù)進行分類。

輸入?yún)?shù)，加權(quán)求和，sigmoid作為激活函數(shù)計算后輸出結(jié)果，模型預測值和實際值計算損失Loss,反向傳播梯度下降求編導，獲得最優(yōu)參數(shù)。

BP神經(jīng)網(wǎng)絡是比 Logistic Regression 復雜得多的模型，它的擬合能力很強，可以處理很多 Logistic Regression處理不了的數(shù)據(jù)，但是也更容易過擬合。

具體用什么算法還是要看訓練數(shù)據(jù)的情況，沒有一種算法是使用所有情況的。

常見的前饋神經(jīng)網(wǎng)絡有BP網(wǎng)絡，RBF網(wǎng)絡等。

BP神經(jīng)網(wǎng)絡的一個主要問題是：結(jié)構(gòu)不好設計。

網(wǎng)絡隱含層的層數(shù)和單元數(shù)的選擇尚無理論上的指導，一般是根據(jù)經(jīng)驗或者通過反復實驗確定。

但是BP神經(jīng)網(wǎng)絡簡單、易行、計算量小、并行性強，目前仍是多層前向網(wǎng)絡的首選算法。

[1] 深度學習開端---BP神經(jīng)網(wǎng)絡： https://blog.csdn.net/Chile_Wang/article/details/100557010

[2] BP神經(jīng)網(wǎng)絡發(fā)展歷史： https://zhuanlan.zhihu.com/p/47998728

[3] 最簡單的神經(jīng)網(wǎng)絡--Bp神經(jīng)網(wǎng)絡： https://blog.csdn.net/weixin_40432828/article/details/82192709

[4] 神經(jīng)網(wǎng)絡的基本概念： https://blog.csdn.net/jinyuan7708/article/details/82466653

[5] 神經(jīng)網(wǎng)絡中的 “隱藏層” 理解： https://blog.csdn.net/nanhuaibeian/article/details/100183000

[6] AI學習筆記：神經(jīng)元與神經(jīng)網(wǎng)絡： https://www.jianshu.com/p/65eb2fce0e9e

[7] 線性模型和非線性模型的區(qū)別： https://www.cnblogs.com/toone/p/8574294.html

[8] BP神經(jīng)網(wǎng)絡是否優(yōu)于logistic回歸： https://www.zhihu.com/question/27823925/answer/38460833

三、人工神經(jīng)網(wǎng)絡概念梳理與實例演示

人工神經(jīng)網(wǎng)絡概念梳理與實例演示

神經(jīng)網(wǎng)絡是一種模仿生物神經(jīng)元的機器學習模型，數(shù)據(jù)從輸入層進入并流經(jīng)激活閾值的多個節(jié)點。

遞歸性神經(jīng)網(wǎng)絡一種能夠?qū)χ拜斎霐?shù)據(jù)進行內(nèi)部存儲記憶的神經(jīng)網(wǎng)絡，所以他們能夠?qū)W習到數(shù)據(jù)流中的時間依賴結(jié)構(gòu)。

如今機器學習已經(jīng)被應用到很多的產(chǎn)品中去了，例如，siri、Google Now等智能助手，推薦引擎——亞馬遜網(wǎng)站用于推薦商品的推薦引擎，Google和Facebook使用的廣告排名系統(tǒng)。最近，深度學習的一些進步將機器學習帶入公眾視野：AlphaGo 打敗圍棋大師李世石事件以及一些圖片識別和機器翻譯等新產(chǎn)品的出現(xiàn)。

在這部分中，我們將介紹一些強大并被普遍使用的機器學習技術(shù)。這當然包括一些深度學習以及一些滿足現(xiàn)代業(yè)務需求傳統(tǒng)方法。讀完這一系列的文章之后，你就掌握了必要的知識，便可以將具體的機器學習實驗應用到你所在的領域當中。

隨著深層神經(jīng)網(wǎng)絡的精度的提高，語音和圖像識別技術(shù)的應用吸引了大眾的注意力，關于AI和深度學習的研究也變得更加普遍了。但是怎么能夠讓它進一步擴大影響力，更受歡迎仍然是一個問題。這篇文章的主要內(nèi)容是：簡述前饋神經(jīng)網(wǎng)絡和遞歸神經(jīng)網(wǎng)絡、怎樣搭建一個遞歸神經(jīng)網(wǎng)絡對時間系列數(shù)據(jù)進行異常檢測。為了讓我們的討論更加具體化，我們將演示一下怎么用Deeplearning4j搭建神經(jīng)網(wǎng)絡。

一、什么是神經(jīng)網(wǎng)絡？

人工神經(jīng)網(wǎng)絡算法的最初構(gòu)思是模仿生物神經(jīng)元。但是這個類比很不可靠。人工神經(jīng)網(wǎng)絡的每一個特征都是對生物神經(jīng)元的一種折射：每一個節(jié)點與激活閾值、觸發(fā)的連接。

連接人工神經(jīng)元系統(tǒng)建立起來之后，我們就能夠?qū)@些系統(tǒng)進行訓練，從而讓他們學習到數(shù)據(jù)中的一些模式，學到之后就能執(zhí)行回歸、分類、聚類、預測等功能。

人工神經(jīng)網(wǎng)絡可以看作是計算節(jié)點的集合。數(shù)據(jù)通過這些節(jié)點進入神經(jīng)網(wǎng)絡的輸入層，再通過神經(jīng)網(wǎng)絡的隱藏層直到關于數(shù)據(jù)的一個結(jié)論或者結(jié)果出現(xiàn)，這個過程才會停止。神經(jīng)網(wǎng)絡產(chǎn)出的結(jié)果會跟預期的結(jié)果進行比較，神經(jīng)網(wǎng)絡得出的結(jié)果與正確結(jié)果的不同點會被用來更正神經(jīng)網(wǎng)絡節(jié)點的激活閾值。隨著這個過程的不斷重復，神經(jīng)網(wǎng)絡的輸出結(jié)果就會無限靠近預期結(jié)果。

二、訓練過程

在搭建一個神經(jīng)網(wǎng)絡系統(tǒng)之前，你必須先了解訓練的過程以及網(wǎng)絡輸出結(jié)果是怎么產(chǎn)生的。然而我們并不想過度深入的了解這些方程式，下面是一個簡短的介紹。

網(wǎng)絡的輸入節(jié)點收到一個數(shù)值數(shù)組（或許是叫做張量多維度數(shù)組）就代表輸入數(shù)據(jù)。例如, 圖像中的每個像素可以表示為一個標量，然后將像素傳遞給一個節(jié)點。輸入數(shù)據(jù)將會與神經(jīng)網(wǎng)絡的參數(shù)相乘，這個輸入數(shù)據(jù)被擴大還是減小取決于它的重要性，換句話說，取決于這個像素就不會影響神經(jīng)網(wǎng)絡關于整個輸入數(shù)據(jù)的結(jié)論。

起初這些參數(shù)都是隨機的，也就是說神經(jīng)網(wǎng)絡在建立初期根本就不了解數(shù)據(jù)的結(jié)構(gòu)。每個節(jié)點的激活函數(shù)決定了每個輸入節(jié)點的輸出結(jié)果。所以每個節(jié)點是否能夠被激活取決于它是否接受到足夠的刺激強度，即是否輸入數(shù)據(jù)和參數(shù)的結(jié)果超出了激活閾值的界限。

在所謂的密集或完全連接層中，每個節(jié)點的輸出值都會傳遞給后續(xù)層的節(jié)點，在通過所有隱藏層后最終到達輸出層，也就是產(chǎn)生輸入結(jié)果的地方。在輸出層, 神經(jīng)網(wǎng)絡得到的最終結(jié)論將會跟預期結(jié)論進行比較(例如，圖片中的這些像素代表一只貓還是狗?)。神經(jīng)網(wǎng)絡猜測的結(jié)果與正確結(jié)果的計算誤差都會被納入到一個測試集中，神經(jīng)網(wǎng)絡又會利用這些計算誤差來不斷更新參數(shù)，以此來改變圖片中不同像素的重要程度。整個過程的目的就是降低輸出結(jié)果與預期結(jié)果的誤差，正確地標注出這個圖像到底是不是一條狗。

深度學習是一個復雜的過程，由于大量的矩陣系數(shù)需要被修改所以它就涉及到矩陣代數(shù)、衍生品、概率和密集的硬件使用問題，但是用戶不需要全部了解這些復雜性。

但是，你也應該知道一些基本參數(shù)，這將幫助你理解神經(jīng)網(wǎng)絡函數(shù)。這其中包括激活函數(shù)、優(yōu)化算法和目標函數(shù)(也稱為損失、成本或誤差函數(shù))。

激活函數(shù)決定了信號是否以及在多大程度上應該被發(fā)送到連接節(jié)點。階梯函數(shù)是最常用的激活函數(shù), 如果其輸入小于某個閾值就是0，如果其輸入大于閾值就是1。節(jié)點都會通過階梯激活函數(shù)向連接節(jié)點發(fā)送一個0或1。優(yōu)化算法決定了神經(jīng)網(wǎng)絡怎么樣學習，以及測試完誤差后，權(quán)重怎么樣被更準確地調(diào)整。最常見的優(yōu)化算法是隨機梯度下降法。最后, 成本函數(shù)常用來衡量誤差，通過對比一個給定訓練樣本中得出的結(jié)果與預期結(jié)果的不同來評定神經(jīng)網(wǎng)絡的執(zhí)行效果。

Keras、Deeplearning4j 等開源框架讓創(chuàng)建神經(jīng)網(wǎng)絡變得簡單。創(chuàng)建神經(jīng)網(wǎng)絡結(jié)構(gòu)時，需要考慮的是怎樣將你的數(shù)據(jù)類型匹配到一個已知的被解決的問題，并且根據(jù)你的實際需求來修改現(xiàn)有結(jié)構(gòu)。

三、神經(jīng)網(wǎng)絡的類型以及應用

神經(jīng)網(wǎng)絡已經(jīng)被了解和應用了數(shù)十年了，但是最近的一些技術(shù)趨勢才使得深度神經(jīng)網(wǎng)絡變得更加高效。

GPUs使得矩陣操作速度更快；分布式計算結(jié)構(gòu)讓計算能力大大增強；多個超參數(shù)的組合也讓迭代的速度提升。所有這些都讓訓練的速度大大加快，迅速找到適合的結(jié)構(gòu)。

隨著更大數(shù)據(jù)集的產(chǎn)生，類似于ImageNet 的大型高質(zhì)量的標簽數(shù)據(jù)集應運而生。機器學習算法訓練的數(shù)據(jù)越大，那么它的準確性就會越高。

最后，隨著我們理解能力以及神經(jīng)網(wǎng)絡算法的不斷提升，神經(jīng)網(wǎng)絡的準確性在語音識別、機器翻譯以及一些機器感知和面向目標的一些任務等方面不斷刷新記錄。

盡管神經(jīng)網(wǎng)絡架構(gòu)非常的大，但是主要用到的神經(jīng)網(wǎng)絡種類也就是下面的幾種。

3.1前饋神經(jīng)網(wǎng)絡

前饋神經(jīng)網(wǎng)絡包括一個輸入層、一個輸出層以及一個或多個的隱藏層。前饋神經(jīng)網(wǎng)絡可以做出很好的通用逼近器，并且能夠被用來創(chuàng)建通用模型。

這種類型的神經(jīng)網(wǎng)絡可用于分類和回歸。例如，當使用前饋網(wǎng)絡進行分類時，輸出層神經(jīng)元的個數(shù)等于類的數(shù)量。從概念上講, 激活了的輸出神經(jīng)元決定了神經(jīng)網(wǎng)絡所預測的類。更準確地說, 每個輸出神經(jīng)元返回一個記錄與分類相匹配的概率數(shù)，其中概率最高的分類將被選為模型的輸出分類。

前饋神經(jīng)網(wǎng)絡的優(yōu)勢是簡單易用，與其他類型的神經(jīng)網(wǎng)絡相比更簡單，并且有一大堆的應用實例。

3.2卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡和前饋神經(jīng)網(wǎng)絡是非常相似的，至少是數(shù)據(jù)的傳輸方式類似。他們結(jié)構(gòu)大致上是模仿了視覺皮層。卷積神經(jīng)網(wǎng)絡通過許多的過濾器。這些過濾器主要集中在一個圖像子集、補丁、圖塊的特征識別上。每一個過濾器都在尋找不同模式的視覺數(shù)據(jù)，例如，有的可能是找水平線，有的是找對角線，有的是找垂直的。這些線條都被看作是特征，當過濾器經(jīng)過圖像時，他們就會構(gòu)造出特征圖譜來定位各類線是出現(xiàn)在圖像的哪些地方。圖像中的不同物體，像貓、747s、榨汁機等都會有不同的圖像特征，這些圖像特征就能使圖像完成分類。卷積神經(jīng)網(wǎng)絡在圖像識別和語音識別方面是非常的有效的。

卷積神經(jīng)網(wǎng)絡與前饋神經(jīng)網(wǎng)絡在圖像識別方面的異同比較。雖然這兩種網(wǎng)絡類型都能夠進行圖像識別，但是方式卻不同。卷積神經(jīng)網(wǎng)絡是通過識別圖像的重疊部分，然后學習識別不同部分的特征進行訓練；然而，前饋神經(jīng)網(wǎng)絡是在整張圖片上進行訓練。前饋神經(jīng)網(wǎng)絡總是在圖片的某一特殊部分或者方向進行訓練，所以當圖片的特征出現(xiàn)在其他地方時就不會被識別到，然而卷積神經(jīng)網(wǎng)絡卻能夠很好的避免這一點。

卷積神經(jīng)網(wǎng)絡主要是用于圖像、視頻、語音、聲音識別以及無人駕駛的任務。盡管這篇文章主要是討論遞歸神經(jīng)網(wǎng)絡的，但是卷積神經(jīng)網(wǎng)絡在圖像識別方面也是非常有效的，所以很有必要了解。

3.3遞歸神經(jīng)網(wǎng)絡

與前饋神經(jīng)網(wǎng)絡不同的是，遞歸神經(jīng)網(wǎng)絡的隱藏層的節(jié)點里有內(nèi)部記憶存儲功能，隨著輸入數(shù)據(jù)的改變而內(nèi)部記憶內(nèi)容不斷被更新。遞歸神經(jīng)網(wǎng)絡的結(jié)論都是基于當前的輸入和之前存儲的數(shù)據(jù)而得出的。遞歸神經(jīng)網(wǎng)絡能夠充分利用這種內(nèi)部記憶存儲狀態(tài)處理任意序列的數(shù)據(jù)，例如時間序列。

遞歸神經(jīng)網(wǎng)絡經(jīng)常用于手寫識別、語音識別、日志分析、欺詐檢測和網(wǎng)絡安全。

遞歸神經(jīng)網(wǎng)絡是處理時間維度數(shù)據(jù)集的最好方法，它可以處理以下數(shù)據(jù)：網(wǎng)絡日志和服務器活動、硬件或者是醫(yī)療設備的傳感器數(shù)據(jù)、金融交易、電話記錄。想要追蹤數(shù)據(jù)在不同階段的依賴和關聯(lián)關系需要你了解當前和之前的一些數(shù)據(jù)狀態(tài)。盡管我們通過前饋神經(jīng)網(wǎng)絡也可以獲取事件，隨著時間的推移移動到另外一個事件，這將使我們限制在對事件的依賴中，所以這種方式很不靈活。

追蹤在時間維度上有長期依賴的數(shù)據(jù)的更好方法是用內(nèi)存來儲存重要事件，以使近期事件能夠被理解和分類。遞歸神經(jīng)網(wǎng)絡最好的一點就是在它的隱藏層里面有“內(nèi)存”可以學習到時間依賴特征的重要性。

接下來我們將討論遞歸神經(jīng)網(wǎng)絡在字符生成器和網(wǎng)絡異常檢測中的應用。遞歸神經(jīng)網(wǎng)絡可以檢測出不同時間段的依賴特征的能力使得它可以進行時間序列數(shù)據(jù)的異常檢測。

遞歸神經(jīng)網(wǎng)絡的應用

網(wǎng)絡上有很多使用RNNs生成文本的例子，遞歸神經(jīng)網(wǎng)絡經(jīng)過語料庫的訓練之后，只要輸入一個字符，就可以預測下一個字符。下面讓我們通過一些實用例子發(fā)現(xiàn)更多RNNs的特征。

應用一、RNNs用于字符生成

遞歸神經(jīng)網(wǎng)絡經(jīng)過訓練之后可以把英文字符當做成一系列的時間依賴事件。經(jīng)過訓練后它會學習到一個字符經(jīng)常跟著另外一個字符（“e”經(jīng)常跟在“h”后面，像在“the、he、she”中）。由于它能預測下一個字符是什么，所以它能有效地減少文本的輸入錯誤。

Java是個很有趣的例子，因為它的結(jié)構(gòu)包括很多嵌套結(jié)構(gòu)，有一個開的圓括號必然后面就會有一個閉的，花括號也是同理。他們之間的依賴關系并不會在位置上表現(xiàn)的很明顯，因為多個事件之間的關系不是靠所在位置的距離確定的。但是就算是不明確告訴遞歸神經(jīng)網(wǎng)絡Java中各個事件的依賴關系，它也能自己學習了解到。

在異常檢測當中，我們要求神經(jīng)網(wǎng)絡能夠檢測出數(shù)據(jù)中相似、隱藏的或許是并不明顯的模式。就像是一個字符生成器在充分地了解數(shù)據(jù)的結(jié)構(gòu)后就會生成一個數(shù)據(jù)的擬像，遞歸神經(jīng)網(wǎng)絡的異常檢測就是在其充分了解數(shù)據(jù)結(jié)構(gòu)后來判斷輸入的數(shù)據(jù)是不是正常。

字符生成的例子表明遞歸神經(jīng)網(wǎng)絡有在不同時間范圍內(nèi)學習到時間依賴關系的能力，它的這種能力還可以用來檢測網(wǎng)絡活動日志的異常。

異常檢測能夠使文本中的語法錯誤浮出水面，這是因為我們所寫的東西是由語法結(jié)構(gòu)所決定的。同理，網(wǎng)絡行為也是有結(jié)構(gòu)的，它也有一個能夠被學習的可預測模式。經(jīng)過在正常網(wǎng)絡活動中訓練的遞歸神經(jīng)網(wǎng)絡可以監(jiān)測到入侵行為，因為這些入侵行為的出現(xiàn)就像是一個句子沒有標點符號一樣異常。

應用二、一個網(wǎng)絡異常檢測項目的示例

假設我們想要了解的網(wǎng)絡異常檢測就是能夠得到硬件故障、應用程序失敗、以及入侵的一些信息。

模型將會向我們展示什么呢？

隨著大量的網(wǎng)絡活動日志被輸入到遞歸神經(jīng)網(wǎng)絡中去，神經(jīng)網(wǎng)絡就能學習到正常的網(wǎng)絡活動應該是什么樣子的。當這個被訓練的網(wǎng)絡被輸入新的數(shù)據(jù)時，它就能偶判斷出哪些是正常的活動，哪些是被期待的，哪些是異常的。

訓練一個神經(jīng)網(wǎng)絡來識別預期行為是有好處的，因為異常數(shù)據(jù)不多，或者是不能夠準確的將異常行為進行分類。我們在正常的數(shù)據(jù)里進行訓練，它就能夠在未來的某個時間點提醒我們非正?；顒拥某霈F(xiàn)。

說句題外話，訓練的神經(jīng)網(wǎng)絡并不一定非得識別到特定事情發(fā)生的特定時間點（例如，它不知道那個特殊的日子就是周日），但是它一定會發(fā)現(xiàn)一些值得我們注意的一些更明顯的時間模式和一些可能并不明顯的事件之間的聯(lián)系。

我們將概述一下怎么用 Deeplearning4j（一個在JVM上被廣泛應用的深度學習開源數(shù)據(jù)庫）來解決這個問題。Deeplearning4j在模型開發(fā)過程中提供了很多有用的工具：DataVec是一款為ETL（提取-轉(zhuǎn)化-加載）任務準備模型訓練數(shù)據(jù)的集成工具。正如Sqoop為Hadoop加載數(shù)據(jù)，DataVec將數(shù)據(jù)進行清洗、預處理、規(guī)范化與標準化之后將數(shù)據(jù)加載到神經(jīng)網(wǎng)絡。這跟Trifacta’s Wrangler也相似，只不過它更關注二進制數(shù)據(jù)。

開始階段

第一階段包括典型的大數(shù)據(jù)任務和ETL：我們需要收集、移動、儲存、準備、規(guī)范化、矢量話日志。時間跨度的長短是必須被規(guī)定好的。數(shù)據(jù)的轉(zhuǎn)化需要花費一些功夫，這是由于JSON日志、文本日志、還有一些非連續(xù)標注模式都必須被識別并且轉(zhuǎn)化為數(shù)值數(shù)組。DataVec能夠幫助進行轉(zhuǎn)化和規(guī)范化數(shù)據(jù)。在開發(fā)機器學習訓練模型時，數(shù)據(jù)需要分為訓練集和測試集。

訓練神經(jīng)網(wǎng)絡

神經(jīng)網(wǎng)絡的初始訓練需要在訓練數(shù)據(jù)集中進行。

在第一次訓練的時候，你需要調(diào)整一些超參數(shù)以使模型能夠?qū)崿F(xiàn)在數(shù)據(jù)中學習。這個過程需要控制在合理的時間內(nèi)。關于超參數(shù)我們將在之后進行討論。在模型訓練的過程中，你應該以降低錯誤為目標。

但是這可能會出現(xiàn)神經(jīng)網(wǎng)絡模型過度擬合的風險。有過度擬合現(xiàn)象出現(xiàn)的模型往往會在訓練集中的很高的分數(shù)，但是在遇到新的數(shù)據(jù)時就會得出錯誤結(jié)論。用機器學習的語言來說就是它不夠通用化。Deeplearning4J提供正則化的工具和“過早停止”來避免訓練過程中的過度擬合。

神經(jīng)網(wǎng)絡的訓練是最花費時間和耗費硬件的一步。在GPUs上訓練能夠有效的減少訓練時間，尤其是做圖像識別的時候。但是額外的硬件設施就帶來多余的花銷，所以你的深度學習的框架必須能夠有效的利用硬件設施。Azure和亞馬遜等云服務提供了基于GPU的實例，神經(jīng)網(wǎng)絡還可以在異構(gòu)集群上進行訓練。

創(chuàng)建模型

Deeplearning4J提供ModelSerializer來保存訓練模型。訓練模型可以被保存或者是在之后的訓練中被使用或更新。

在執(zhí)行異常檢測的過程中，日志文件的格式需要與訓練模型一致，基于神經(jīng)網(wǎng)絡的輸出結(jié)果，你將會得到是否當前的活動符合正常網(wǎng)絡行為預期的結(jié)論。

代碼示例

遞歸神經(jīng)網(wǎng)絡的結(jié)構(gòu)應該是這樣子的：

MultiLayerConfiguration conf = new NeuralNetConfiguration.Builder(

.seed(123)

.optimizationAlgo(OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT).iterations(1)

.weightInit(WeightInit.XAVIER)

.updater(Updater.NESTEROVS).momentum(0.9)

.learningRate(0.005)

.gradientNormalization(GradientNormalization.ClipElementWiseAbsoluteValue)

.gradientNormalizationThreshold(0.5)

.list()

.layer(0, new GravesLSTM.Builder().activation("tanh").nIn(1).nOut(10).build())

.layer(1, new RnnOutputLayer.Builder(LossFunctions.LossFunction.MCXENT)

.activation("softmax").nIn(10).nOut(numLabelClasses).build())

.pretrain(false).backprop(true).build();

MultiLayerNetwork net = new MultiLayerNetwork(conf);

net.init();

下面解釋一下幾行重要的代碼：

.seed(123)

隨機設置一個種子值對神經(jīng)網(wǎng)絡的權(quán)值進行初始化，以此獲得一個有復驗性的結(jié)果。系數(shù)通常都是被隨機的初始化的，以使我們在調(diào)整其他超參數(shù)時仍獲得一致的結(jié)果。我們需要設定一個種子值，讓我們在調(diào)整和測試的時候能夠用這個隨機的權(quán)值。

.optimizationAlgo(OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT).iterations(1)

決定使用哪個最優(yōu)算法（在這個例子中是隨機梯度下降法）來調(diào)整權(quán)值以提高誤差分數(shù)。你可能不需要對這個進行修改。

.learningRate(0.005)

當我們使用隨機梯度下降法的時候，誤差梯度就被計算出來了。在我們試圖將誤差值減到最小的過程中，權(quán)值也隨之變化。SGD給我們一個讓誤差更小的方向，這個學習效率就決定了我們該在這個方向上邁多大的梯度。如果學習效率太高，你可能是超過了誤差最小值；如果太低，你的訓練可能將會永遠進行。這是一個你需要調(diào)整的超參數(shù)。

四、神經(jīng)網(wǎng)絡相關名詞解釋

很多人認為深度學習很枯燥，大部分情況是因為對深度學習的學術(shù)詞語，特別是專有名詞很困惑，即便對相關從業(yè)者，亦很難深入淺出地解釋這些詞語的含義。 

相信讀過此文的圈友，會對深度學習有個全新的認識，機器人圈希望可以為圈友的深度學習之路起到一些輔助作用。

人工智能，深度學習，機器學習—無論你在做什么，如果你對它不是很了解的話—去學習它。否則的話不用三年你就跟不上時代的潮流了?！R克.庫班

馬克.庫班的這個觀點可能聽起來很極端——但是它所傳達的信息是完全正確的！ 我們正處于一場革命的旋渦之中——一場由大數(shù)據(jù)和計算能力引起的革命。

只需要一分鐘，我們來想象一下，在20世紀初，如果一個人不了解電力，他/她會覺得如何？你會習慣于以某種特定的方式來做事情，日復一日，年復一年，而你周圍的一切事情都在發(fā)生變化，一件需要很多人才能完成的事情僅依靠一個人和電力就可以輕松搞定，而我們今天正以機器學習和深度學習的方式在經(jīng)歷一場相似的旅程。

所以，如果你還沒有探索或理解深度學習的神奇力量——那你應該從今天就開始進入這一領域。

與主題相關的術(shù)語

為了幫助你了解各種術(shù)語，我已經(jīng)將它們分成3組。如果你正在尋找特定術(shù)語，你可以跳到該部分。如果你是這個領域的新手，那我建議你按照我寫的順序來通讀它們。

1.神經(jīng)網(wǎng)絡基礎（Basics of Neural Networks） ——常用激活函數(shù)（Common Activation Functions） 

2.卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks） 

3.循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Networks）

神經(jīng)網(wǎng)絡基礎

1）神經(jīng)元（Neuron） ——就像形成我們大腦基本元素的神經(jīng)元一樣，神經(jīng)元形成神經(jīng)網(wǎng)絡的基本結(jié)構(gòu)。想象一下，當我們得到新信息時我們該怎么做。當我們獲取信息時，我們一般會處理它，然后生成一個輸出。類似地，在神經(jīng)網(wǎng)絡的情況下，神經(jīng)元接收輸入，處理它并產(chǎn)生輸出，而這個輸出被發(fā)送到其他神經(jīng)元用于進一步處理，或者作為最終輸出進行輸出。 

2）權(quán)重（Weights） ——當輸入進入神經(jīng)元時，它會乘以一個權(quán)重。例如，如果一個神經(jīng)元有兩個輸入，則每個輸入將具有分配給它的一個關聯(lián)權(quán)重。我們隨機初始化權(quán)重，并在模型訓練過程中更新這些權(quán)重。訓練后的神經(jīng)網(wǎng)絡對其輸入賦予較高的權(quán)重，這是它認為與不那么重要的輸入相比更為重要的輸入。為零的權(quán)重則表示特定的特征是微不足道的。

讓我們假設輸入為a，并且與其相關聯(lián)的權(quán)重為W1，那么在通過節(jié)點之后，輸入變?yōu)閍 * W1 

3）偏差（Bias） ——除了權(quán)重之外，另一個被應用于輸入的線性分量被稱為偏差。它被加到權(quán)重與輸入相乘的結(jié)果中?；旧咸砑悠畹哪康氖莵砀淖儥?quán)重與輸入相乘所得結(jié)果的范圍的。添加偏差后，結(jié)果將看起來像a* W1 +偏差。這是輸入變換的最終線性分量。

4）激活函數(shù)（Activation Function） ——一旦將線性分量應用于輸入，將會需要應用一個非線性函數(shù)。這通過將激活函數(shù)應用于線性組合來完成。激活函數(shù)將輸入信號轉(zhuǎn)換為輸出信號。應用激活函數(shù)后的輸出看起來像f（a * W1 + b），其中f（）就是激活函數(shù)。

在下圖中，我們將“n”個輸入給定為X1到Xn而與其相應的權(quán)重為Wk1到Wkn。我們有一個給定值為bk的偏差。權(quán)重首先乘以與其對應的輸入，然后與偏差加在一起。而這個值叫做u。

U =ΣW* X+ b

激活函數(shù)被應用于u，即 f(u)，并且我們會從神經(jīng)元接收最終輸出，如yk = f（u）。

常用的激活函數(shù)  

最常用的激活函數(shù)就是Sigmoid，ReLU和softmax

a）Sigmoid ——最常用的激活函數(shù)之一是Sigmoid，它被定義為： 

Sigmoid變換產(chǎn)生一個值為0到1之間更平滑的范圍。我們可能需要觀察在輸入值略有變化時輸出值中發(fā)生的變化。光滑的曲線使我們能夠做到這一點，因此優(yōu)于階躍函數(shù)。

b）ReLU（整流線性單位） ——與Sigmoid函數(shù)不同的是，最近的網(wǎng)絡更喜歡使用ReLu激活函數(shù)來處理隱藏層。該函數(shù)定義為： 

當X>0時，函數(shù)的輸出值為X；當X<=0時，輸出值為0。函數(shù)圖如下圖所示： 

使用ReLU函數(shù)的最主要的好處是對于大于0的所有輸入來說，它都有一個不變的導數(shù)值。常數(shù)導數(shù)值有助于網(wǎng)絡訓練進行得更快。

c） Softmax ——Softmax激活函數(shù)通常用于輸出層，用于分類問題。它與sigmoid函數(shù)是很類似的，唯一的區(qū)別就是輸出被歸一化為總和為1。Sigmoid函數(shù)將發(fā)揮作用以防我們有一個二進制輸出，但是如果我們有一個多類分類問題，softmax函數(shù)使為每個類分配值這種操作變得相當簡單，而這可以將其解釋為概率。

以這種方式來操作的話，我們很容易看到——假設你正在嘗試識別一個可能看起來像8的6。該函數(shù)將為每個數(shù)字分配值如下。我們可以很容易地看出，最高概率被分配給6，而下一個最高概率分配給8，依此類推……

5）神經(jīng)網(wǎng)絡（Neural Network） ——神經(jīng)網(wǎng)絡構(gòu)成了深度學習的支柱。神經(jīng)網(wǎng)絡的目標是找到一個未知函數(shù)的近似值。它由相互聯(lián)系的神經(jīng)元形成。這些神經(jīng)元具有權(quán)重和在網(wǎng)絡訓練期間根據(jù)錯誤來進行更新的偏差。激活函數(shù)將非線性變換置于線性組合，而這個線性組合稍后會生成輸出。激活的神經(jīng)元的組合會給出輸出值。

一個很好的神經(jīng)網(wǎng)絡定義——

“神經(jīng)網(wǎng)絡由許多相互關聯(lián)的概念化的人造神經(jīng)元組成，它們之間傳遞相互數(shù)據(jù)，并且具有根據(jù)網(wǎng)絡”經(jīng)驗“調(diào)整的相關權(quán)重。神經(jīng)元具有激活閾值，如果通過其相關權(quán)重的組合和傳遞給他們的數(shù)據(jù)滿足這個閾值的話，其將被解雇;發(fā)射神經(jīng)元的組合導致“學習”。

6）輸入/輸出/隱藏層（Input / Output / Hidden Layer） ——正如它們名字所代表的那樣，輸入層是接收輸入那一層，本質(zhì)上是網(wǎng)絡的第一層。而輸出層是生成輸出的那一層，也可以說是網(wǎng)絡的最終層。處理層是網(wǎng)絡中的隱藏層。這些隱藏層是對傳入數(shù)據(jù)執(zhí)行特定任務并將其生成的輸出傳遞到下一層的那些層。輸入和輸出層是我們可見的，而中間層則是隱藏的。

7）MLP（多層感知器） ——單個神經(jīng)元將無法執(zhí)行高度復雜的任務。因此，我們使用堆棧的神經(jīng)元來生成我們所需要的輸出。在最簡單的網(wǎng)絡中，我們將有一個輸入層、一個隱藏層和一個輸出層。每個層都有多個神經(jīng)元，并且每個層中的所有神經(jīng)元都連接到下一層的所有神經(jīng)元。這些網(wǎng)絡也可以被稱為完全連接的網(wǎng)絡。 

8）正向傳播（Forward Propagation） ——正向傳播是指輸入通過隱藏層到輸出層的運動。在正向傳播中，信息沿著一個單一方向前進。輸入層將輸入提供給隱藏層，然后生成輸出。這過程中是沒有反向運動的。

9）成本函數(shù)（Cost Function） ——當我們建立一個網(wǎng)絡時，網(wǎng)絡試圖將輸出預測得盡可能靠近實際值。我們使用成本/損失函數(shù)來衡量網(wǎng)絡的準確性。而成本或損失函數(shù)會在發(fā)生錯誤時嘗試懲罰網(wǎng)絡。

我們在運行網(wǎng)絡時的目標是提高我們的預測精度并減少誤差，從而最大限度地降低成本。最優(yōu)化的輸出是那些成本或損失函數(shù)值最小的輸出。

如果我將成本函數(shù)定義為均方誤差，則可以寫為：

C= 1/m ∑(y–a)^2，

其中m是訓練輸入的數(shù)量，a是預測值，y是該特定示例的實際值。

學習過程圍繞最小化成本來進行。

10）梯度下降（Gradient Descent） ——梯度下降是一種最小化成本的優(yōu)化算法。要直觀地想一想，在爬山的時候，你應該會采取小步驟，一步一步走下來，而不是一下子跳下來。因此，我們所做的就是，如果我們從一個點x開始，我們向下移動一點，即Δh，并將我們的位置更新為x-Δh，并且我們繼續(xù)保持一致，直到達到底部?？紤]最低成本點。

在數(shù)學上，為了找到函數(shù)的局部最小值，我們通常采取與函數(shù)梯度的負數(shù)成比例的步長。

11）學習率（Learning Rate） ——學習率被定義為每次迭代中成本函數(shù)中最小化的量。簡單來說，我們下降到成本函數(shù)的最小值的速率是學習率。我們應該非常仔細地選擇學習率，因為它不應該是非常大的，以至于最佳解決方案被錯過，也不應該非常低，以至于網(wǎng)絡需要融合。

12）反向傳播（Backpropagation） ——當我們定義神經(jīng)網(wǎng)絡時，我們?yōu)槲覀兊墓?jié)點分配隨機權(quán)重和偏差值。一旦我們收到單次迭代的輸出，我們就可以計算出網(wǎng)絡的錯誤。然后將該錯誤與成本函數(shù)的梯度一起反饋給網(wǎng)絡以更新網(wǎng)絡的權(quán)重。 最后更新這些權(quán)重，以便減少后續(xù)迭代中的錯誤。使用成本函數(shù)的梯度的權(quán)重的更新被稱為反向傳播。

在反向傳播中，網(wǎng)絡的運動是向后的，錯誤隨著梯度從外層通過隱藏層流回，權(quán)重被更新。

13）批次（Batches） ——在訓練神經(jīng)網(wǎng)絡的同時，不用一次發(fā)送整個輸入，我們將輸入分成幾個隨機大小相等的塊。與整個數(shù)據(jù)集一次性饋送到網(wǎng)絡時建立的模型相比，批量訓練數(shù)據(jù)使得模型更加廣義化。

14）周期（Epochs） ——周期被定義為向前和向后傳播中所有批次的單次訓練迭代。這意味著1個周期是整個輸入數(shù)據(jù)的單次向前和向后傳遞。

你可以選擇你用來訓練網(wǎng)絡的周期數(shù)量，更多的周期將顯示出更高的網(wǎng)絡準確性，然而，網(wǎng)絡融合也需要更長的時間。另外，你必須注意，如果周期數(shù)太高，網(wǎng)絡可能會過度擬合。

15）丟棄（Dropout） ——Dropout是一種正則化技術(shù)，可防止網(wǎng)絡過度擬合套。顧名思義，在訓練期間，隱藏層中的一定數(shù)量的神經(jīng)元被隨機地丟棄。這意味著訓練發(fā)生在神經(jīng)網(wǎng)絡的不同組合的神經(jīng)網(wǎng)絡的幾個架構(gòu)上。你可以將Dropout視為一種綜合技術(shù)，然后將多個網(wǎng)絡的輸出用于產(chǎn)生最終輸出。

16）批量歸一化（Batch Normalization） ——作為一個概念，批量歸一化可以被認為是我們在河流中設定為特定檢查點的水壩。這樣做是為了確保數(shù)據(jù)的分發(fā)與希望獲得的下一層相同。當我們訓練神經(jīng)網(wǎng)絡時，權(quán)重在梯度下降的每個步驟之后都會改變，這會改變數(shù)據(jù)的形狀如何發(fā)送到下一層。

但是下一層預期分布類似于之前所看到的分布。 所以我們在將數(shù)據(jù)發(fā)送到下一層之前明確規(guī)范化數(shù)據(jù)。

17）濾波器（Filters） ——CNN中的濾波器與加權(quán)矩陣一樣，它與輸入圖像的一部分相乘以產(chǎn)生一個回旋輸出。我們假設有一個大小為28 * 28的圖像，我們隨機分配一個大小為3 * 3的濾波器，然后與圖像不同的3 * 3部分相乘，形成所謂的卷積輸出。濾波器尺寸通常小于原始圖像尺寸。在成本最小化的反向傳播期間，濾波器值被更新為重量值。

參考一下下圖，這里filter是一個3 * 3矩陣：

與圖像的每個3 * 3部分相乘以形成卷積特征。

18）卷積神經(jīng)網(wǎng)絡（CNN） ——卷積神經(jīng)網(wǎng)絡基本上應用于圖像數(shù)據(jù)。假設我們有一個輸入的大?。?8 * 28 * 3），如果我們使用正常的神經(jīng)網(wǎng)絡，將有2352（28 * 28 * 3）參數(shù)。并且隨著圖像的大小增加參數(shù)的數(shù)量變得非常大。我們“卷積”圖像以減少參數(shù)數(shù)量（如上面濾波器定義所示）。當我們將濾波器滑動到輸入體積的寬度和高度時，將產(chǎn)生一個二維激活圖，給出該濾波器在每個位置的輸出。我們將沿深度尺寸堆疊這些激活圖，并產(chǎn)生輸出量。

你可以看到下面的圖，以獲得更清晰的印象。

19）池化（Pooling） ——通常在卷積層之間定期引入池層。這基本上是為了減少一些參數(shù)，并防止過度擬合。最常見的池化類型是使用MAX操作的濾波器尺寸（2,2）的池層。它會做的是，它將占用原始圖像的每個4 * 4矩陣的最大值。

你還可以使用其他操作（如平均池）進行池化，但是最大池數(shù)量在實踐中表現(xiàn)更好。

20）填充（Padding） ——填充是指在圖像之間添加額外的零層，以使輸出圖像的大小與輸入相同。這被稱為相同的填充。

在應用濾波器之后，在相同填充的情況下，卷積層具有等于實際圖像的大小。

有效填充是指將圖像保持為具有實際或“有效”的圖像的所有像素。在這種情況下，在應用濾波器之后，輸出的長度和寬度的大小在每個卷積層處不斷減小。

21）數(shù)據(jù)增強（Data Augmentation） ——數(shù)據(jù)增強是指從給定數(shù)據(jù)導出的新數(shù)據(jù)的添加，這可能被證明對預測有益。例如，如果你使光線變亮，可能更容易在較暗的圖像中看到貓，或者例如，數(shù)字識別中的9可能會稍微傾斜或旋轉(zhuǎn)。在這種情況下，旋轉(zhuǎn)將解決問題并提高我們的模型的準確性。通過旋轉(zhuǎn)或增亮，我們正在提高數(shù)據(jù)的質(zhì)量。這被稱為數(shù)據(jù)增強。

循環(huán)神經(jīng)網(wǎng)絡

22）循環(huán)神經(jīng)元（Recurrent Neuron） ——循環(huán)神經(jīng)元是在T時間內(nèi)將神經(jīng)元的輸出發(fā)送回給它。如果你看圖，輸出將返回輸入t次。展開的神經(jīng)元看起來像連接在一起的t個不同的神經(jīng)元。這個神經(jīng)元的基本優(yōu)點是它給出了更廣義的輸出。

23）循環(huán)神經(jīng)網(wǎng)絡（RNN） ——循環(huán)神經(jīng)網(wǎng)絡特別用于順序數(shù)據(jù)，其中先前的輸出用于預測下一個輸出。在這種情況下，網(wǎng)絡中有循環(huán)。隱藏神經(jīng)元內(nèi)的循環(huán)使他們能夠存儲有關前一個單詞的信息一段時間，以便能夠預測輸出。隱藏層的輸出在t時間戳內(nèi)再次發(fā)送到隱藏層。展開的神經(jīng)元看起來像上圖。只有在完成所有的時間戳后，循環(huán)神經(jīng)元的輸出才能進入下一層。發(fā)送的輸出更廣泛，以前的信息保留的時間也較長。

然后根據(jù)展開的網(wǎng)絡將錯誤反向傳播以更新權(quán)重。這被稱為通過時間的反向傳播（BPTT）。

24）消失梯度問題（Vanishing Gradient Problem） ——激活函數(shù)的梯度非常小的情況下會出現(xiàn)消失梯度問題。在權(quán)重乘以這些低梯度時的反向傳播過程中，它們往往變得非常小，并且隨著網(wǎng)絡進一步深入而“消失”。這使得神經(jīng)網(wǎng)絡忘記了長距離依賴。這對循環(huán)神經(jīng)網(wǎng)絡來說是一個問題，長期依賴對于網(wǎng)絡來說是非常重要的。

這可以通過使用不具有小梯度的激活函數(shù)ReLu來解決。

25）激增梯度問題（Exploding Gradient Problem） ——這與消失的梯度問題完全相反，激活函數(shù)的梯度過大。在反向傳播期間，它使特定節(jié)點的權(quán)重相對于其他節(jié)點的權(quán)重非常高，這使得它們不重要。這可以通過剪切梯度來輕松解決，使其不超過一定值。

以上就是關于神經(jīng)網(wǎng)絡的概念相關問題的回答。希望能幫到你，如有更多相關問題，您也可以聯(lián)系我們的客服進行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。

推薦閱讀：

腰椎間盤突出壓迫神經(jīng)腿疼怎么治（腰椎間盤突出壓迫神經(jīng)腿疼怎么治中藥）

神經(jīng)網(wǎng)絡基礎（神經(jīng)網(wǎng)絡基礎知識）

如何設計卷積神經(jīng)網(wǎng)絡（如何設計卷積神經(jīng)網(wǎng)絡方案）

openai自動代碼生成器（openapi3.0 自動生成api文檔）

杭州初新文化傳媒（杭州初新文化傳媒有限公司怎么樣）