全書總評
- 書本印刷質量:5星。紙張很白,印刷清楚,文字排版合適,基本沒有排版過程中引入的錯誤,閱讀不累眼睛。
- 著作編寫質量:3星。入門書,看完后可能會對神經網絡有個基本概念,但是也可能就只有個基本概念?;靖拍蠲枋鲞€是清楚的,還給出了比較好的參考資料。幾個例子講的很淺,好處就是提供了代碼,如果有開發方向的需要可以參考。深入學習神經網絡還是參考《神經網絡和機器學習》這本書吧。
- 著作翻譯質量:4星。用的都是常用詞匯。對于不了解神經網絡的讀者,通過本書了解一些基本概念,為將來學習其他書籍打下基礎;對于了解神經網絡的讀者不會造成概念混淆。
- 代碼質量:3星?;緵]錯誤,但是思路跟書上不完全匹配。比如說:感知機一般都是單層的,就是一個神經元,一個偏置量,兩個輸入的值,一個輸出的值,兩個權值。但是作者在測試代碼中放入兩個輸入權值,一個輸出權值,不明白,后面都是這樣的思路,于是只好棄了。
讀書筆記
C1.初識神經網絡
基本概念:人工神經元,激活函數,權值,偏置,層。
神經網絡結構:
- 神經元連接
- 單層神經網絡:單層感知機,自適應機,自組織映射、Elman網絡和Hopfield網絡。
- 多層神經網絡:多層感知機,徑向基函數。
- 信號流
- 前饋神經網絡:多層感知機,徑向基函數。
- 反饋神經網絡:單層的(Elman網絡和Hopfield網絡)和多層的(遞歸多層感知機和Echo網絡)。
C2.神經網絡是如何學習的
學習范式:
- 有監督學習:
- 描述:已知的數據集與學習得到的結果之間的誤差最小,最小的評價基于某個代價函數。
- 應用:圖像分類,語音識別,函數逼近和趨勢預測。
- 無監督學習:
- 描述:從已知的數據集提取知識,即將數據集分類,類間距離大,類內距離小,評價基于某個代價函數。
- 應用:聚類分析,數據壓縮,統計建模和語言建模。
學習算法:
- 兩個階段:訓練和測試。
- 重要細節:參數。
- 評價方式:誤差度量和代價函數。
- 例子:Perceptron 感知機和Delta規則。
C3.有監督學習(運用感知機)
- 單層感知機的作用和局限性:解決線性可分問題,不能解決非線性問題。
- 多層感知機(MLP):
- 層:
- 輸入層:
- 隱藏層:激活函數一般選擇雙曲正切或者sigmoid,因為它們是可導的。
- 輸出層:
- 學習過程:
- 反向傳播:敏感性反向傳播。收斂速度比較慢。
- Levenberg-Marquardt:
C4.無監督學習(自組織映射)
- 競爭學習或贏家通吃:產生最大值的神經元更新它的權值。
- Kohonen自組織映射(Self-Organization Map):
- 一維SOM:產生最大值的神經元更新它的權值,與之相鄰的神經元以相對較低的學習率更新權值。
- 二維SOM:領域函數判斷相鄰的神經元,使結構更“組織化”。
Rreferences(參考文獻)
Bishop C M. Neural networks for pattern recognition[M]. Oxford university press, 1995. Duda R O, Hart P E, Stork D G. Unsupervised learning and clustering[J]. Pattern classification, 2001: 517-601. Freedman D A. Statistical models: theory and practice[M]. cambridge university press, 2009. Haykin S S, Haykin S S, Haykin S S, et al. Neural networks and learning machines[M]. Upper Saddle River: Pearson, 2009.