忙于項目，看了一些理論書籍，總感覺霧里看花，為了能有點動力，我準備寫一些總結。
1 機器學習問題表示
變量y與輸入x之間存在一定的關系，即存在二維聯合概率密度F（x，y）
機器學習根據m個獨立，同分布觀測樣本求出一個最優函數y=f（x，a），使預測的期望風險最小
R（a）= |Q（y，f（x，a））dF（x，y），其中Q（y，f（x，a））是f（x，a）與y之間的損失函數
2 經驗風險最小化
由于并不知道F（x，y），所以無法利用期望風險來求f（x，a），但根據大數定理的思想，可以用算術平均代替數學期望 Remp（a）= 1/m（Q（yi，f（xi，a））+......），使樣本均值最小求出f（x，a）中參數a
3 最小均值方法
求經驗風險最小可以看做是最佳擬合問題，E = （yi-f（xi，a））**2+ ..........
在調整權值時需要這樣一個算法：在有了新的訓練樣本時可以在原來的基礎上進一步精化權值。對于每一個訓練樣例，它把權值向減少誤差的方向略為調整。這個算法可以看做對可能的假設權值空間進行隨機的梯度下降搜索。權值w更新方式為：w<--w+l（yi - f（xi，a））xi
4函數集的vc維
函數集Q（z，a）vc維等于能夠用該函數集以所有可能的2**k種方式分成不同兩類的向量z1，z2....最大數目。越復雜的函數vc維越高。
期望風險R（a ）== 經驗風險Remp（a）+sqr（h/m），可見vc維增加會導致期望風險增加。
5結構風險最小化
min（經驗風險Remp（a）+sqr（h/m））
6支持向量機
svm的基本思想是通過事先選擇的線性或非線性的映射將輸入向量映射到高維特征空間中，在這個空間中利用了最優化理論和泛化性理論，同時引入了超平面的概念（減少vc維），來構造最優決策函數，并巧妙地利用核函數來代替高維特征空間的點積運算，從而避免了復雜的計算。
7貝葉斯決策
設要識別的對象有d中特征測量值x1，x2.....xd，每種特征都是一個隨機變量。
設gi（x）為對應i類的風險函數，利用先驗概率，相應的分類規則為：
如果gi（x）>gj（x），i，j = 1，2，...c， j!= i，則x屬于第i類，決策面方程為 gi（x）= gj（x）
8分類與聚類
分類：樣本已知所屬類別，求出分類函數，對新的樣本進行識別
聚類：樣本無類別，根據其分布距離進行分類
9線性分類器
定義一個準則函數J（w，x），w是分類器參數，它的最小值對應著最優解。得到梯度法迭代公式：
w（k+1）= w（k）-p（△J）
因為判別函數g（x）滿足：
g(x)>0 x∈w
g(x)<0 x!∈w
準則函數有最小平方誤差，最小錯分類等。
10聚類
相似性測度：歐式距離，馬氏距離，明氏距離，夾角余弦
散布準則：類內散布，類間散布，總散布
求解過程是聚類中心點迭代
11特征抽取和選擇
選擇：選取要使用的特征
抽取：利用選擇出來的特征進行降維變換
抽取方法有線性變換，主成分分析的最佳矩陣變換，