機器學習(Machine Learning, ML)的目的是根據給定的訓練樣本求對某系統輸入輸出之間依賴關系的估計，使它（這種關系）能夠對未知輸出做出盡可能準確地預測。機器學習至今沒有一個精確的公認的定義。作為人工智能(Artificial Intelligence, AI)的一個重要研究領域，ML的研究工作主要圍繞學習機理、學習方法和面向任務這三個基本方面進行研究。模式識別、函數逼近和概率密度估計是三類基本的ML問題。

從數學的角度來考慮，機器學習問題就是已知n個獨立同分布的觀測樣本，在同一組預測函數中求一個最優的函數對依賴關系進行估計，使期望風險R[f]最小。損失函數是評價預測準確程度的一種度量，它與預測函數f(x)密切相關。而f(x)的期望風險依賴于概率分布和損失函數，前者是客觀存在的，后者是根據具體問題選定的，帶有（主觀的）人為的或偏好色彩。期望風險的大小直觀上可以理解為，當我們用f(x)進行預測時，“平均”的損失程度，或“平均”犯錯誤的程度。

但是，只有樣本卻無法計算期望風險，因此，傳統的學習方法用樣本定義經驗風險Remp[f]作為對期望風險的估計，并設計學習算法使之最小化。即所謂的經驗風險最小化(Empirical Risk Minimization, ERM)歸納原則。經驗風險是用損失函數來計算的。對于模式識別問題的損失函數來說，經驗風險就是訓練樣本錯誤率；對于函數逼近問題的損失函數來說，就是平方訓練誤差；而對于概率密度估計問題的損失函數來說，ERM準則就等價于最大似然法。事實上，用ERM準則代替期望風險最小化并沒有經過充分的理論論證，只是直觀上合理的想當然做法。也就是說，經驗風險最小不一定意味著期望風險最小。其實，只有樣本數目趨近于無窮大時，經驗風險才有可能趨近于期望風險。但是很多問題中樣本數目離無窮大很遠，那么在有限樣本下ERM準則就不一定能使真實風險較小啦。ERM準則不成功的一個例子就是神經網絡的過學習問題（某些情況下，訓練誤差過小反而導致推廣能力下降，或者說是訓練誤差過小導致了預測錯誤率的增加，即真實風險的增加）。

統計學習理論(Statistical Learning Theory, SLT)和支持向量機(Support Vector Machine, SVM)建立了一套較好的有限訓練樣本下機器學習的理論框架和通用方法，既有嚴格的理論基礎，又能較好地解決小樣本、非線性、高維數和局部極小點等實際問題，其核心思想就是學習機器（又叫預測函數，或學習函數，或學習模型）F要與有限的訓練樣本相適應。在學習算法中需要選擇恰當的F，這里的關鍵因素是F的大小，或者F的豐富程度，或者說F的“表達能力”，VC維(Vapnik-Chervonenkis Dimension)就是對這種“表達能力”的一種描述。

VC維的定義如下：對于一個指示函數集，如果存在h個樣本能夠被函數集中的函數按所有可能的2的h次冪種形式分開，則稱函數集能夠把h個樣本都打散，h的最大值就是函數集的VC維。VC維是SLT中的一個重要概念，它是函數集學習性能的重要指標。目前尚沒有通用的關于任意函數集VC維計算的理論，只知道一些特殊的函數集的VC維。比如，在n維空間中線性分類器和線性實函數的VC維是 n+1，而 f(x,a) = sin(ax) 的VC維則為無窮大。對于給定的學習函數集，如何（用理論或實驗的方法）計算其VC維是當前統計學習理論中有待研究的一個問題。

由上文可知，在有限樣本情況下，僅僅用ERM來近似期望風險是行不通的。統計學習理論給出了期望風險 R[f] 與經驗風險 Remp[f] 之間關系：R[f] <= ( Remp[f] + e )。其中 e = g(h/n) 為置信區間，e 是VC維 h 的增函數，也是樣本數n的減函數。右端稱為結構風險，它是期望風險 R[f] 的一個上界。經驗風險的最小依賴較大的 F （樣本數較多的函數集）中某個 f 的選擇，但是 F 較大，則VC維較大，就導致置信區間 e 變大，所以要想使期望風險 R[f] 最小，必須選擇合適的 h 和 n 來使不等式右邊的結構風險最小，這就是結構風險最小化(Structural Risk Minimization, SRM)歸納原則。實現SRM的思路之一就是設計函數集的某種結構使每個子集中都能取得最小的經驗風險（如使訓練誤差為0），然后只需選擇適當的子集使置信范圍最小，則這個子集中使經驗風險最小的函數就是最優函數。SVM方法實際上就是這種思想的具體實現。

SVM是一種基于統計的學習方法，它是對SRM的近似。概括地說，SVM就是首先通過用內積函數定義的非線性變換將輸入空間變換到一個高維空間，然后再在這個空間中求（廣義）最優分類面的分類方法。