另一方面，正是在連接主義學習技術的局限性凸顯之后，人們才把目光轉向了以統計學習理論為直接支撐的統計學習技術，事實上，統計學習與連接主義學習有密切的聯系，在支持向量機被普遍接受后，核技巧(kernel trick)被人們用到了機器學習的幾乎每一個角落，核方法也逐漸成為機器學習的基本內容之一．有趣的是，二十一世紀初，連接主義學習又卷土重來，掀起了以“深度學習”為名的熱潮．所謂深度學習，狹義地說就是“很多層”的神經網絡，在若干測試和競賽上，，尤其是涉及語音、圖像等復雜對象的應用中，深度學習技術取得了優越性能．以往機器學習技術在應用中要取得好性能，對使用者的要求較高；而深度學習技術涉及的模型復雜度非常高，以至于只要下工夫“調參”，把參數調節好，性能往往就好，因此，深度學習雖缺乏嚴格的理論基礎，但它顯著降低了機器學習應用者的門檻，為機器學習技術走向工程實踐帶來了便利．那么，它為什么此時才熱起來呢？有兩個基本原因：數據大了、計算能力強了，深度學習模型擁有大量參數，若數據樣本少，則很容易“過擬合”；如此復雜的模型、如此大的數據樣本，若缺乏強力計算設備，根本無法求解．恰由于人類進入了“大數據時代”，數據儲量與計算設備都有了大發展，才使得連接主義學習技術煥發又一春．有趣的是，神經網絡在二十世紀八十年代中期走紅，與當時Intel x86系列微處理器與內存條技術的廣泛應用所造成的計算能力、數據訪存效率比七十年代有顯著提高不無關聯，深度學習此時的狀況，與彼時的神經網絡何其相似，需說明的是，機器學習現在已經發展成為一個相當大的學科領域，本節僅是管中窺豹，很多重要技術都沒有談及，耐心的讀者在讀完本書后會有更全面的了解．?