前言

學(xué)習(xí)算法一直以來是機(jī)器學(xué)習(xí)能根據(jù)數(shù)據(jù)學(xué)到知識的核心技術(shù)。而好的優(yōu)化算法可以大大提高學(xué)習(xí)速度，加快算法的收斂速度和效果。本文從淺層模型到深度模型縱覽監(jiān)督學(xué)習(xí)中常用的優(yōu)化算法，并指出了每一種優(yōu)化算法的優(yōu)點及局限性，同時其還包括了一階和二階等各種算法的形式化表達(dá)。

本文旨在介紹關(guān)于將最優(yōu)化方法應(yīng)用于機(jī)器學(xué)習(xí)的關(guān)鍵模型、算法、以及一些開放性問題。這篇博文適合有一定知識儲備的讀者，尤其是那些熟悉基礎(chǔ)優(yōu)化算法但是不了解機(jī)器學(xué)習(xí)的讀者。首先，我們推導(dǎo)出一個監(jiān)督學(xué)習(xí)問題的公式，并說明它是如何基于上下文和基本假設(shè)產(chǎn)生各種優(yōu)化問題。然后，我們討論這些優(yōu)化問題的一些顯著特征，重點討論 logistic 回歸和深層神經(jīng)網(wǎng)絡(luò)訓(xùn)練的案例。

本文的后半部分重點介紹幾種優(yōu)化算法，首先是凸 logistic 回歸，然后討論一階方法，包括了隨機(jī)梯度法（SGD）、方差縮減隨機(jī)方法（variance reducing stochastic method）和二階方法的使用。最后，我們將討論如何將這些方法應(yīng)用于深層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，并著重描述這些模型的復(fù)雜非凸結(jié)構(gòu)所帶來的困難。

1 引言

在過去二十年里，機(jī)器學(xué)習(xí)這一迷人的算法領(lǐng)域幾乎以史無前例的速度崛起。機(jī)器學(xué)習(xí)以統(tǒng)計學(xué)和計算機(jī)科學(xué)為基礎(chǔ)，以數(shù)學(xué)優(yōu)化方法為核心。事實上，近來優(yōu)化方法研究領(lǐng)域中的許多最新理論和實際進(jìn)展都受到了機(jī)器學(xué)習(xí)和其它數(shù)據(jù)驅(qū)動的學(xué)科的影響。然而即使有這些聯(lián)系，統(tǒng)計學(xué)、計算機(jī)科學(xué)和致力于機(jī)器學(xué)習(xí)相關(guān)問題的優(yōu)化方法研究之間仍存在許多障礙。因此本文試圖概述機(jī)器學(xué)習(xí)學(xué)習(xí)算法而打破這種障礙。

本文的目的是給出與機(jī)器學(xué)習(xí)領(lǐng)域相關(guān)的一些關(guān)鍵問題和研究問題的概述。考慮到涉及運籌學(xué)領(lǐng)域的知識，我們假設(shè)讀者熟悉基本的優(yōu)化方法理論，但是仍將引入

總結(jié)

以上是生活随笔為你收集整理的深度学习核心技术精讲100篇（二十八）-由浅入深概览机器学习优化算法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。