Week2

Multivariate Linear Regression

Gradient Descent For Multiple Variables

パラメータが適切にスケーリングされてないと、コスト関数の等高線が細長い楕円になって、最急降下法を使った収束に時間がかかる。

Computiong Parameters Analytically

Normal Equation

線形回帰の Normal Equation(正規方程式)について - Qiitaに導出方法が書いてある。

最急降下法の計算量がO(kn^2)、正規方程式の計算量がO(n^3)。
特徴量nが1万を超えたら最急降下法を使ったほうがよい。

Week4

Programming Assignment

1.4 One-vs-all Classification

手書きの数字の分類。データのyには1から10の数字が入っている。 コスト関数を計算する時は、例えばy == 1を使って、1が入っているデータは1、それ以外は0のデータセットを作る。

2 Neural Networks

ここでは与えられたシータを使って、予測しているだけ

Week5

Cost Function

neural networkのコスト関数

$$ \begin{gather*} J(\Theta) = - \frac{1}{m} \sum_{i=1}^m \sum_{k=1}^K \left[y^{(i)}_k \log ((h_\Theta (x^{(i)}))_k) + (1 - y^{(i)}_k)\log (1 - (h_\Theta(x^{(i)}))_k)\right] + \frac{\lambda}{2m}\sum_{l=1}^{L-1} \sum_{i=1}^{s_l} \sum_{j=1}^{s_{l+1}} ( \Theta_{j,i}^{(l)})^2\end{gather*} $$

Week6

Using Large Data Sets

It’s not who has the best algorithm that wins. It’s who has the most data.

Week7

SVM parameters

C (=1/λ)

Large C: Lower bias, high variance
Small C: Higher bias, low variance

σ^2

Large σ^2: fがスムーズになるので、Higher bias,, lower variance
Small σ^2: fが急になるので、Lower bias, higher variance

Week8

svd: singular value decomposition

Octave

インストール

Homebrew

$ brew tap homebrew/science
$ brew install octave

SourceForge

起動

GUIで起動

$ octave

CUIで起動

$ octave --no-gui

Vim

補完