Aidemy-ディープラーニング基礎 - ハードウェア技術者のスキルアップ日誌

今回はAidemyでディープラーニング基礎という講座を受講しました。
ディープラーニングについて無料で学べるのはすごいですね。

MNISTを使い、手書き文字認識のDNNをKeras＋Tensorflowで実現する内容です。
実際にコードを書いて動作をさせることができるので、ディープラーニングの大まかな流れを把握できますが、「ゼロから作るDeep Learning」という書籍の方が説明が詳しく、より深いところまで理解できるように感じました。

Aidemyの講座は概要をまず理解する目的としてはいいと思います。

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

作者: 斎藤康毅
出版社/メーカー: オライリージャパン
発売日: 2016/09/24
メディア: 単行本（ソフトカバー）
この商品を含むブログ (18件) を見る

「ゼロから作るDeep Learning」は数か月前に読んだので復習としてはちょうどよかったかな？
おさらいの意味も込めて勉強した内容をまとめます。

------------------------------------------

〇Kerasでの記述方法

■モデルの生成
①インスタンスの生成

　　from keras.models import Sequential
　　from keras.layers import Dense, Activation

　　model = Sequential()

②全結合層の定義

　　model.add(Dense(128))
　　model.add(Activation("sigmoid"))

③コンパイルメソッドの設定（どのような学習を行うかを設定）

　　model.compile(optimizer=sgd, loss="categorical_crossentropy", metrics=["accuracy"])

■モデルの学習（fitメソッド）
トレーニングデータを順にモデルに入力し、出力と教師データとの間の差が小さくなるよう少しずつ各ニューロンの重みを更新

　　model.fit(X_train, y_train, verbose=1, epochs=3)

　X_train, y_train：トレーニングデータ、教師データ
　verbose：学習の進捗度合いを表示するかしないか
　　　　　 1:表示する, 0:表示しない
　epochs：同じデータセットを使って何回繰り返し学習を行うか

■汎化精度の計算（evaluateメソッド）
損失関数の値と正解率が取得し、出力

score = model.evaluate(X_test, y_test, verbose=1)

　X_test, y_test：評価用 (テスト) の入力データと教師データ

■分類（predictメソッド）

predict(self, x, batch_size=None, verbose=0, steps=None)

　x: 入力データで，Numpy配列の形式。
　batch_size: 整数．指定しなければデフォルトで32
　verbose: 進行状況メッセージ出力モード，0または1。
　steps: 評価ラウンド終了を宣言するまでの総ステップ数（サンプルのバッチ）、デフォルト値のNoneならば無視
　戻り値：予測値を格納したNumpy 配列

〇ハイパーパラメータ

自動で最適値を学習できず、ユーザーが設定する必要があるパラメータ

●ネットワークの構造（隠れ層の数、隠れ層のユニット数）
　　隠れ層の数や隠れ層のユニット数を多くすると、多彩な関数が表現できるようになる
　　多すぎると学習が進みにくい、過学習になりやすくなる

●ドロップアウト
　　ユニットの一部が学習のたびにランダムに削除される
　　ニューラルネットは特定のニューロンの存在に依存できなくなり、汎化性が上がる