RNNとDropoutとバッチ正則化と

2015-2016年あたりに色々論文が出ているらしいのでサーベイしなければならない

• RNNとDropout

時間軸方向にDropoutを行うとよくない。
http://arxiv.org/pdf/1409.2329v5.pdf
http://neuralnet.hatenablog.jp/

但し、ベイズ的な解釈を行うことで時間軸方向のドロップアウトもできて
精度も上がるケースがあるらしい
http://qiita.com/yoh_okuno/items/4bcfbc10dd4d03e19690

A Theoretically Grounded Application of Dropout in Recurrent Neural Networks

https://arxiv.org/abs/1512.05287

• RNNとバッチ正則化

バッチ正則化はRNNには有効ではないという話題にも触れており、他の提案手法の文献も
ある
http://isw3.naist.jp/~neubig/student/2015/seitaro-s/161025neuralnet_study_LSTM.pdf

xavierの初期化

tensorflowでxavierの初期化

weight1_var = tf.get_variable(name="weight1", shape = [num_of_input_nodes, num_of_hidden_nodes],
                             initializer=tf.contrib.layers.xavier_initializer())
weight2_var = tf.get_variable(name="weight2", shape = [num_of_hidden_nodes, num_of_output_nodes],
                             initializer=tf.contrib.layers.xavier_initializer())
bias1_var = tf.get_variable(name="bias1", shape = [num_of_hidden_nodes],
                             initializer=tf.contrib.layers.xavier_initializer())
bias2_var = tf.get_variable(name="bias2", shape = [num_of_output_nodes],
                             initializer=tf.contrib.layers.xavier_initializer())