ディープラーニング 学習する機械～ヤン・ルカン、人工知能を語る～ 1 の読書メモ．畳み込みニューラルネットワークの第一人者による書籍であり，何か得られるものがあるであろう（小並感）というモチベーションで読み始めた．
所感
ディープラーニングを中心に，人工知能（AI）及び著者の歴史，AI の現在のトレンド，及び AI の今後の課題について示されている．AI の議論についていくために速習する教材として適切であると感じた．また，一般向けの書籍であるがきっちり論文も引用されており，AI を活用している技術者にとって非常に勉強になる．また，著者の研究のモチベーションはニューラルネットワーク，ひいては知能へのあくなき探究心にあることを文章を通してひしひし感じた．なお，物事に取り組む際「なぜ？」という問いはよく聞かれるものであるが，本当に真剣に取り組むと回答が論理を逸脱した一種の「狂気」になるのかもしれない．著者は以下のとおり記載している．
われながら思うのであるが，もし私にありあまる信念と無鉄砲さが備わっていなければ，ひたすらニューラルネットワークの開発に打ち込み，神経科学がその助けになるはずだと信じ続けることなどできなかったに違いない（P.370 より）
引用（気になった部分）
どうして線形演算と非線形演算を交互に行うのだろうか？すべての層が線形の場合，全体の演算は複数の線形演算を組み合わせたものになる．しかし，その組み合わせはひとつの線形演算と等価なもので，これでは層を重ねた意味がまったくなくなる．線形ネットワークは線形関数しか計算できない（P.167 より）
ニューラルネットワークの各層で非線形演算をする理由を示した部分．言われれば当たり前であるが，かなり重要な事項である（そして悲しいことに言われるまで明示的に気づいていなかった…）．入力を $\boldsymbol{x}$，第一層の出力を $\boldsymbol{y}$，第二層の出力を $\boldsymbol{z}$ とする．これらが全て線形演算から成立するとした場合，行列 $\boldsymbol{U}, \boldsymbol{V}$ を用いて $\boldsymbol{y} = \boldsymbol{U} \boldsymbol{x}$ 及び$ \boldsymbol{z} = \boldsymbol{V} \boldsymbol{y}$ と書けるため， $\boldsymbol{z} = \boldsymbol{W}\boldsymbol{x}, \boldsymbol{W} = \boldsymbol{VU}$ が得られる．したがって線形演算の場合，多層にしても表現の幅は広がらない．
人間や動物は，さまざまな方法を組み合わせて学習する．人工知能の研究者は，それらの方法を機会に試そうとしている．私の仮説によれば，人間の知識の大半（基本的な部分）は自己教師あり学習によって習得される（P.308 より）
著者は AI を今後発展させる上で自己教師あり学習の重要性を説いており，それなりのページ数を割いている．今後 AI に関するトピックスを確認する際に頭に入れておきたい事項である．なお，著者は自己教師あり学習の重要性をフォレノワールというケーキを使って例えて説明すること（Lecun のケーキ）が知られている．
-
Yann Lecun（松尾豊・監訳 小川浩一・訳）, “ディープラーニング 学習する機械～ヤン・ルカン、人工知能を語る～” 講談社, 2021/10/21．↩
