積読していたものの一つである西川徹、岡野原大輔, 『Learn or Die 死ぬ気で学べプリファードネットワークスの挑戦』,KADOKAWA(2020) (Preferred Networksの書籍紹介のlink)を読むことにした.

私がこの本を読む理由はPFNの価値基準を知りたいためであり,読んでいる中で自分の中でも大切にしたいと思ったことを本記事にてまとめる.

1. 本の概略

この本ではPFNの理念や近年の深層学習の動向が述べられている.

2. 私にとって印象深かった内容

以下は私にって印象深かったフレーズでありページ数と私の簡単なコメントを記載する:

p75: 『別に主張しなくてもいいときに無駄なエネルギーを使うことは損』
- 柔軟な発想をもち,つまならないプライドを除去するという考え方で素敵だと感じた.
p118: 『恥を恐れずどんどん質問したり、挑戦していく謙虚さを持つこと』
- 挑戦していく謙虚さという一見矛盾しているワードな気がした. しかし,相手にリスペクトをもち挑戦するという大切な思想で奥が深いワードだと再認識できた.
p168: 『ハードウェアとソフトウェアの連携の重要性』
- これはいくつかのページで語られていたが,今後はこれら両方を思想を持つことの大切さを再認識できた.
p183: 『すぐに意思決定し、解決することが重要』
- これは, 1.や2. の考え方と根本的には似ている思想で大切にしたいと思う.
p213: 『トップカンファレンス』についての話
- 戦うためにまず立たなければならない場所を明確に設定していて素敵だと感じた. ここには立ちたいという強い意志をもって自分も行動していきたいと感じた.
p239: 『大人になって必要に迫られた際、学習できる環境』
- この本のタイトルにもある通り学び続ける意思や楽しさを日々感じながら生活したいと感じた.

本書のp191で『PFN自体についても、サステイナブルな企業にすることは非常に重要だ。』とあるが,本書ではあまり述べれていなかった点であるため,本記事ではそちらについて補足し,私の見解を述べる.

現在よく使われている深層学習モデルはパラメータ数が莫大に多いため計算量が大きく,使用上の懸念点として環境への悪影響の度合いがある.

allAi.jp,『AIは環境を守るのか破壊するのか？』,アクセス日 2022/12/10 (記事のリンク)によると,ハードウェアや分散型のシステム等の工夫で環境への負荷を軽減できることが紹介されていた.

それでも,やはり電力的な負荷が多く,使用するユーザはこれを認識するする必要があるのではないかと改めて感じる.

というのも,使用する分には簡単に使用でき, chatgptやdeepl, youtubeなど, 日々私たちが使うほとんどのアプリケーションでも裏では多くの計算が回っているからだ.

使用する分には簡単だが,裏ではさまざまな苦労や労力が強いられている状況は計算資源だけではなく, ファストファッションの問題や 2022年のカタールW杯の労働環境など随所で見られる光景でもある.

このようなことを考慮するためには深層学習に限らず,全ての資源は有限であることを認識し現状ある資源を大切するという根本の思想が大切だと感じる.

もちろん, 無駄にしてしまった資源や失敗してしまったものは覆水盆に返らない.

そのため,現状ある資源を今からいかに大切にしていくかの工夫を考え行動することが大切であると感じる.

その中で自分自身が楽しみをもちつつ学習できたらとても幸せなことだ.

資源を大切することの一つに積読を消化することもあると思う.

今回読んだ本から大切な価値観や今後勉強するべき内容の着想を得られ良かった.