近代科学社

強化学習を使った最適化手法をゼロから理解する！
Pythonによる問題解決シリーズ第3巻
『最適化のための強化学習』
発行

　インプレスグループで理工学分野の専門書出版事業を手掛ける株式会社近代科学社は、2024年9月30日に、『最適化のための強化学習』（監修：久保 幹雄、著者：小林 和博）を発行いたしました。

内容紹介

　本書では、強化学習における基本的な考え方や計算手法を紹介し、実際にPythonを用いて実現する方法をまとめている。具体的にはマルコフ決定過程、価値関数、方策評価、方策反復、価値反復、モンテカルロ評価、SARSA、Q学習を扱う。ほとんどの内容は簡単な数学の知識があれば問題なく理解できるよう記述し、読者の学びやすさを優先して繰り返しの説明や既出の数式を再掲するなど工夫している。Pythonの基礎から強化学習の利用までを詳細に解説した充実の一冊。

著者紹介

小林 和博（こばやし かずひろ）
2003 年3 月　慶應義塾大学大学院文学研究科前期博士課程修了
1998年 東京大学工学部計数工学科卒業　
2000年 東京大学大学院工学系研究科計数工学専攻修士課程修了，修士（工学）
2009年 博士（理学）
現在青山学院大学理工学部准教授
 
主要著書
『サプライチェーンリスク管理と人道支援ロジスティクス』（共著），近代科学社(2015)
『航海応用力学の基礎』（共著），成山堂書店(2015)
『Python言語によるビジネスアナリティクス|実務家のための最適化・統計解析・機械習』（共著），近代科学社(2016)
『最適化問題入門』（Pythonによる問題解決シリーズ2），近代科学社(2020)

目次

第1章　Pythonで強化学習を行うための環境構築
1.1 オンラインサービスを利用する方法
1.2 手元のコンピュータに実行環境を整える方法
1.3 パッケージのインストール
1.4 実行環境

第2章　Pythonの基礎
2.1 データ構造
2.2 科学技術計算パッケージNumPy
2.3 条件分岐
2.4 繰り返し処理
2.5 擬似乱数生成パッケージrandom
2.6 可視化ライブラリMatplotlib
2.7 関数
2.8 内包表記

第3章　強化学習の概要

第4章　マルコフ決定過程
4.1 マルコフ性
4.2 推移確率行列
4.3 マルコフ過程
4.4 マルコフ報酬過程
4.5 リターン
4.6 価値関数
4.7 方策
4.8 マルコフ決定過程

第5章　動的計画
5.1 例1: 整数の和
5.2 例2: 最短路問題
5.3 動的計画による価値関数の評価
5.4 方策評価
5.5 方策改善
5.6 方策反復
5.7 価値反復

第6章　モンテカルロ学習
6.1 全幅探索とサンプル探索
6.2 モンテカルロ方策評価
6.3 First-visit モンテカルロ方策評価
6.4 Every-visit モンテカルロ方策評価
6.5 平均の増分計算

第7章　Temporal Difference学習
7.1 TD(0)学習
7.2 オンポリシー学習とオフポリシー学習
7.3 オンポリシーモンテカルロ学習
7.4 オンポリシーTD学習―SARSA
7.5 オフポリシーTD学習―Q 学習

【株式会社 近代科学社】

株式会社近代科学社（本社：東京都千代田区、代表取締役社長：大塚浩昭）は、1959年創立。
数学・数理科学・情報科学・情報工学を基軸とする学術専門書や、理工学系の大学向け教科書等、理工学専門分野を広くカバーする出版事業を展開しています。自然科学の基礎的な知識に留まらず、その高度な活用が要求される現代のニーズに応えるべく、古典から最新の学際分野まで幅広く扱っています。また、主要学会・協会や著名研究機関と連携し、世界標準となる学問レベルを追求しています。

【インプレスグループ】

株式会社インプレスホールディングス（本社：東京都千代田区、代表取締役：松本大輔、証券コード：東証スタンダード市場9479）を持株会社とするメディアグループ。
「IT」「音楽」「デザイン」「山岳・自然」「航空・鉄道」「モバイルサービス」「学術・理工学」を主要テーマに専門性の高いメディア&サービスおよびソリューション事業を展開しています。さらに、コンテンツビジネスのプラットフォーム開発・運営も手がけています。

【お問い合わせ先】

株式会社近代科学社
TEL : 03-6837-4828
電子メール: reader@kindaikagaku.co.jp