イントロダクション(00:00:00 - 00:01:11) - 【nnablaRLアルゴリズム解説】Deep Q-Network (DQN)

イントロダクション(00:00:00 - 00:01:11)
【nnablaRLアルゴリズム解説】Deep Q-Network (DQN)

nnablaRLアルゴリズム解説は、Neural Network Librariesを利用して強化学習を実行するためのライブラリ、nnablaRLを使うにあたり、必要となる強化学習の各アルゴリズムの概要などを説明していく動画です。

今回はシリーズの第2回として、Deep Q-Network (DQN) について説明しました。
DQNのアルゴリズムの概要やnnablaR...
nnablaRLアルゴリズム解説は、Neural Network Librariesを利用して強化学習を実行するためのライブラリ、nnablaRLを使うにあたり、必要となる強化学習の各アルゴリズムの概要などを説明していく動画です。

今回はシリーズの第2回として、Deep Q-Network (DQN) について説明しました。
DQNのアルゴリズムの概要やnnablaRLでDQNを使うための方法を紹介します。

nnabla-rlのプロジェクトページはこちら:https://github.com/sony/nnabla-rl

00:00 イントロダクション
01:11 Deep Q-Network (DQN) とは何か?
10:42 nnablaRLでDQNを利用する方法は?

【参考文献】
・V. Mnih et al., “Human-level control through deep reinforcement learning”, nature, 518(7540):529–533, 2015 https://www.nature.com/articles/nature14236
・H. van Hasselt et al., “Deep Reinforcement Learning with Double Q-learning.”, AAAI 2016 https://arxiv.org/pdf/1509.06461.pdf
・R.S.Sutton and A. G. Barto “Reinforcement Learning: An Introduction.”, The MIT press, Cambridge MA. 1998​

--
ソニーが提供するオープンソースのディープラーニング(深層学習)フレームワークソフトウェアのNeural Network Libraries( https://nnabla.org/, https://github.com/sony/nnabla/ )に関連する情報を紹介する動画チャンネルを開設しました( https://www.youtube.com/c/nnabla )。Neural Network Librariesのチュートリアル・Tipsに加え、最先端のディープラーニングの技術情報(講義、最先端論文紹介)などを発信していきます。チャンネル登録と応援よろしくおねがいします!

同じくソニーが提供する直感的なGUIベースの深層学習開発環境のNeural Network Console( https://dl.sony.com/ )が発信する大人気のYouTubeチャンネル( https://www.youtube.com/channel/UCRTV5p4JsXV3YTdYpTJECRA )でもディープラーニングの技術講座やツールのチュートリアルを多数公開しています。こちらもチャンネル登録と応援よろしくおねがいします。

nnabla ディープラーニングチャンネル

※本サイトに掲載されているチャンネル情報や動画情報はYouTube公式のAPIを使って取得・表示しています。

Timetable

動画タイムテーブル

動画数:221件

事前学習 - 【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~

事前学習

【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~
2023年11月30日 
00:00:00 - 00:10:47
結果パート「GANベースのADM」--> 「Diffusion ModelのADM」です - 【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~

結果パート「GANベースのADM」--> 「Diffusion ModelのADM」です

【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~
2023年11月30日  @nnabla 様 
00:03:12 - 00:04:25
右側の論文タイトルは「Pre-training Vision Transformers with Very Limited Synthesized Images」-->「SegRCDB: Semantic Segmentation via Formula-Driven Supervised Learning」です - 【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~

右側の論文タイトルは「Pre-training Vision Transformers with Very Limited Synthesized Images」-->「SegRCDB: Semantic Segmentation via Formula-Driven Supervised Learning」です

【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~
2023年11月30日  @nnabla 様 
00:04:25 - 00:45:55
Finetuning, adaptor, prompting - 【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~

Finetuning, adaptor, prompting

【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~
2023年11月30日 
00:10:47 - 00:15:44
人認識(ロバスト性とドメイン汎化性) - 【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~

人認識(ロバスト性とドメイン汎化性)

【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~
2023年11月30日 
00:15:44 - 00:20:43
人認識(新しいタスクとデータセット) - 【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~

人認識(新しいタスクとデータセット)

【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~
2023年11月30日 
00:20:43 - 00:23:37
人認識(一貫性) - 【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~

人認識(一貫性)

【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~
2023年11月30日 
00:23:37 - 00:28:45
3D認識(シーン依存型) - 【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~

3D認識(シーン依存型)

【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~
2023年11月30日 
00:28:45 - 00:36:48
3D認識(シーン非依存型) - 【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~

3D認識(シーン非依存型)

【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~
2023年11月30日 
00:36:48 - 00:45:15
まとめ - 【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~

まとめ

【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~
2023年11月30日 
00:45:15 - 00:45:55
効率の良いアーキテクチャ - 【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~

効率の良いアーキテクチャ

【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~
2023年11月27日 
00:00:00 - 00:07:53
Pruningと量子化 - 【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~

Pruningと量子化

【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~
2023年11月27日 
00:07:53 - 00:14:13
データを使わない・限られた量のデータを用いた量子化とプルーニングの手法が近年提案されています - 【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~

データを使わない・限られた量のデータを用いた量子化とプルーニングの手法が近年提案されています

【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~
2023年11月27日 
00:08:14 - 00:14:20
Lowレベルと物理ベースコンピュータビジョン - 【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~

Lowレベルと物理ベースコンピュータビジョン

【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~
2023年11月27日 
00:14:13 - 00:16:32
AOセンサ向け低ビット量子化の論文を紹介します - 【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~

AOセンサ向け低ビット量子化の論文を紹介します

【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~
2023年11月27日 
00:14:20 - 00:15:34
Graphics2RAW, GlowGANはそれぞれ以下の論文です.Graphics2RAW: Mapping Computer Graphics Images to Sensor RAW ImagesGlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild - 【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~

Graphics2RAW, GlowGANはそれぞれ以下の論文です.Graphics2RAW: Mapping Computer Graphics Images to Sensor RAW ImagesGlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild

【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~
2023年11月27日 
00:15:34 - 00:00:00
Neural architecture search (supernet編) - 【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~

Neural architecture search (supernet編)

【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~
2023年11月27日 
00:16:32 - 00:25:55
Neural architecture search (スケーラブル・動的なアーキテクチャ編) - 【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~

Neural architecture search (スケーラブル・動的なアーキテクチャ編)

【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~
2023年11月27日 
00:25:55 - 00:31:39
- Intro - 【ICML2022】離散と連続のハイブリッド!新しい生成モデル "SQVAE"を紹介 | Sony's Research Minds

- Intro

【ICML2022】離散と連続のハイブリッド!新しい生成モデル "SQVAE"を紹介 | Sony's Research Minds
2023年10月30日 
00:00:00 - 00:01:46
- SQVAEの紹介 - 【ICML2022】離散と連続のハイブリッド!新しい生成モデル "SQVAE"を紹介 | Sony's Research Minds

- SQVAEの紹介

【ICML2022】離散と連続のハイブリッド!新しい生成モデル "SQVAE"を紹介 | Sony's Research Minds
2023年10月30日 
00:01:46 - 00:37:31
- Outro - 【ICML2022】離散と連続のハイブリッド!新しい生成モデル "SQVAE"を紹介 | Sony's Research Minds

- Outro

【ICML2022】離散と連続のハイブリッド!新しい生成モデル "SQVAE"を紹介 | Sony's Research Minds
2023年10月30日 
00:37:31 - 00:38:48