- 【Deep Learning研修(発展)】系列データモデリング (RNN / LSTM / Transformer) 第11回「BERT, T5」

【Deep Learning研修(発展)】系列データモデリング (RNN / LSTM / Transformer) 第11回「BERT, T5」

【Deep Learning研修(発展)】( https://www.youtube.com/playlist?list=PLbtqZvaoOVPA-keirzqx2wzpujxE-fzyt )はディープラーニング・機械学習に関する発展的な話題を幅広く紹介する研修動画シリーズです。Neural Network Consoleチャンネル(https://www.youtube.com/c/NeuralNetworkConsole/ )でもディープラーニ...
【Deep Learning研修(発展)】( https://www.youtube.com/playlist?list=PLbtqZvaoOVPA-keirzqx2wzpujxE-fzyt )はディープラーニング・機械学習に関する発展的な話題を幅広く紹介する研修動画シリーズです。Neural Network Consoleチャンネル(https://www.youtube.com/c/NeuralNetworkConsole/ )でもディープラーニングに関するより基礎的な内容の解説動画を公開しておりますので、ぜひそちらも御覧ください。

本動画は「系列データモデリング」の第11回の動画です。本動画では、BERTを中心に、その構造や仕組み、そしてその関連手法を説明していきます。


[スライド5] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
https://arxiv.org/abs/1810.04805

[スライド5, BookCorpus] Aligning Books and Movies: Towards Story-like Visual Explanations by Watching Movies and Reading Books
https://arxiv.org/abs/1506.06724

[スライド13] Understanding searches better than ever before
https://blog.google/products/search/search-language-understanding-bert/

[スライド14] What Does BERT Look At? An Analysis of BERT's Attention
https://arxiv.org/abs/1906.04341

[スライド14, BERTology] A Primer in BERTology: What we know about how BERT works
https://arxiv.org/abs/2002.12327

[スライド15] RoBERTa: A Robustly Optimized BERT Pretraining Approach
https://arxiv.org/abs/1907.11692

[スライド17] Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
https://arxiv.org/abs/1910.10683

[スライド18, CNN/DM] Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond
https://arxiv.org/abs/1602.06023

[参考文献] 事前学習済言語モデルの動向
https://speakerdeck.com/kyoun/survey-of-pretrained-language-models-f6319c84-a3bc-42ed-b7b9-05e2588b12c7

[参考文献] 自然言語処理の最新技術動向紹介
https://www.slideshare.net/techblogyahoo/ss-240525674

--
ソニーが提供するオープンソースのディープラーニング(深層学習)フレームワークソフトウェアのNeural Network Libraries( https://nnabla.org/​, https://github.com/sony/nnabla/​ )に関連する情報を紹介する動画チャンネルを開設しました( https://www.youtube.com/c/nnabla )。Neural Network Librariesのチュートリアル・Tipsに加え、最先端のディープラーニングの技術情報(講義、最先端論文紹介)などを発信していきます。チャンネル登録と応援よろしくおねがいします!

同じくソニーが提供する直感的なGUIベースの深層学習開発環境のNeural Network Console( https://dl.sony.com/ )が発信する大人気のYouTubeチャンネル( https://www.youtube.com/c/NeuralNetworkConsole/ )でもディープラーニングの技術講座やツールのチュートリアルを多数公開しています。こちらもチャンネル登録と応援よろしくおねがいします。

nnabla ディープラーニングチャンネル

※本サイトに掲載されているチャンネル情報や動画情報はYouTube公式のAPIを使って取得・表示しています。

Timetable

動画タイムテーブル

動画数:221件

事前学習 - 【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~

事前学習

【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~
2023年11月30日 
00:00:00 - 00:10:47
結果パート「GANベースのADM」--> 「Diffusion ModelのADM」です - 【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~

結果パート「GANベースのADM」--> 「Diffusion ModelのADM」です

【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~
2023年11月30日  @nnabla 様 
00:03:12 - 00:04:25
右側の論文タイトルは「Pre-training Vision Transformers with Very Limited Synthesized Images」-->「SegRCDB: Semantic Segmentation via Formula-Driven Supervised Learning」です - 【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~

右側の論文タイトルは「Pre-training Vision Transformers with Very Limited Synthesized Images」-->「SegRCDB: Semantic Segmentation via Formula-Driven Supervised Learning」です

【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~
2023年11月30日  @nnabla 様 
00:04:25 - 00:45:55
Finetuning, adaptor, prompting - 【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~

Finetuning, adaptor, prompting

【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~
2023年11月30日 
00:10:47 - 00:15:44
人認識(ロバスト性とドメイン汎化性) - 【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~

人認識(ロバスト性とドメイン汎化性)

【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~
2023年11月30日 
00:15:44 - 00:20:43
人認識(新しいタスクとデータセット) - 【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~

人認識(新しいタスクとデータセット)

【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~
2023年11月30日 
00:20:43 - 00:23:37
人認識(一貫性) - 【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~

人認識(一貫性)

【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~
2023年11月30日 
00:23:37 - 00:28:45
3D認識(シーン依存型) - 【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~

3D認識(シーン依存型)

【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~
2023年11月30日 
00:28:45 - 00:36:48
3D認識(シーン非依存型) - 【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~

3D認識(シーン非依存型)

【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~
2023年11月30日 
00:36:48 - 00:45:15
まとめ - 【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~

まとめ

【学会聴講報告】ICCV2023からみるVisionトレンド Part3 ~表現学習,人認識,3D表現編~
2023年11月30日 
00:45:15 - 00:45:55
効率の良いアーキテクチャ - 【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~

効率の良いアーキテクチャ

【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~
2023年11月27日 
00:00:00 - 00:07:53
Pruningと量子化 - 【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~

Pruningと量子化

【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~
2023年11月27日 
00:07:53 - 00:14:13
データを使わない・限られた量のデータを用いた量子化とプルーニングの手法が近年提案されています - 【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~

データを使わない・限られた量のデータを用いた量子化とプルーニングの手法が近年提案されています

【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~
2023年11月27日 
00:08:14 - 00:14:20
Lowレベルと物理ベースコンピュータビジョン - 【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~

Lowレベルと物理ベースコンピュータビジョン

【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~
2023年11月27日 
00:14:13 - 00:16:32
AOセンサ向け低ビット量子化の論文を紹介します - 【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~

AOセンサ向け低ビット量子化の論文を紹介します

【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~
2023年11月27日 
00:14:20 - 00:15:34
Graphics2RAW, GlowGANはそれぞれ以下の論文です.Graphics2RAW: Mapping Computer Graphics Images to Sensor RAW ImagesGlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild - 【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~

Graphics2RAW, GlowGANはそれぞれ以下の論文です.Graphics2RAW: Mapping Computer Graphics Images to Sensor RAW ImagesGlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild

【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~
2023年11月27日 
00:15:34 - 00:00:00
Neural architecture search (supernet編) - 【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~

Neural architecture search (supernet編)

【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~
2023年11月27日 
00:16:32 - 00:25:55
Neural architecture search (スケーラブル・動的なアーキテクチャ編) - 【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~

Neural architecture search (スケーラブル・動的なアーキテクチャ編)

【学会聴講報告】ICCV2023からみるVisionトレンド Part2 ~効率の良い深層学習モデル編~
2023年11月27日 
00:25:55 - 00:31:39
- Intro - 【ICML2022】離散と連続のハイブリッド!新しい生成モデル "SQVAE"を紹介 | Sony's Research Minds

- Intro

【ICML2022】離散と連続のハイブリッド!新しい生成モデル "SQVAE"を紹介 | Sony's Research Minds
2023年10月30日 
00:00:00 - 00:01:46
- SQVAEの紹介 - 【ICML2022】離散と連続のハイブリッド!新しい生成モデル "SQVAE"を紹介 | Sony's Research Minds

- SQVAEの紹介

【ICML2022】離散と連続のハイブリッド!新しい生成モデル "SQVAE"を紹介 | Sony's Research Minds
2023年10月30日 
00:01:46 - 00:37:31
- Outro - 【ICML2022】離散と連続のハイブリッド!新しい生成モデル "SQVAE"を紹介 | Sony's Research Minds

- Outro

【ICML2022】離散と連続のハイブリッド!新しい生成モデル "SQVAE"を紹介 | Sony's Research Minds
2023年10月30日 
00:37:31 - 00:38:48