WERについて(00:10:45 - 00:12:50) - 【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning

WERについて(00:10:45 - 00:12:50)
【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning

動画内の tanh はシグモイド関数σの誤りでした🙇‍♀️
動画内の誤り一覧 http://bit.ly/error_asp

▼テーマ
2010年頃から盛んに研究されはじめた、自然言語処理 (Natural Language Processing / NLP) へのディープラーニングへの応用です。
RNN から始まり、近年の attention 機構を利用した Transformer や BERT へ向けた...
動画内の tanh はシグモイド関数σの誤りでした🙇‍♀️
動画内の誤り一覧 http://bit.ly/error_asp

▼テーマ
2010年頃から盛んに研究されはじめた、自然言語処理 (Natural Language Processing / NLP) へのディープラーニングへの応用です。
RNN から始まり、近年の attention 機構を利用した Transformer や BERT へ向けた動画の旅を始めます。

▼関連動画
RNN についてよくわからない方はこちら!
https://www.youtube.com/watch?v=NJdrYvYgaPM&list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP&index=8

▼関連プレイリスト
Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP

自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR

▼目次
00:00 OP
==== 1.RNNLM ====
01:12 RNNLMとは
03:40 RNNLM以前の時代について
==== 2.精度(in 2020) ====
04:23 どんなタスクを解いたのか?
05:55 どれくらい精度が上がったか?
06:48 PPLについて
10:45 WERについて
12:50 結局RNNLMは何が凄いの?
==== 3.モデル====
13:39 モデルの紹介
16:36 どんな数式で動いているか?
19:25 原論文の小話
20:19 本日のまとめ
=========
20:34 ED

▼参考文献
Mikolov, Tomas, et al. “Recurrent Neural Network Based Language Model.” INTERSPEECH, 2010, pp. 1045–1048.
http://noel.feld.cvut.cz/gacr0811/publ/MIK10a.pdf
今回の原論文です。 Deep Learning の黎明期、まだ connectionism と呼ばれていた時代の考察です。
歴史的背景も知れて面白いです。

▼終わりに
ご視聴ありがとうございました!
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ!
お仕事、コラボのご依頼は、TwitterのDMからお願い致します。
動画生成:AIcia Solid (Twitter: )
動画編集:AIris Solid (妹) (Twitter: )
=======
Logo: TEICAさん ( )
Model: http://3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( )
OP==== 1.RNNLM ==== - 【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning

OP==== 1.RNNLM ====

【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning
2021年01月08日 
00:00:00 - 00:01:12
RNNLMとは - 【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning

RNNLMとは

【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning
2021年01月08日 
00:01:12 - 00:03:40
RNNLM以前の時代について==== 2.精度(in 2020) ==== - 【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning

RNNLM以前の時代について==== 2.精度(in 2020) ====

【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning
2021年01月08日 
00:03:40 - 00:04:23
どんなタスクを解いたのか? - 【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning

どんなタスクを解いたのか?

【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning
2021年01月08日 
00:04:23 - 00:05:55
どれくらい精度が上がったか? - 【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning

どれくらい精度が上がったか?

【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning
2021年01月08日 
00:05:55 - 00:06:48
PPLについて - 【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning

PPLについて

【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning
2021年01月08日 
00:06:48 - 00:10:45
WERについて - 【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning

WERについて

【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning
2021年01月08日 
00:10:45 - 00:12:50
結局RNNLMは何が凄いの?==== 3.モデル==== - 【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning

結局RNNLMは何が凄いの?==== 3.モデル====

【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning
2021年01月08日 
00:12:50 - 00:13:39
モデルの紹介 - 【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning

モデルの紹介

【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning
2021年01月08日 
00:13:39 - 00:16:36
どんな数式で動いているか? - 【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning

どんな数式で動いているか?

【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning
2021年01月08日 
00:16:36 - 00:19:25
原論文の小話 - 【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning

原論文の小話

【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning
2021年01月08日 
00:19:25 - 00:20:19
教師強制とは違うんかな - 【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning

教師強制とは違うんかな

【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning
2021年01月08日 
00:20:00 - 00:21:15
本日のまとめ========= - 【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning

本日のまとめ=========

【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning
2021年01月08日 
00:20:19 - 00:20:34
ED - 【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning

ED

【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning
2021年01月08日 
00:20:34 - 00:21:15

AIcia Solid Project

📋 #AIciart

※本サイトに掲載されているチャンネル情報や動画情報はYouTube公式のAPIを使って取得・表示しています。

Timetable

動画タイムテーブル

動画数:291件

オープニング - 【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning

オープニング

【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning
2024年02月25日 
00:00:00 - 00:00:42
価値反復法とは - 【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning

価値反復法とは

【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning
2024年02月25日 
00:00:42 - 00:03:25
今の状況のおさらい - 【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning

今の状況のおさらい

【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning
2024年02月25日 
00:03:25 - 00:04:47
復習 - 【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning

復習

【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning
2024年02月25日 
00:04:47 - 00:07:31
ベルマン最適作用素 - 【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning

ベルマン最適作用素

【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning
2024年02月25日 
00:07:31 - 00:12:48
最適方策を計算 - 【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning

最適方策を計算

【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning
2024年02月25日 
00:12:48 - 00:15:18
まとめ - 【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning

まとめ

【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning
2024年02月25日 
00:15:18 - 00:17:37
エンディング - 【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning

エンディング

【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning
2024年02月25日 
00:17:37 - 00:18:58