【深層学習】BERT - 実務家必修。実務で超応用されまくっている自然言語処理モデル【ディープラーニングの世界vol.32】#110 #VRアカデミア #DeepLearning

自然言語処理の超最強モデル、BERT くんです。
実務で NLP で困ったら、とりあえず BERT 使っておけばいいと思います。
実世界で一番利用されているモデルじゃないでしょうか。（マスターの会社でも2020年前半頃から実運用しています）

========

5:55頃に誤りがあります！ V_between は 2N^2 ではなく単に N^2 で割ってください！

動画内の誤り一覧 http://bit.ly/error_asp

========

☆お知らせ☆
AIcia Solid Project 公式HPが出来ました！！！
https://sites.google.com/view/aicia-official/top
HPでは私たちや動画コンテンツの紹介、板書データの公開などをしています。是非ご活用ください！！

▼関連動画
Transformer の動画はこちら！ https://www.youtube.com/watch?v=50XvMaWhiTY
忙しい人向け → https://www.youtube.com/watch?v=FFoLqib6u-0

Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP

自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR

▼目次
公開後追加予定！

▼参考文献
Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding." arXiv preprint arXiv:1810.04805 (2018).
https://arxiv.org/abs/1810.04805
原論文！
2年前、Transformer論文の次にコレを読んで、「Transformer と何が違うの、、、？」と混乱した思い出があります。
時代背景やこの論文の主張をわかった上で読んだらとても読みやすいと思います！(^o^)

BERTによる自然言語処理入門: Transformersを使った実践プログラミング
https://amzn.to/3iaFdsX
使いたいときはこれ読むとよいと思います！！

【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7
いろいろこれを参考にして動画を作っています

▼終わりに
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ！
お仕事、コラボのご依頼は、TwitterのDMからお願い致します。
動画生成：AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ )
動画編集：AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ )
=======
Logo: TEICAさん ( https://twitter.com/T_E_I_C_A )
Model: http://3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( https://twitter.com/W01fa )