【深層学習】GPT-3 ①-1 モデルと Sparse Transformer について【ディープラーニングの世界vol.39】#124 #VRアカデミア #DeepLearning

GPT-3 全部解説します！
①概要編 ← 今日はここ！(の前半)　モデルについて！
②限界 & 研究テーマ編
③社会的影響編

次回：Zero-Shot, One-Shot, Few-Shot の原理、背景と性能です！

▼参考文献
Brown, Tom B., et al. "Language models are few-shot learners." arXiv preprint arXiv:2005.14165 (2020).
https://arxiv.org/abs/2005.14165
原論文！　濃厚！　超長いです。
読むのは、プロ以外、、そこまで、、、おすすめしません、、、、、、（笑）

【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7
いろいろこれを参考にして動画を作っています

▼目次
00:00 OP
01:27 1.GPT-3とは
05:34 2.モデルとデータ
11:59 Sparse Transformer とは何か？
16:25 GPT-3のモデル全体像

▼終わりに
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ！
お仕事、コラボのご依頼は、公式 WebPage や TwitterのDMからお願い致します。

AIcia Solid Project - Official Website - https://sites.google.com/view/aicia-official/top
動画生成：AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ )
動画編集：AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ )

=======

Logo: TEICAさん ( https://twitter.com/T_E_I_C_A )
Model: http://3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( https://twitter.com/W01fa )