RSS

「自然言語処理」 - おすすめピックアップ動画

※本サイトに掲載されているチャンネル情報や動画情報はYouTube公式のAPIを使って取得・表示しています。

Videos

動画一覧

動画数:51件

【深層学習】Transformer - Multi-Head Attentionを理解してやろうじゃないの【ディープラーニングの世界vol.28】#106 #VRアカデミア #DeepLearning

【深層学習】Transformer - Multi-Head Attentionを理解してやろうじゃないの【ディープラーニングの世界vol.28】#106 #VRアカデミア #DeepLearning

Transformer のモデル構造とその数理を完全に解説しました。このレベルの解説は他にないんじゃないかってくらい話しました。 結局行列と内積しか使ってないんですよ。すごくないですか? ※行列の転値は、「左上に小文字の t 」という文化で生きています。 ☆お知らせ☆ AIcia Solid Project 公式HPが出来ました!!! https://sites.google.com/view/aicia-official/top HPでは私たちや動画コンテンツの紹介、板書データの公開などをしています。是非ご活用ください!! ▼関連動画 忙しい人向けはこちら → https://www.youtube.com/watch?v=FFoLqib6u-0 Multi-Head Attention は 15:27 から! Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP 自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR ▼目次 公開後追加予定! ▼参考文献 Vaswani, Ashish, et al. "Attention is all you need." arXiv preprint arXiv:1706.03762 (2017). https://arxiv.org/abs/1706.03762 原論文! やや数式は難解ですが、この動画を見終わった後なら読めるはず! 当時の問題意識や、Transformerの売りどころがたくさん書いてあります。 (個AI的には、論文タイトルは、内容の要約であるべきだよなーと思います。意見や感想じゃなくて。) 【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7 いろいろこれを参考にして動画を作っています ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、TwitterのDMからお願い致します。 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2021年07月02日
00:00:00 - 00:39:35
【深層学習】Attention - 全領域に応用され最高精度を叩き出す注意機構の仕組み【ディープラーニングの世界 vol. 24】#095 #VRアカデミア #DeepLearning

【深層学習】Attention - 全領域に応用され最高精度を叩き出す注意機構の仕組み【ディープラーニングの世界 vol. 24】#095 #VRアカデミア #DeepLearning

▼テーマ Transformer や BERT で爆発的な利用を獲得した Attention の祖となるネットワーク RNNsearch について解説します。 Attention は自然言語で GPT-3 の化け物的な精度を出したのみならず、画像や生成モデルなど、超広い領域に応用されています。 今の Deep Learning を語る上では外せない要素! 要チェック! ▼関連プレイリスト Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP 自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR ▼目次 (後で追加します。暫くお待ちください) ▼参考文献 Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural machine translation by jointly learning to align and translate." arXiv preprint arXiv:1409.0473 (2014). https://arxiv.org/abs/1409.0473 原論文です! 当時の歴史も含めて、過度に難解でない感じで書いてあるので、読んでみてもいいかも! 【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7 いろいろこれを参考にして動画を作っています ▼参考動画 RNN の動画 → https://www.youtube.com/watch?v=NJdrYvYgaPM&list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP&index=8 GRU の動画 → https://www.youtube.com/watch?v=K8ktkhAEuLM&list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP&index=10 RNN の3つの使い方(BiGRU のところよくわからなかった人向け) → https://www.youtube.com/watch?v=IcCIu5Gx6uA&list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP&index=9 Bi-LSTM の動画( Bi-GRU の仲間) → https://www.youtube.com/watch?v=O1PCh_aaprE&list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP&index=12 ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、TwitterのDMからお願い致します。 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2021年03月26日
00:00:00 - 00:36:37
【深層学習】GPT - 伝説の始まり。事前学習とファインチューニングによるパラダイムシフト【ディープラーニングの世界vol.31】#109 #VRアカデミア #DeepLearning

【深層学習】GPT - 伝説の始まり。事前学習とファインチューニングによるパラダイムシフト【ディープラーニングの世界vol.31】#109 #VRアカデミア #DeepLearning

GPT-2, GPT-3,... へと続いていく GPT シリーズの1つめです。 事前学習とファインチューニングのパラダイムを決定づけた研究の1つだと思います! ☆お知らせ☆ AIcia Solid Project 公式HPが出来ました!!! https://sites.google.com/view/aicia-official/top HPでは私たちや動画コンテンツの紹介、板書データの公開などをしています。是非ご活用ください!! ▼関連動画 Transformer の動画はこちら! https://www.youtube.com/watch?v=50XvMaWhiTY 忙しい人向け → https://www.youtube.com/watch?v=FFoLqib6u-0 Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP 自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR ▼目次 公開後追加予定! ▼参考文献 Radford, Alec, et al. "Improving language understanding by generative pre-training." (2018). https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf 原論文! 研究者がまだふつーの反応をしていた頃。ある意味貴重な時代! 【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7 いろいろこれを参考にして動画を作っています ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、TwitterのDMからお願い致します。 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2021年07月24日
00:00:00 - 00:25:30
【深層学習】忙しい人のための Transformer と Multi-Head Attention【ディープラーニングの世界 vol.29 】#107 #VRアカデミア #DeepLearning

【深層学習】忙しい人のための Transformer と Multi-Head Attention【ディープラーニングの世界 vol.29 】#107 #VRアカデミア #DeepLearning

忙しくない人向けの完全版はこちら! → https://youtube.com/watch?v=50XvMaWhiTY Transformer とその基幹である Multi-Head Attention を、忙しい人向けに結構なスピード感で解説しました。10分以内部門(?)では最も深く(分かりやすく?)数式の解説をしたものだと思います! (この動画は、完全版の復習に使うのが丁度いいかもしれません) ※行列の転値は、「左上に小文字の t 」という文化で生きています。 ☆お知らせ☆ AIcia Solid Project 公式HPが出来ました!!! https://sites.google.com/view/aicia-official/top HPでは私たちや動画コンテンツの紹介、板書データの公開などをしています。是非ご活用ください!! ▼関連動画 Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP 自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR ▼目次 公開後追加予定! ▼参考文献 Vaswani, Ashish, et al. "Attention is all you need." arXiv preprint arXiv:1706.03762 (2017). https://arxiv.org/abs/1706.03762 原論文! やや数式は難解ですが、この動画を見終わった後なら読めるはず! 当時の問題意識や、Transformerの売りどころがたくさん書いてあります。 (個AI的には、論文タイトルは、内容の要約であるべきだよなーと思います。意見や感想じゃなくて。) 【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7 いろいろこれを参考にして動画を作っています ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、TwitterのDMからお願い致します。 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2021年07月09日
00:00:00 - 00:06:58
【深層学習】word2vec - 単語の意味を機械が理解する仕組み【ディープラーニングの世界 vol. 21】#089 #VRアカデミア #DeepLearning

【深層学習】word2vec - 単語の意味を機械が理解する仕組み【ディープラーニングの世界 vol. 21】#089 #VRアカデミア #DeepLearning

▼テーマ 単語をベクトルで表す単語分散表現の中で最も有名な word2vec の紹介です。 word2vec は4種のアルゴリズムの総称です。 それぞれを丁寧に説明していきます。 ▼関連プレイリスト Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP 自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR ▼目次 00:00 OP ==== 1.単語分散表現 ==== 02:06 1-1 単語分散表現って何? 03:56 1-2 分散表現が得られると何が便利なのか? ==== 2.word2vec ==== 08:31 2-1 引用論文紹介 09:14 2-2 引っかかりポイント①:word2vecは総称 11:45 2-3 CBOWはどんなタスクを解くのか? 14:00 2-4 引っかかりポイント②:目的とやってることのズレ 16:33 2-5 CBOWのモデル解説 20:21 2-6 ここまでのストーリーと残る謎のおさらい 21:51 2-7 学習結果から分散表現を手に入れる 25:40 2-8 ここまでのまとめ 26:54 2-9 skip-gramが解くタスクとモデル解説 30:30 2-10 2つの高速化の手法とアイデア紹介 34:49 2-11 今日のまとめ 36:02 ED ==== 3.なぜ単語の演算ができるのか? ==== ...は次回です! お楽しみに! ▼参考文献 Mikolov, Tomas, et al. "Efficient estimation of word representations in vector space." arXiv preprint arXiv:1301.3781 (2013). https://arxiv.org/abs/1301.3781 現論文はこちら! これを読めば、 word2vec が複数のモデルの総称であることは一目瞭然! Mikolov, Tomas, et al. "Distributed representations of words and phrases and their compositionality." Advances in neural information processing systems 26 (2013): 3111-3119. https://papers.nips.cc/paper/2013/file/9aa42b31882ec039965f3c4923ce901b-Paper.pdf negative sampling について書かれています。 Mikolov さん大活躍ですね Morin, Frederic, and Yoshua Bengio. "Hierarchical probabilistic neural network language model." Aistats. Vol. 5. 2005. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.221.8829&rep=rep1&type=pdf#page=255 Hierarchical Softmax は実は2005年の論文から存在しています。 詳細が知りたい方はこちらをどうぞ! 【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7 シリーズ構成で大変参考にしております。色々まとまってて good です! ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、TwitterのDMからお願い致します。 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2021年01月29日
00:00:00 - 00:36:52
【Pythonプログラミング】MeCabで形態素解析!自然言語処理の第一歩!〜初心者向け〜

【Pythonプログラミング】MeCabで形態素解析!自然言語処理の第一歩!〜初心者向け〜

Pythonプログラミングに関する情報を発信しているサプーです! この動画はMeCabをPythonから使って、形態素解析・わかち書きをする方法を解説しています。オリジナルの辞書を作る方法も詳しく説明しています。 ・形態素解析とは? ・MeCabのインストール ・MeCabの使い方 これらについて説明しています!! 実際にPythonコードを動かして実演しているので、最後まで見てもらえたら嬉しいです😊 💙 メンバーシップ 💙 説明動画 ▶︎ https://youtu.be/-Pc2SAxKSC4 登録 ▶︎ https://www.youtube.com/channel/UC5Kgc_HNzx4GJ-w4QMeeKiQ/join iPhoneの方はこらから ▶︎ https://twitter.com/PythonSuppl/status/1466049000658718729?s=20 💻 動作環境 💻 Windows 10 Python 3.9.0 面白いと思ったらいいねボタン・チャンネル登録をしてくれたら、とってもとっても嬉しいです💕 一緒にプログラミングを勉強していきましょう!! 🐍 参考リンク🐍 Microsoft Visual C++ ▶︎ https://support.microsoft.com/en-us/topic/the-latest-supported-visual-c-downloads-2647da03-1eea-4433-9aff-95f26a218cc0 Windows MeCab インストーラー(64bit) ▶︎ https://github.com/ikegami-yukino/mecab/releases unidicのfeature出力 ▶︎ https://unidic.ninjal.ac.jp/faq ⭐️ チャプター ⭐️ 0:00 今日のテーマ「MeCabをPythonで使う(形態素解析)」 0:26 形態素解析とは? 3:19 MeCabインストール 6:45 MeCabをPythonで使う方法 13:22 オリジナルの辞書を作る 17:48 エンディング 💜 チャンネル説明 💜 Pythonプログラミングについて解説するVtuber サプーです✨ 初心者でも分かりやすく、Pythonを学習できるような動画をアップロードしていきます! みんなが少しでもPythonが好きになってくれたら嬉しいな💕 Twitterもやってるので、フォローお願いします! Twitter ▶︎ https://twitter.com/PythonSuppl メール ▶︎ [email protected] #Python #MeCab #形態素解析 #わかち書き #自然言語処理 #プログラミング #初心者 #入門 #パイソン #PythonVTuberサプー #Python #プログラミング #初心者 #学習 #入門 #パイソン #形態素解析 #MeCab #メカブ #自然言語処理 #機械学習
2021年09月04日
00:00:00 - 00:18:28
Deep Learningで行う自然言語処理入門

Deep Learningで行う自然言語処理入門

この動画では、データの前処理を中心にDeep Learningで自然言語を扱うにあたっての基礎について解説しています。 前回の動画:「物体検出」 https://www.youtube.com/watch?v=5nmVHoA-A2E Deep Learning入門:Recurrent Neural Networksとは https://www.youtube.com/watch?v=yvqgQZIUAKg Deep Learning入門:数式なしで理解するLSTM(Long short-term memory) https://www.youtube.com/watch?v=unE_hofrYrk Deep Learning入門:Attention(注意) https://www.youtube.com/watch?v=g5DSLeJozdw Deep Learning入門:Transfer Learning(転移学習) https://www.youtube.com/watch?v=sEYNDW9KSqc 再生リスト「実践Deep Learning」 https://www.youtube.com/playlist?list=PLg1wtJlhfh20zNXqPYhQXU6-m5SoN-4Eu 再生リスト「Deep Learning 精度向上テクニック」 https://www.youtube.com/playlist?list=PLg1wtJlhfh216rnmSv_oEDuchRjgUqxBi 再生リスト「Deep Learning入門」 https://www.youtube.com/playlist?list=PLg1wtJlhfh23pjdFv4p8kOBYyTRvzseZ3 Neural Network Console https://dl.sony.com/ja/ BGM Liszt - Tarantella #Deep Learning #Neural Network #Neural Network Console #Neural Network Libraries #Sony #AI #深層学習 #ディープラーニング #ニュールネットワーク #ソニー #人工知能 #自然言語処理 #Natural Language Processing #NLP #文章分類 #sentence #classification #機械翻訳 #machine #translation #前処理 #preprocessing #形態素解析 #Morphological analysis #トークナイズ #tokenize #クレンジング #cleaninng #ストップワード #stop words #インデックス化 #indexing
2020年03月19日
00:00:00 - 00:18:57
エクセルで「テキストマイニング」が出来るようになる動画

エクセルで「テキストマイニング」が出来るようになる動画

Excelでテキスト分析(自然言語処理)をやっていきます。 Excelで文字列データを扱うのは結構難しいのですが、テキスト処理専用の関数も色々と用意されており、ある程度の事であれば実行することができます。 【キーワード】 ・表記揺れ対策 ・フリーコメント集計 ・ピポットテーブル
2020年11月28日
00:00:00 - 00:16:36
【深層学習】GNMT - Google翻訳の中身を解説!(2016)【ディープラーニングの世界 vol. 26】#103 #VRアカデミア #DeepLearning

【深層学習】GNMT - Google翻訳の中身を解説!(2016)【ディープラーニングの世界 vol. 26】#103 #VRアカデミア #DeepLearning

☆お知らせ☆ AIcia Solid Project 公式HPが出来ました!!! https://sites.google.com/view/aicia-official/top HPでは私たちや動画コンテンツの紹介、板書データの公開などをしています。是非ご活用ください!! ▼テーマ Google翻訳の中身を解説します! これは2016年時点でのモデルなので、現在はもうちょっと進んだモデルが利用されています。 2021年5月時点では、一部 Transformer も利用されています。その話題にもちょっと触れています! ▼関連動画 Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP 自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR Attention の動画 → https://www.youtube.com/watch?v=bPdyuIebXWM&t=1s RNN の動画(ここから3本) → https://www.youtube.com/watch?v=NJdrYvYgaPM&list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP&index=8 LSTM の動画 → https://www.youtube.com/watch?v=oxygME2UBFc ▼目次 00:00 OP === 1. 時代背景 === 00:44 論文紹介と時代背景 02:10 当時の問題点 === 2. モデル === 04:33 モデルの全体像を掴もう 10:02 Encoder部分の仕組みと工夫 11:47 Decoder部分の仕組みと工夫 13:14 Attention部分の仕組みと工夫 19:01 Decoder部分の更なる工夫に迫る 19:30 BEAM search とは何か? 22:26 工夫①:length normalization 25:05 工夫②:coverage penalty 29:39 Decoder部分の工夫まとめ! === 3.いろんな工夫 === 31:06 やっぱりGoogleは凄かった。 31:28 ①高速化の工夫 34:30 ②レア単語への対応 37:18 ③学習の工夫 39:50 ④モデルの評価 41:22 本日の振り返りタイム 42:21 ED ▼参考文献 [1609.08144] Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation https://arxiv.org/abs/1609.08144 原論文! Production レベルの深層学習がどういうものかがひしひしを伝わってきます。 というか、ここまで細部書けるのは Google 内部にあるデータのおかげなんでしょうね。すごい [1508.07909] Neural Machine Translation of Rare Words with Subword Units https://arxiv.org/abs/1508.07909 サブワード分割についてはこちらの論文に詳しいです! Google AI Blog: Recent Advances in Google Translate https://ai.googleblog.com/2020/06/recent-advances-in-google-translate.html 最近(2021年5月時点)での update はこちら! 【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7 いろいろこれを参考にして動画を作っています ▼原論文との記号の対応 説明の都合上、LSTM cell の入出力で、現論文とは結構記号を変えています。(そして変え方を1箇所ミスしました) ここに対応表を載せておきます。 [原論文] Encoder の i 層目の LSTM セルの t 番目の出力の計算: c^i_t, m^i_t = LSTM_i(c^i_{t-1}, m^i_{t-1}, x^{i-1}_t; W^i) c: context vector m: output vector x: input vector W: parameter [動画] Decoder の j 層目の LSTM セルの i 番目の出力の計算: m^{(j)}_i, y^{(j)}_i = LSTM(m^{(j)}_{i-1}, y^{(j)}_{i-1}, y^{(j-1)}_i, a_i) m: context vector (現論文の c に対応(ここが分かりづらい!)) y: output vector a: attention vector [補足] ・現論文内の数式は Encoder で、動画内の数式は Decoder です。 →そのため、現論文には書いていない attention vector が動画内にはあります。 ・動画ではパラメーターは省略しました ・現論文の Attention の入力に用いられている記号が y だったので、それに合わせるため、動画内の output vector の表記を y に変更しました ・その際、現論文の c を半ば誤って動画では m と表記してしまいました(ここが分かりづらい!) [LSTM動画] ( https://www.youtube.com/watch?v=oxygME2UBFc ) y^{(t)}, h^{(t)}, c^{(t)} = LSTM(x^{(t-1)}, h^{(t-1)}) y: output vector h: hidden vector c: context vector x: input vector ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、TwitterのDMからお願い致します。 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2021年06月04日
00:00:00 - 00:42:59
【自然言語処理】BM25 - tf-idfの進化系の実践類似度分析【Elasticsearch への道②】#085 #VRアカデミア

【自然言語処理】BM25 - tf-idfの進化系の実践類似度分析【Elasticsearch への道②】#085 #VRアカデミア

▼テーマ Elasticsearch でも実践的に利用されている BM25 の紹介です。 数式は複雑に見えますが、 tf-idf を発展させただけでそんなに難しくないです。 次回は、 Elasticsearch に使われている Lucene's Practical Scoring Function を解説します。 ▼関連プレイリスト 自然言語処理系プレイリスト https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR ▼目次 00:00 OP ==== 1.背景,定義 ==== 01:02 BM25の背景 01:30 状況設定と記号の定義 02:41 検索の定式化とBM25の役割 03:35 定義を眺める 04:35 進化した部分を眺める ==== 2.数式の意味 ==== 07:21 ヤバい数式の対処法 08:07 BM25解読開始! 10:13 φの解読(#d=avgdlの場合) 13:10 φの解読(一般の場合) 18:06 bの役割 ========= 19:54 圧倒的まとめっ...! 22:57 ED ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、TwitterのDMからお願い致します。 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2020年12月11日
00:00:00 - 00:23:39
実践Deep Learning:波形データの入出力

実践Deep Learning:波形データの入出力

データの前処理を中心にDeep Learningで自然言語を扱うにあたっての基礎について解説しています。 次の動画:Deep Learningによる波形データの分類と回帰 https://www.youtube.com/watch?v=22Eq_0qADf4 前回の動画:Deep Learningで行う自然言語処理入門 https://www.youtube.com/watch?v=NzuDWpHPLco Deep Learning入門:Recurrent Neural Networksとは https://www.youtube.com/watch?v=yvqgQZIUAKg Deep Learning入門:数式なしで理解するLSTM(Long short-term memory) https://www.youtube.com/watch?v=unE_hofrYrk 実践Deep Learning:セマンティックセグメンテーション https://www.youtube.com/watch?v=Eu7EKQ--Rvk 再生リスト「実践Deep Learning」 https://www.youtube.com/playlist?list=PLg1wtJlhfh20zNXqPYhQXU6-m5SoN-4Eu 再生リスト「Deep Learning 精度向上テクニック」 https://www.youtube.com/playlist?list=PLg1wtJlhfh216rnmSv_oEDuchRjgUqxBi 再生リスト「Deep Learning入門」 https://www.youtube.com/playlist?list=PLg1wtJlhfh23pjdFv4p8kOBYyTRvzseZ3 Neural Network Console https://dl.sony.com/ja/ #Deep Learning #Neural Network #Neural Network Console #Neural Network Libraries #Sony #AI #深層学習 #ディープラーニング #ニュールネットワーク #ソニー #人工知能 #波形データ #waveform #音声データ #オーディオ信号 #audio data #sound data #前処理 #Preprocessing #加速度センサ #accelerometer #振動センサ #vibration sensor #ショートタイムフーリエ変換 #STFT #short-term fourier transform #メル周波数フィルタバンク #MFFB #Mel frequency filter bank
2020年05月18日
00:00:00 - 00:11:54
【深層学習】word2vec の数理 - なぜ単語の計算が可能なのか【ディープラーニングの世界 vol. 22】#090 #VRアカデミア #DeepLearning

【深層学習】word2vec の数理 - なぜ単語の計算が可能なのか【ディープラーニングの世界 vol. 22】#090 #VRアカデミア #DeepLearning

▼テーマ word2vec では、「王」 - 「男」 + 「女」 = 「女王」のような単語の計算ができます。 これがなぜ可能なのか。ガチで数理的に解説します。 ▼関連プレイリスト Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP 自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR ▼参考文献 Mikolov, Tomas, et al. "Efficient estimation of word representations in vector space." arXiv preprint arXiv:1301.3781 (2013). https://arxiv.org/abs/1301.3781 現論文はこちら。ここには数学的原理は書いてありませんが、現論文なので紹介しておきます。 【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7 シリーズ構成で大変参考にしております。色々まとまってて good です! ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、TwitterのDMからお願い致します。 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa ) #機械学習 #深層学習 #word2vec
2021年02月05日
00:00:00 - 00:20:37
【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア

【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア

▼テーマ 単語のベクトル化にも使われる tf-idf です。 検索というテーマを軸に、数式の意味ごと解説しています。 最終的には、 Elasticsearch に使われている Lucene's Practical Scoring Function も解説します。 ▼関連プレイリスト 自然言語処理系プレイリスト https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR ▼目次 00:00 OP ==== 1.背景 ==== 00:43 tf-idfが使われる場面 01:26 tf-idfはどんな問題を解決するのか? ==== 2.定義&意味 ==== 03:34 tf-idfの気持ち 04:23 記法の設定 06:19 tf-idfの定義 06:38 どんな計算なのか 08:11 tfの意味 09:01 idfの意味 10:43 具体例で実際にtf-idfを見てみる 12:41 logの理由 15:09 本日のまとめ 15:52 ED ▼参考文献 ネットでググったらたくさん出ます (^^) ・tf–idf - Wikipedia https://en.wikipedia.org/wiki/Tf%E2%80%93idf 特に、英語 wiki は意外としっかり書いてあるのでおすすめです! ・機械学習・深層学習による自然言語処理入門 (Compass Booksシリーズ) | 中山 光樹 https://amzn.to/3g8lJ5o 基本的な自然言語処理の機械学習手法がコードとともによくまとまっています! 数式系ではなく、実装系なので、手を動かして色々理解できるかも! ・言語処理のための機械学習入門 (自然言語処理シリーズ) | 高村 大也, 学, 奥村 https://amzn.to/3lAEqQl 自然言語処理の古典的な方法論について、特に LDA とその数理的背景についてよくまとまっています。 数式大好き人間は一度読んでみると楽しいと思います。 ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、TwitterのDMからお願い致します。 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2020年12月04日
00:00:00 - 00:16:51
【深層学習】BERT - 実務家必修。実務で超応用されまくっている自然言語処理モデル【ディープラーニングの世界vol.32】#110 #VRアカデミア #DeepLearning

【深層学習】BERT - 実務家必修。実務で超応用されまくっている自然言語処理モデル【ディープラーニングの世界vol.32】#110 #VRアカデミア #DeepLearning

自然言語処理の超最強モデル、BERT くんです。 実務で NLP で困ったら、とりあえず BERT 使っておけばいいと思います。 実世界で一番利用されているモデルじゃないでしょうか。(マスターの会社でも2020年前半頃から実運用しています) ======== 5:55頃に誤りがあります! V_between は 2N^2 ではなく単に N^2 で割ってください! 動画内の誤り一覧 http://bit.ly/error_asp ======== ☆お知らせ☆ AIcia Solid Project 公式HPが出来ました!!! https://sites.google.com/view/aicia-official/top HPでは私たちや動画コンテンツの紹介、板書データの公開などをしています。是非ご活用ください!! ▼関連動画 Transformer の動画はこちら! https://www.youtube.com/watch?v=50XvMaWhiTY 忙しい人向け → https://www.youtube.com/watch?v=FFoLqib6u-0 Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP 自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR ▼目次 公開後追加予定! ▼参考文献 Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding." arXiv preprint arXiv:1810.04805 (2018). https://arxiv.org/abs/1810.04805 原論文! 2年前、Transformer論文の次にコレを読んで、「Transformer と何が違うの、、、?」と混乱した思い出があります。 時代背景やこの論文の主張をわかった上で読んだらとても読みやすいと思います!(^o^) BERTによる自然言語処理入門: Transformersを使った実践プログラミング https://amzn.to/3iaFdsX 使いたいときはこれ読むとよいと思います!! 【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7 いろいろこれを参考にして動画を作っています ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、TwitterのDMからお願い致します。 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2021年07月30日
00:00:00 - 00:30:56
【深層学習】GPT-2 - 大規模言語モデルの可能性を見せ、社会もざわつかせたモデルの仕組み【ディープラーニングの世界vol.33】#113 #VRアカデミア #DeepLearning

【深層学習】GPT-2 - 大規模言語モデルの可能性を見せ、社会もざわつかせたモデルの仕組み【ディープラーニングの世界vol.33】#113 #VRアカデミア #DeepLearning

超自然な文章を生成できることが話題になり、一時は公開が見送られていた言語モデルである GPT-2 の紹介です。 社会的なセンセーショナルさとは距離をおいて、どういうモデルで、どういうタスクを、どうやって解いたのか、何がすごいのかをお届けします! ▼関連動画 Transformer の動画はこちら! https://www.youtube.com/watch?v=50XvMaWhiTY 忙しい人向け → https://www.youtube.com/watch?v=FFoLqib6u-0 GPT → https://www.youtube.com/watch?v=wDXPXgn5hX4 Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP 自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR ▼参考文献 Radford, Alec, et al. "Language models are unsupervised multitask learners." OpenAI blog 1.8 (2019): 9. http://www.persagen.com/files/misc/radford2019language.pdf 原論文! 世間では「巨大言語モデルを巨大データで学習して AI すげー!」って騒がれましたが、裏には考え抜かれた緻密な設計と努力があります。 AI を作る側の私達としては、一度読んでおくと、華々しい成果の裏に何があるのかが知れていいんじゃないかなーなんて思います。 He, Kaiming, et al. "Identity mappings in deep residual networks." European conference on computer vision. Springer, Cham, 2016. https://link.springer.com/chapter/10.1007/978-3-319-46493-0_38 Residual Connection は勾配消失対策だけじゃなくて、恒等写像学習のアイテムでもあるのです。 その哲学で書かれている論文。私は好きです。 その哲学を解説した ResNet の動画はこちら → https://www.youtube.com/watch?v=WslQrSO94qE Reddy, Siva, Danqi Chen, and Christopher D. Manning. "Coqa: A conversational question answering challenge." Transactions of the Association for Computational Linguistics 7 (2019): 249-266. https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00266/43511/CoQA-A-Conversational-Question-Answering-Challenge タスクの1つ、CoQAのデータセットの論文です。TOEIC的な問題を集めているのですが、これが深層学習モデルに解けるのはすごい。 パラパラ眺めるだけでもイメージついていいと思います! 【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7 いろいろこれを参考にして動画を作っています ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、公式 WebPage や TwitterのDMからお願い致します。 AIcia Solid Project - Official Website - https://sites.google.com/view/aicia-official/top 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2021年08月27日
00:00:00 - 00:22:10
【深層学習】fasttext - 単語の内部構造を利用した版 word2vec 【ディープラーニングの世界 vol. 25】#097 #VRアカデミア #DeepLearning

【深層学習】fasttext - 単語の内部構造を利用した版 word2vec 【ディープラーニングの世界 vol. 25】#097 #VRアカデミア #DeepLearning

▼テーマ subword を利用することで、単語の内部構造を利用して単語埋め込みを作ります。 ほぼ word2vec なのに性能良くなる & 言語によって改善幅が違うのがおもしろポイント! ▼関連プレイリスト Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP 自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR ▼目次 (後で追加します。暫くお待ちください) ▼参考文献 Bojanowski, Piotr, et al. "Enriching word vectors with subword information." Transactions of the Association for Computational Linguistics 5 (2017): 135-146. https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00051/43387/Enriching-Word-Vectors-with-Subword-Information 現論文です。この中の pdf というボタンを押すと読めます。 言語別比較はとっても面白いので、ぜひ見てみてください! 【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7 いろいろこれを参考にして動画を作っています ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、TwitterのDMからお願い致します。 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2021年04月09日
00:00:00 - 00:20:25
【Deep Learning研修(発展)】系列データモデリング (RNN / LSTM / Transformer) 第4回「RNN」

【Deep Learning研修(発展)】系列データモデリング (RNN / LSTM / Transformer) 第4回「RNN」

【Deep Learning研修(発展)】( https://www.youtube.com/playlist?list=PLbtqZvaoOVPA-keirzqx2wzpujxE-fzyt )はディープラーニング・機械学習に関する発展的な話題を幅広く紹介する研修動画シリーズです。Neural Network Consoleチャンネル(https://www.youtube.com/c/NeuralNetworkConsole/ )でもディープラーニングに関するより基礎的な内容の解説動画を公開しておりますので、ぜひそちらも御覧ください。 本動画は「系列データモデリング」の第4回の動画です。系列データに対してRNNがどのように利用されるかについて説明しています。 [スライド23] Visualizing and Understanding Recurrent Networks https://arxiv.org/abs/1506.02078 [スライド26] Neural Architecture Search with Reinforcement Learning https://arxiv.org/abs/1611.01578 [参考文献] 深層学習による自然言語処理 https://www.amazon.co.jp/dp/4061529242 (単行本) https://www.amazon.co.jp/dp/B0756VMJB7 (電子書籍) [参考文献] ゼロから作る Deep Learning ❷ ―自然言語処理編 https://www.amazon.co.jp/dp/4873118360 (単行本) [参考文献] Recurrent Networks for Sentence or Language Modeling http://www.phontron.com/class/nn4nlp2021/ http://www.phontron.com/class/nn4nlp2021/schedule/rnn.html -- ソニーが提供するオープンソースのディープラーニング(深層学習)フレームワークソフトウェアのNeural Network Libraries( https://nnabla.org/​, https://github.com/sony/nnabla/​ )に関連する情報を紹介する動画チャンネルを開設しました( https://www.youtube.com/c/nnabla )。Neural Network Librariesのチュートリアル・Tipsに加え、最先端のディープラーニングの技術情報(講義、最先端論文紹介)などを発信していきます。チャンネル登録と応援よろしくおねがいします! 同じくソニーが提供する直感的なGUIベースの深層学習開発環境のNeural Network Console( https://dl.sony.com/ )が発信する大人気のYouTubeチャンネル( https://www.youtube.com/c/NeuralNetworkConsole/ )でもディープラーニングの技術講座やツールのチュートリアルを多数公開しています。こちらもチャンネル登録と応援よろしくおねがいします。
2021年11月19日
00:00:00 - 01:09:43
【深層学習】GPT-3 ①-1 モデルと Sparse Transformer について【ディープラーニングの世界vol.39】#124 #VRアカデミア #DeepLearning

【深層学習】GPT-3 ①-1 モデルと Sparse Transformer について【ディープラーニングの世界vol.39】#124 #VRアカデミア #DeepLearning

GPT-3 全部解説します! ①概要編 ← 今日はここ!(の前半) モデルについて! ②限界 & 研究テーマ編 ③社会的影響編 次回:Zero-Shot, One-Shot, Few-Shot の原理、背景と性能です! ▼参考文献 Brown, Tom B., et al. "Language models are few-shot learners." arXiv preprint arXiv:2005.14165 (2020). https://arxiv.org/abs/2005.14165 原論文! 濃厚! 超長いです。 読むのは、プロ以外、、そこまで、、、おすすめしません、、、、、、(笑) 【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7 いろいろこれを参考にして動画を作っています ▼目次 00:00 OP 01:27 1.GPT-3とは 05:34 2.モデルとデータ 11:59 Sparse Transformer とは何か? 16:25 GPT-3のモデル全体像 ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、公式 WebPage や TwitterのDMからお願い致します。 AIcia Solid Project - Official Website - https://sites.google.com/view/aicia-official/top 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2021年12月24日
00:00:00 - 00:17:29
【深層学習】GPT-3 ② 限界と今後の研究テーマ【ディープラーニングの世界vol.40】#126 #VRアカデミア #DeepLearning

【深層学習】GPT-3 ② 限界と今後の研究テーマ【ディープラーニングの世界vol.40】#126 #VRアカデミア #DeepLearning

GPT-3 の限界と、その先の研究テーマについて紹介します。 GPT-3 は簡単な計算なら出来ちゃってすごい! けど、まだできないことも多いので、そこを改善したら論文になるかも!(^o^) ①概要編 ②限界 & 研究テーマ編 ← 今日はここ! ③社会的影響編 1本目:https://www.youtube.com/watch?v=CBZWzQVcXE4&list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP&index=40 ▼参考文献 Brown, Tom B., et al. "Language models are few-shot learners." arXiv preprint arXiv:2005.14165 (2020). https://arxiv.org/abs/2005.14165 原論文! 濃厚! 超長いです。 読むのは、プロ以外、、そこまで、、、おすすめしません、、、、、、(笑) 【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7 いろいろこれを参考にして動画を作っています ▼目次 00:00 OP 00:20 3. Few-Shot, One-Shot, Zero-Shot 06:25 研究の背景にある思想 09:39 4. GPT-3の性能 ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、公式 WebPage や TwitterのDMからお願い致します。 AIcia Solid Project - Official Website - https://sites.google.com/view/aicia-official/top 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2022年01月21日
00:00:00 - 00:17:05
【分析モデル入門】本を出します!【是非買ってね!】 #137 #VRアカデミア #分析モデル入門

【分析モデル入門】本を出します!【是非買ってね!】 #137 #VRアカデミア #分析モデル入門

データサイエンスに必須の分析モデルを、ほぼ全部解説した本をだします! 使い方のサクッと解説に加え、原理数式の深い解説もあるよ! 本質を捉えたデータ分析のための分析モデル入門 ↓予約・購入はこちら!↓ https://amzn.to/3Ng0nC7 Voicy 始めたよ! ↓こちらから聴けます↓ https://voicy.jp/channel/2216 ▼目次 序章 分析モデルを学ぶための準備 第1部 定型データの扱い 第1章 回帰分析 第2章 回帰分析の結果の評価と解釈 第3章 ロジスティック回帰分析 第4章 機械学習を用いた回帰・分類 第2部 非定型データの扱い 第5章 深層学習入門 第6章 画像の分類 第7章 物体検出とセマンティックセグメンテーション 第8章 基本的な自然言語処理手法 第9章 深層学習を用いた自然言語処理モデル(前半) 第10章 深層学習を用いた自然言語処理モデル(後半) 第11章 統計的言語モデル 第12章 付加構造があるデータの扱い 第3部 強化学習 第13章 強化学習とは 第14章 強化学習の技法 第15章 深層強化学習の技法 第4部 データから知見を得る方法 第16章 クラスタリング 第17章 因子分析・主成分分析 第18章 データの関連を調べる分析 第19章 データの背後の構造を用いる分析 第5部 線形回帰分析の深い世界 第20章 多重共線性 第21章 発展的な回帰分析 ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、公式 WebPage や TwitterのDMからお願い致します。 AIcia Solid Project - Official Website - https://sites.google.com/view/aicia-official/top 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: ChikakoHorioさん ( https://twitter.com/ChikakoHorio ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2022年07月08日
00:00:00 - 00:08:44
【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning

【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning

動画内の tanh はシグモイド関数σの誤りでした🙇‍♀️ 動画内の誤り一覧 http://bit.ly/error_asp ▼テーマ 2010年頃から盛んに研究されはじめた、自然言語処理 (Natural Language Processing / NLP) へのディープラーニングへの応用です。 RNN から始まり、近年の attention 機構を利用した Transformer や BERT へ向けた動画の旅を始めます。 ▼関連動画 RNN についてよくわからない方はこちら! https://www.youtube.com/watch?v=NJdrYvYgaPM&list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP&index=8 ▼関連プレイリスト Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP 自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR ▼目次 00:00 OP ==== 1.RNNLM ==== 01:12 RNNLMとは 03:40 RNNLM以前の時代について ==== 2.精度(in 2020) ==== 04:23 どんなタスクを解いたのか? 05:55 どれくらい精度が上がったか? 06:48 PPLについて 10:45 WERについて 12:50 結局RNNLMは何が凄いの? ==== 3.モデル==== 13:39 モデルの紹介 16:36 どんな数式で動いているか? 19:25 原論文の小話 20:19 本日のまとめ ========= 20:34 ED ▼参考文献 Mikolov, Tomas, et al. “Recurrent Neural Network Based Language Model.” INTERSPEECH, 2010, pp. 1045–1048. http://noel.feld.cvut.cz/gacr0811/publ/MIK10a.pdf 今回の原論文です。 Deep Learning の黎明期、まだ connectionism と呼ばれていた時代の考察です。 歴史的背景も知れて面白いです。 ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、TwitterのDMからお願い致します。 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2021年01月08日
00:00:00 - 00:21:15
【リクエスト】テキストをK-meansクラスタリングしてみよう【Python自然言語処理#4】

【リクエスト】テキストをK-meansクラスタリングしてみよう【Python自然言語処理#4】

コメントでリクエスト頂いた、「文章データのクラスタリング(グルーピング)」をやってみます。 【自然言語処理シリーズ】 https://youtu.be/6p_8ftWk5G8 https://youtu.be/5vRyPMBOr_w https://youtu.be/ijvCaT_DXV4 【非階層クラスタリング(K-means)】 https://youtu.be/wRXtnlUNNBo #データサイエンス
2021年06月27日
00:00:00 - 00:15:05
【深層学習】XLNet 前編 - BERT の事前学習を工夫して強くなりました【ディープラーニングの世界vol.34-1】#114 #VRアカデミア #DeepLearning

【深層学習】XLNet 前編 - BERT の事前学習を工夫して強くなりました【ディープラーニングの世界vol.34-1】#114 #VRアカデミア #DeepLearning

単語の順序入れ替えを行う Permutation Language Modeling を利用して BERT の事前学習を行い、性能を飛躍的に向上させた XLNet の紹介です。 勘違いしている方も多いかもしれませんが、モデルとしては BERT (+α) であって、推論時は並べ替えしません。事前学習のときだけ並び替えるのです。 ▼関連動画 後編 → https://youtu.be/tG-WI9qMluE Transformer の動画はこちら! https://www.youtube.com/watch?v=50XvMaWhiTY 忙しい人向け → https://www.youtube.com/watch?v=FFoLqib6u-0 BERT → https://www.youtube.com/watch?v=IaTCGRL41_k Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP 自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR ▼参考文献 Yang, Zhilin, et al. "Xlnet: Generalized autoregressive pretraining for language understanding." Advances in neural information processing systems 32 (2019). https://proceedings.neurips.cc/paper/2019/file/dc6a7e655d7e5840e66733e9ee67cc69-Paper.pdf 原論文! 私は、「事前学習とファインチューニングのモデルが別だよ!」ってことをわからずに読んでめっちゃ混乱したのですが、この動画の後読んだら結構すらすら内容が入るのではないかと思います。 zihangdai/xlnet: XLNet: Generalized Autoregressive Pretraining for Language Understanding https://github.com/zihangdai/xlnet 著者による実装! 動画作成にあたってかなり実装を確認しました。この実装準拠です。 【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7 いろいろこれを参考にして動画を作っています ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、公式 WebPage や TwitterのDMからお願い致します。 AIcia Solid Project - Official Website - https://sites.google.com/view/aicia-official/top 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2021年09月10日
00:00:00 - 00:23:52
Python自然言語処理入門!!〜形態素解析、ワードクラウドなど〜

Python自然言語処理入門!!〜形態素解析、ワードクラウドなど〜

Pythonで自然言語処理(テキストマイニング)するための基本的な方法をご紹介します。 str型の基本メソッドの紹介から表記揺れ対策、MeCabによる形態素解析、ワードクラウドの作成などを扱います。 ※15:08 韓国語にはスペースありました、すみません。。。 #データサイエンス
2021年02月13日
00:00:00 - 00:37:46
文章の類似度を測ろう!TF-IDF&コサイン類似度入門〜Python自然言語処理#2〜

文章の類似度を測ろう!TF-IDF&コサイン類似度入門〜Python自然言語処理#2〜

自然言語処理の続編です。今回は文章の類似性を数値化して、「文章が近い順」にランキングする仕組みを作ってみます。 【前回の動画】 https://youtu.be/6p_8ftWk5G8 【動画中で参照したページ】 https://analysis-navi.com/?p=569 【キーワード】 Bag-of-words cos類似度 FAQ検索 #データサイエンス
2021年04月24日
00:00:00 - 00:27:44
【深層学習】ELMo - 複数粒度の文脈情報を持つ単語ベクトルで広範囲のタスク性能改善【ディープラーニングの世界vol.30】#108 #VRアカデミア #DeepLearning

【深層学習】ELMo - 複数粒度の文脈情報を持つ単語ベクトルで広範囲のタスク性能改善【ディープラーニングの世界vol.30】#108 #VRアカデミア #DeepLearning

エルモダヨー!! 単語ベクトルに手を入れることによって、非常に幅広いタスクで SoTA を記録しました。 ギリギリ Transformer 直後で、Transformer に塗り替えられる前の研究の趣がある最後の研究です。 ☆お知らせ☆ AIcia Solid Project 公式HPが出来ました!!! https://sites.google.com/view/aicia-official/top HPでは私たちや動画コンテンツの紹介、板書データの公開などをしています。是非ご活用ください!! ▼関連動画 Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP 自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR ▼目次 公開後追加予定! ▼参考文献 Peters, Matthew E., et al. "Deep contextualized word representations." arXiv preprint arXiv:1802.05365 (2018). https://arxiv.org/abs/1802.05365 原論文! 長すぎず読みやすい感じです。初の挑戦にいいかも! 【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7 いろいろこれを参考にして動画を作っています ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、TwitterのDMからお願い致します。 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2021年07月16日
00:00:00 - 00:10:19
【深層学習】GPT-3 ①-2 追加学習なしでタスクに対応する仕組み【ディープラーニングの世界vol.39-2】#125 #VRアカデミア #DeepLearning

【深層学習】GPT-3 ①-2 追加学習なしでタスクに対応する仕組み【ディープラーニングの世界vol.39-2】#125 #VRアカデミア #DeepLearning

GPT-3 全部解説します! ①概要編 ← 今日はここ!(の後半)Few-Shot 学習と性能について! ②限界 & 研究テーマ編 ③社会的影響編 1本目:https://www.youtube.com/watch?v=CBZWzQVcXE4&list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP&index=40 次回:GPT-3 でもできなかったことと今後の研究テーマです! ▼参考文献 Brown, Tom B., et al. "Language models are few-shot learners." arXiv preprint arXiv:2005.14165 (2020). https://arxiv.org/abs/2005.14165 原論文! 濃厚! 超長いです。 読むのは、プロ以外、、そこまで、、、おすすめしません、、、、、、(笑) 【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7 いろいろこれを参考にして動画を作っています ▼目次 00:00 OP 00:20 3. Few-Shot, One-Shot, Zero-Shot 06:25 研究の背景にある思想 09:39 4. GPT-3の性能 ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、公式 WebPage や TwitterのDMからお願い致します。 AIcia Solid Project - Official Website - https://sites.google.com/view/aicia-official/top 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2022年01月01日
00:00:00 - 00:19:42
【自然言語処理】Elasticsearch 徹底解説 - スコアリングのロジックについて【Elasticsearch への道③】#086 #VRアカデミア

【自然言語処理】Elasticsearch 徹底解説 - スコアリングのロジックについて【Elasticsearch への道③】#086 #VRアカデミア

▼テーマ Elasticsearch でも実践的に利用されている Lucene's Practical Scoring Function の紹介です。 日本語、英語の解説ブログの解説がほぼ全て誤っているという、 AI 的にはかなりつらい状況を乗り越えて、正しい情報をお伝えすることに成功しました。 ▼関連プレイリスト 自然言語処理系プレイリスト https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR ▼目次 00:00 OP 01:12 本題に入る前に注意点 ==== 1.背景,定義 ==== 02:34 Lucene's PSFの背景 03:20 検索の定式化と記号の定義 05:03 定義を眺める ==== 2.数式の意味 ==== 06:17 全体像を掴もう 06:55 数式の意味(前半部分) 10:47 getBoost()の意味 11:49 normの意味 15:48 coordの意味 ========= 16:48 本日のまとめ 18:27 ED ▼参考文献 TFIDFSimilarity (Lucene 7.6.0 API) https://lucene.apache.org/core/7_6_0/core/org/apache/lucene/search/similarities/TFIDFSimilarity.html 本家本元! Lucene では、 queryNoem は利用していないという差分がありますが、ここが原典です。 ただしちょっと解説は手薄です。 Lucene’s Practical Scoring Function | Elasticsearch: The Definitive Guide [2.x] | Elastic https://www.elastic.co/guide/en/elasticsearch/guide/current/practical-scoring-function.html Elasticsearch による解説です! ここの説明も正しい! 解説も充実しているのですが、若干たらい回しにされたり、 deprecated に飛ばされたり、やや読み解くのは大変です。 (おそらく、世界中のすべての誤り系 blog は、ここの数式を転記ミスったり、それを翻訳したり、誤訳したり、、、そういう状況なのでしょう。) Elasticsearch のスコア関数の数式の意味と仕組み - Lucene's Practical Socring Function - Atrae Tech Blog https://atraetech.hatenablog.com/entry/lucene-practical-scoring-function というわけで! 私が書きました! ここを読めばすべてがまとまっています! (ま、動画の内容と一緒なので、動画見ればいいのですが) 今後、人に Elasticsearch のロジックの資料をおすすめするときは、この blog か、上記原典を紹介するようにしてください。 他の資料を展開するのであれば、嘘を嘘と見抜けないと難しいです。自信ない or 詳細に読んでる時間ない人は上記 blog を勧めてください。 ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、TwitterのDMからお願い致します。 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2020年12月18日
00:00:00 - 00:19:14
NNCチュートリアル:文章分類

NNCチュートリアル:文章分類

この動画では、Deep Learningの統合開発環境Neural Network Consoleを用いて、英語や日本語の文章を分類するモデルを学習する手順について解説します。 前回の動画:物体検出 https://www.youtube.com/watch?v=rlMPii_HyJ4 Deep Learningで行う自然言語処理入門 https://www.youtube.com/watch?v=NzuDWpHPLco 再生リスト「Deep Learning入門」 https://www.youtube.com/playlist?list=PLg1wtJlhfh23pjdFv4p8kOBYyTRvzseZ3 再生リスト「Neural Network Console チュートリアル(クラウド版)」 https://www.youtube.com/playlist?list=PLg1wtJlhfh227oiXbVJOwXCuCoKo3dOU9 再生リスト「Neural Network Console チュートリアル(Windows版)」 https://www.youtube.com/playlist?list=PLg1wtJlhfh20mWfEbfng2ug-bfE437lDW Neural Network Consoleの特長 https://www.youtube.com/watch?v=y_KGyxAwAic Neural Network Console https://dl.sony.com/ja/ Neural Network Libraries https://nnabla.org/ja/ #Deep Learning #Neural Network #Neural Network Console #Neural Network Libraries #Sony #AI #深層学習 #ディープラーニング #ニュールネットワーク #ソニー #人工知能
2021年05月18日
00:00:00 - 00:21:45
文章の類似度をもっと精密に測ろう!doc2vec入門〜Python自然言語処理#3〜

文章の類似度をもっと精密に測ろう!doc2vec入門〜Python自然言語処理#3〜

Doc2vecの学習済みモデルを用いた類似文章検索の仕組みを作ってみます。 現在ではBERTなど様々な手法も提案されていますが、「簡単で、それなりに精度良く」文章検索システムを作るには未だに良く用いられます。 #データサイエンス
2021年05月09日
00:00:00 - 00:22:50