- 【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア

【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア

▼テーマ
単語のベクトル化にも使われる tf-idf です。
検索というテーマを軸に、数式の意味ごと解説しています。
最終的には、 Elasticsearch に使われている Lucene's Practical Scoring Function も解説します。

▼関連プレイリスト
自然言語処理系プレイリスト
https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4...
▼テーマ
単語のベクトル化にも使われる tf-idf です。
検索というテーマを軸に、数式の意味ごと解説しています。
最終的には、 Elasticsearch に使われている Lucene's Practical Scoring Function も解説します。

▼関連プレイリスト
自然言語処理系プレイリスト
https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR

▼目次
00:00 OP
==== 1.背景 ====
00:43 tf-idfが使われる場面
01:26 tf-idfはどんな問題を解決するのか?
==== 2.定義&意味 ====
03:34 tf-idfの気持ち
04:23 記法の設定
06:19 tf-idfの定義
06:38 どんな計算なのか
08:11 tfの意味
09:01 idfの意味
10:43 具体例で実際にtf-idfを見てみる
12:41 logの理由
15:09 本日のまとめ
15:52 ED

▼参考文献
ネットでググったらたくさん出ます (^^)
・tf–idf - Wikipedia https://en.wikipedia.org/wiki/Tf%E2%80%93idf
特に、英語 wiki は意外としっかり書いてあるのでおすすめです!

・機械学習・深層学習による自然言語処理入門 (Compass Booksシリーズ) | 中山 光樹
https://amzn.to/3g8lJ5o
基本的な自然言語処理の機械学習手法がコードとともによくまとまっています!
数式系ではなく、実装系なので、手を動かして色々理解できるかも!

・言語処理のための機械学習入門 (自然言語処理シリーズ) | 高村 大也, 学, 奥村
https://amzn.to/3lAEqQl
自然言語処理の古典的な方法論について、特に LDA とその数理的背景についてよくまとまっています。
数式大好き人間は一度読んでみると楽しいと思います。

▼終わりに
ご視聴ありがとうございました!
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ!
お仕事、コラボのご依頼は、TwitterのDMからお願い致します。
動画生成:AIcia Solid (Twitter: )
動画編集:AIris Solid (妹) (Twitter: )
=======
Logo: TEICAさん ( )
Model: http://3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( )
OP==== 1.背景 ==== - 【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア

OP==== 1.背景 ====

【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア
2020年12月04日 
00:00:00 - 00:00:43
tf-idfが使われる場面 - 【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア

tf-idfが使われる場面

【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア
2020年12月04日 
00:00:43 - 00:01:26
tf-idfはどんな問題を解決するのか?==== 2.定義&意味 ==== - 【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア

tf-idfはどんな問題を解決するのか?==== 2.定義&意味 ====

【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア
2020年12月04日 
00:01:26 - 00:03:34
tf-idfの気持ち - 【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア

tf-idfの気持ち

【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア
2020年12月04日 
00:03:34 - 00:04:23
記法の設定 - 【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア

記法の設定

【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア
2020年12月04日 
00:04:23 - 00:06:19
tf-idfの定義 - 【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア

tf-idfの定義

【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア
2020年12月04日 
00:06:19 - 00:06:38
どんな計算なのか - 【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア

どんな計算なのか

【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア
2020年12月04日 
00:06:38 - 00:08:11
tfの意味 - 【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア

tfの意味

【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア
2020年12月04日 
00:08:11 - 00:09:01
idfの意味 - 【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア

idfの意味

【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア
2020年12月04日 
00:09:01 - 00:10:43
具体例で実際にtf-idfを見てみる - 【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア

具体例で実際にtf-idfを見てみる

【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア
2020年12月04日 
00:10:43 - 00:12:41
logの理由 - 【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア

logの理由

【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア
2020年12月04日 
00:12:41 - 00:15:09
本日のまとめ - 【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア

本日のまとめ

【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア
2020年12月04日 
00:15:09 - 00:15:52
ED - 【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア

ED

【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア
2020年12月04日 
00:15:52 - 00:16:51

AIcia Solid Project

📋 #AIciart

※本サイトに掲載されているチャンネル情報や動画情報はYouTube公式のAPIを使って取得・表示しています。

Timetable

動画タイムテーブル

動画数:290件

オープニング - 【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning

オープニング

【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning
2024年02月25日 
00:00:00 - 00:00:42
価値反復法とは - 【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning

価値反復法とは

【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning
2024年02月25日 
00:00:42 - 00:03:25
今の状況のおさらい - 【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning

今の状況のおさらい

【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning
2024年02月25日 
00:03:25 - 00:04:47
復習 - 【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning

復習

【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning
2024年02月25日 
00:04:47 - 00:07:31
ベルマン最適作用素 - 【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning

ベルマン最適作用素

【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning
2024年02月25日 
00:07:31 - 00:12:48
最適方策を計算 - 【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning

最適方策を計算

【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning
2024年02月25日 
00:12:48 - 00:15:18
まとめ - 【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning

まとめ

【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning
2024年02月25日 
00:15:18 - 00:17:37
エンディング - 【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning

エンディング

【強化学習】価値反復法 - いきなり最適方策を推定!【GPIの元ネタ】RL vol. 12 #172 #VRアカデミア #ReinforcementLearning
2024年02月25日 
00:17:37 - 00:18:58