動画乙。 親の顔より見たモデル(コロナ渦)。TransFormerはいろいろ記事があるけど、やっぱこの動画はわかりやすい。適用モデルが広く、精度も良い。本当、(計算リソースが潤沢であれば)つよつよモデル。
辺りで、「入力単語列をベクトルの列に」とありますが、入力する行列の列に単語をベクトル化したものが入っていて、行数が単語数になっているのか、もしくはその逆なのかどちらでしょうか、、、?ご回答いただけると幸いです。
一つ確認させていただきたいのですが、頃で仰っている「単語の次元のベクトル」というのは、「ボキャブラリーサイズの次元のベクトル」という理解で合っていますでしょうか？
Multi-Head Attention は から！
の説明ではqはベクトルなので出力もベクトルになるっていうのは理解できるんですけど
の「次元の高いベクトルは長い」という日本語がよく分かりません...要素の分散が大きくなるからsqrt(d)でスケーリングしていると理解しているのですが、私の認識は合ってるでしょうか？
質問なのですが、あたりでベクトルの類似度を計算しているQKだが、次元が高くなると値が大きくなってしまうため、純粋な類似度を計算する為にroot(d)で割るという話があったと思うのですが、どうしてroot(d)で割ると純粋な類似度が計算できるのでしょうか？
いまいち分からないのがのhead_iは横ベクトルと説明なされてましたが、scaled dot productの説明から行くと横ベクトルが縦に並んだ行列と思ったのですがどういった理解が正しいのでしょうか？
付近の内容で、ひとつ気になった事があるので質問させていただきます。Multi-Head AttentionにおけるW_Oの重みを掛ける操作の必要性（意味）を教えていただけますでしょうか。単に著者が定義したものであり、天下り的に受け入れるべきものなのでしょうか。
ずっと疑問でしたが、辺りでそこを解説して下さっていて、私にとっては非常にためになりました。詰むポイント?を丁寧に解説してくださり、とてもありがたかったです。
