- How Deep Neural Networks Work - Full Course for Beginners

How Deep Neural Networks Work - Full Course for Beginners

Even if you are completely new to neural networks, this course will get you comfortable with the concepts and math behind them.

Neural networks are at the core of what we are calling Artificial Intelligence today. They can seem impenetrable, even mystical, if you are trying to understand them fo...
Even if you are completely new to neural networks, this course will get you comfortable with the concepts and math behind them.

Neural networks are at the core of what we are calling Artificial Intelligence today. They can seem impenetrable, even mystical, if you are trying to understand them for the first time, but they don't have to.

⭐️ Contents ⭐️
⌨️ (0:00:00) How neural networks work
⌨️ (0:24:13) What neural networks can learn and how they learn it
⌨️ (0:51:37) How convolutional neural networks (CNNs) work
⌨️ (1:16:55) How recurrent neural networks (RNNs) and long-short-term memory (LSTM) work
⌨️ (1:42:49) Deep learning demystified
⌨️ (2:03:33) Getting closer to human intelligence through robotics
⌨️ (2:49:18) How CNNs work, in depth

🎥 Lectures by Brandon Rohrer. Check out his YouTube channel: https://www.youtube.com/user/BrandonRohrer

🔗 Find more courses from Brandon at https://end-to-end-machine-learning.teachable.com/

--

Learn to code for free and get a developer job: https://www.freecodecamp.org

Read hundreds of articles on programming: https://medium.freecodecamp.org

And subscribe for new videos on technology: https://youtube.com/subscription_center?add_user=freecodecamp

#machine learning #deep learning #neural networks #artificial intelligence #logistic regression #probability #math #computer science #statistics #deep learning course #deep learning tutorial #neural networks for beginners #deep neural network #convolutional neural networks #recurrent neural networks #long-short-term memory #ai
⌨️ () How neural networks work - How Deep Neural Networks Work - Full Course for Beginners

⌨️ () How neural networks work

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
00:00:00 - 00:24:13
if you tried making a rule you wouldn't be able to do it. Why? Isn't the rule pretty clear?If only the 2 top or 2 bot are black, it's horizontal.If only the 2 left or 2 right are black, it's vertical.Every other composition where 2 are black is diagonal.If 3 are black, it's L.This just seems programmable.What am I missing? - How Deep Neural Networks Work - Full Course for Beginners

if you tried making a rule you wouldn't be able to do it. Why? Isn't the rule pretty clear?If only the 2 top or 2 bot are black, it's horizontal.If only the 2 left or 2 right are black, it's vertical.Every other composition where 2 are black is diagonal.If 3 are black, it's L.This just seems programmable.What am I missing?

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
00:00:40 - 03:50:57
How come the narrater's cough makes the result go from negative 0.075 to positive 0.075? - How Deep Neural Networks Work - Full Course for Beginners

How come the narrater's cough makes the result go from negative 0.075 to positive 0.075?

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
00:03:33 - 03:50:57
. The bottom right neuron is supposed to be inverted. 2 black on top and 2 white on the bottom. The negative weights should actually be positive weights. - How Deep Neural Networks Work - Full Course for Beginners

. The bottom right neuron is supposed to be inverted. 2 black on top and 2 white on the bottom. The negative weights should actually be positive weights.

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
00:07:40 - 03:50:57
Can anyone explain please - why in @, the last(3rd) layer and the last neuron(4th) is horizontal in the bottom, shouldn’t it be horizontal on the top because of black synapses? Thank you! - How Deep Neural Networks Work - Full Course for Beginners

Can anyone explain please - why in @, the last(3rd) layer and the last neuron(4th) is horizontal in the bottom, shouldn’t it be horizontal on the top because of black synapses? Thank you!

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
00:07:40 - 03:50:57
Made it till  already, good night. - How Deep Neural Networks Work - Full Course for Beginners

Made it till already, good night.

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
00:14:00 - 03:50:57
mark - How Deep Neural Networks Work - Full Course for Beginners

mark

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
00:24:09 - 03:50:57
⌨️ () What neural networks can learn and how they learn it - How Deep Neural Networks Work - Full Course for Beginners

⌨️ () What neural networks can learn and how they learn it

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
00:24:13 - 00:51:37
Brandon;   great video!   where can we find more visual representations of adding curves?  @ you begin to combine curves.  how and where does one learn more? - How Deep Neural Networks Work - Full Course for Beginners

Brandon; great video! where can we find more visual representations of adding curves? @ you begin to combine curves. how and where does one learn more?

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
00:40:00 - 03:50:57
the graphs from  foward makes no sense to me, how can you have 2 values and not make a straight line?you have y output and x input and you get waves? that graphic makes no sense on what you are talking about... unless if you have a diferent value called repetition or time, but still the first ones without the multiple nodes will also make waves since you are adjusting the values right? I dont understand it... - How Deep Neural Networks Work - Full Course for Beginners

the graphs from foward makes no sense to me, how can you have 2 values and not make a straight line?you have y output and x input and you get waves? that graphic makes no sense on what you are talking about... unless if you have a diferent value called repetition or time, but still the first ones without the multiple nodes will also make waves since you are adjusting the values right? I dont understand it...

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
00:40:00 - 03:50:57
does anybody know where I can find the result mentioned at  ? - How Deep Neural Networks Work - Full Course for Beginners

does anybody know where I can find the result mentioned at ?

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
00:40:10 - 03:50:57
imagine it in n-dimensionIt can do amazing stuff in a matter of second.Can you explain neural net in time series pleaseThese lessons touch my heart and for the first time i can imagine abit what is going on in that black box - How Deep Neural Networks Work - Full Course for Beginners

imagine it in n-dimensionIt can do amazing stuff in a matter of second.Can you explain neural net in time series pleaseThese lessons touch my heart and for the first time i can imagine abit what is going on in that black box

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
00:41:48 - 03:50:57
in  b  those have a corelation too - How Deep Neural Networks Work - Full Course for Beginners

in b those have a corelation too

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
00:46:28 - 03:50:57
⌨️ () How convolutional neural networks (CNNs) work - How Deep Neural Networks Work - Full Course for Beginners

⌨️ () How convolutional neural networks (CNNs) work

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
00:51:37 - 01:16:55
May be my english not good and i did not understand correctly. So can anyone help me explain why at  error of O is not -0.51, i mean 0 - 0.51 = -0,51. Thank advance - How Deep Neural Networks Work - Full Course for Beginners

May be my english not good and i did not understand correctly. So can anyone help me explain why at error of O is not -0.51, i mean 0 - 0.51 = -0,51. Thank advance

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
01:09:51 - 03:50:57
May be my english not good and i did not understand correctly. So can anyone help me explain why at  error of O is not -0.51, i mean 0 - 0.51 = 0,51. Thank advance - How Deep Neural Networks Work - Full Course for Beginners

May be my english not good and i did not understand correctly. So can anyone help me explain why at error of O is not -0.51, i mean 0 - 0.51 = 0,51. Thank advance

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
01:09:51 - 03:50:57
⌨️ () How recurrent neural networks (RNNs) and long-short-term memory (LSTM) work - How Deep Neural Networks Work - Full Course for Beginners

⌨️ () How recurrent neural networks (RNNs) and long-short-term memory (LSTM) work

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
01:16:55 - 01:42:49
Since this course is about learning algorithms this is important to classification. Vector:nounMathematics.1: a quantity possessing both magnitude and direction, represented by an arrow the direction of which indicates the direction of the quantity and the length of which is proportional to the magnitude.2: such a quantity with the additional requirement that such quantities obey the parallelogram law of addition.3: such a quantity with the additional requirement that such quantities are to transform in a particular way under changes of the coordinate system.Biology.1: an insect or other organism that transmits a pathogenic fungus, virus, bacterium, etc.2: any agent that acts as a carrier or transporter, as a virus or plasmid that conveys a genetically engineered DNA segment into a host cell.Computers.1: an array of data ordered such that individual items can be located with a single index or subscript.verb (used with object)Aeronautics.1: to guide (an aircraft) in flight by issuing appropriate headings.Aerospace.1: to change the direction of (the thrust of a jet or rocket engine) in order to steer the craft....I am tempted to say Physics would include a unitPhysics1: a quantity possessing magnitude, direction and unit. - How Deep Neural Networks Work - Full Course for Beginners

Since this course is about learning algorithms this is important to classification. Vector:nounMathematics.1: a quantity possessing both magnitude and direction, represented by an arrow the direction of which indicates the direction of the quantity and the length of which is proportional to the magnitude.2: such a quantity with the additional requirement that such quantities obey the parallelogram law of addition.3: such a quantity with the additional requirement that such quantities are to transform in a particular way under changes of the coordinate system.Biology.1: an insect or other organism that transmits a pathogenic fungus, virus, bacterium, etc.2: any agent that acts as a carrier or transporter, as a virus or plasmid that conveys a genetically engineered DNA segment into a host cell.Computers.1: an array of data ordered such that individual items can be located with a single index or subscript.verb (used with object)Aeronautics.1: to guide (an aircraft) in flight by issuing appropriate headings.Aerospace.1: to change the direction of (the thrust of a jet or rocket engine) in order to steer the craft....I am tempted to say Physics would include a unitPhysics1: a quantity possessing magnitude, direction and unit.

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
01:20:40 - 03:50:57
you were literally just telling the AI off for that. Why is Doug not allowed to see Doug but Brandon saw Brandon? - How Deep Neural Networks Work - Full Course for Beginners

you were literally just telling the AI off for that. Why is Doug not allowed to see Doug but Brandon saw Brandon?

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
01:27:43 - 03:50:57
⌨️ () Deep learning demystified - How Deep Neural Networks Work - Full Course for Beginners

⌨️ () Deep learning demystified

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
01:42:49 - 02:03:33
⌨️ () Getting closer to human intelligence through robotics - How Deep Neural Networks Work - Full Course for Beginners

⌨️ () Getting closer to human intelligence through robotics

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
02:03:33 - 02:49:18
A huge grain of salt is a salt crystal? - How Deep Neural Networks Work - Full Course for Beginners

A huge grain of salt is a salt crystal?

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
02:04:12 - 03:50:57
I woke up at - How Deep Neural Networks Work - Full Course for Beginners

I woke up at

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
02:30:00 - 03:50:57
⌨️ () How CNNs work, in depth - How Deep Neural Networks Work - Full Course for Beginners

⌨️ () How CNNs work, in depth

How Deep Neural Networks Work - Full Course for Beginners
2019年04月17日 
02:49:18 - 03:50:57
00:00:02 - 00:00:03: ニューラルネットワークは学習に適しています 00:00:03 - 00:00:07: たくさんの種類のパターン 00:00:07 - 00:00:08: これがどのようになるかの例を挙げる 00:00:08 - 00:00:10: 私はあなたが4ピクセルを持っていたと思います 00:00:11 - 00:00:13: 4 メガピクセルではなく 4 メガピクセル 00:00:13 - 00:00:17: ピクセルで、白黒のみでした 00:00:17 - 00:00:18: そして、あなたは周りに行きたいと思っていました 00:00:18 - 00:00:20: 物の写真と 00:00:20 - 00:00:23: かどうかを自動的に決定します。 00:00:23 - 00:00:27: これらの写真は真っ白でした 00:00:27 - 00:00:29: または真っ暗なイメージ 00:00:30 - 00:00:32: または対角線 00:00:32 - 00:00:35: または水平線 00:00:35 - 00:00:37: あなたはこれを行うことができないので、これはトリッキーです 00:00:37 - 00:00:40: 明るさに関する簡単なルールで 01:16:18 - 01:16:20: ピクセルの 00:00:41 - 00:00:44: どちらも水平線ですが、 00:00:44 - 00:00:46: ルールを作ろうとした場合 00:00:46 - 00:00:49: ピクセルは明るく、どちらが暗かったですか 00:00:49 - 00:00:53: できないだろう 00:00:53 - 00:00:55: ニューラルネットワークでこれを行うには 00:00:55 - 00:00:57: すべての入力を取得することから始めます 00:00:57 - 00:00:59: この場合は 4 ピクセルで、 00:00:59 - 00:01:02: それらを入力ニューロンに分割します 00:01:02 - 00:01:04: これらのそれぞれに番号を割り当てます 00:01:04 - 00:01:07: 明るさや暗さによって 00:01:08 - 00:01:11: プラス 1 はずっと白 マイナス 1 00:01:11 - 00:01:13: ずっと黒で、次に灰色です 00:01:13 - 00:01:15: 真ん中がゼロ 00:01:17 - 00:01:19: これらの値を取得したら 00:01:19 - 00:01:21: 分割され、このようにリストされます 00:01:21 - 00:01:23: 入力ニューロン 入力とも呼ばれます 00:01:23 - 00:01:26: ベクトルまたは配列は単なるリストです 00:01:27 - 00:01:33: それはあなたの今の入力を表しています 00:01:33 - 00:01:36: について考えるのは有益な概念です。 00:01:36 - 00:01:40: このすべてのニューロンの受容野 00:01:40 - 00:01:43: 入力のセットを意味します 00:01:44 - 00:01:46: このニューロンの値を高くする 00:01:46 - 00:01:48: あり得るように 00:01:48 - 00:01:51: 入力ニューロンの場合、これは非常に簡単です 00:01:51 - 00:01:53: それぞれが1つだけに関連付けられています 00:01:54 - 00:01:55: そしていつ 00:01:55 - 00:01:58: そのピクセルはずっと白です 00:01:58 - 00:02:00: その入力ニューロンの値は 00:02:00 - 00:02:03: どこまでも高く 00:02:03 - 00:02:04: 黒と白の市松模様の領域が表示されます 00:02:04 - 00:02:07: 入力ニューロンが気にしないピクセル 00:02:08 - 00:02:10: それらが完全に白またはすべての場合 00:02:10 - 00:02:11: 黒い方法はまだ影響しません 00:02:11 - 00:02:17: その入力ニューロンの値 00:02:17 - 00:02:19: ニューラルネットワークを構築する 00:02:19 - 00:02:21: 私たちが作成します 00:02:22 - 00:02:25: これが最初に行うことは、合計することです 00:02:25 - 00:02:26: すべての値 00:02:26 - 00:02:29: 入力ニューロンの 00:02:29 - 00:02:31: したがって、この場合、すべてを合計すると 00:02:31 - 00:02:35: これらの値は 0.5 になります 00:02:35 - 00:02:37: 物事を少し複雑にするために 00:02:38 - 00:02:40: それぞれのつながり 00:02:40 - 00:02:43: 加重とは、 00:02:43 - 00:02:46: その数は1になることができます 00:02:46 - 00:02:47: またはマイナス1 00:02:47 - 00:02:50: またはその間の何か 00:02:50 - 00:02:53: 何かの重さがマイナス1の場合 00:02:53 - 00:02:55: 乗算され、負の値が得られます 00:02:55 - 00:02:57: それの何かがあればそれが追加されます 00:02:57 - 00:02:59: 重みがゼロの場合 00:02:59 - 00:03:02: 実質的に無視 00:03:02 - 00:03:03: これが重み付けされたものです 00:03:03 - 00:03:05: 接続は次のようになります 00:03:05 - 00:03:07: 値の後に気づくでしょう 00:03:07 - 00:03:09: 入力ニューロンの重み付け 00:03:10 - 00:03:13: 値を追加して、最終値にすることができます 00:03:13 - 00:03:18: は完全に異なります 00:03:18 - 00:03:20: グラフィカルに表現すると便利です 01:55:55 - 01:55:57: これらの重み 00:03:21 - 00:03:25: 白のリンクは正の重みで黒 00:03:25 - 00:03:27: リンクは負の重み 00:03:27 - 00:03:29: 線の太さはだいたい 00:03:29 - 00:03:31: の大きさに比例する 00:03:36 - 00:03:38: 次に、加重入力を追加した後 00:03:40 - 00:03:42: 彼らは押しつぶされます 00:03:42 - 00:03:44: そして、それが何を意味するかをお見せします 00:03:44 - 00:03:47: あなたはシグモイドスカッシュ関数を持っています 00:03:47 - 00:03:50: シグモイドは単にS字型を意味します 00:03:50 - 00:03:54: これが行うことは、値を入れることです 00:03:54 - 00:03:56: 0.5としましょう 00:03:56 - 00:03:59: そして、あなたはあなたまで垂直線を走らせます 00:03:59 - 00:04:01: シグモイドと水平水平 00:04:01 - 00:04:03: 交差するところから線を引く 00:04:03 - 00:04:06: そして、それがy軸に当たる場所 00:04:06 - 00:04:08: それはあなたの関数の出力です 00:04:08 - 00:04:10: この場合は 0.5 よりわずかに小さいです。 00:04:10 - 00:04:13: 非常に近いです 00:04:13 - 00:04:16: 入力数が大きくなるにつれて 00:04:16 - 00:04:18: 出力数も大きくなりますが、 00:04:18 - 00:04:21: よりゆっくりと最終的に 00:04:21 - 00:04:23: 入れた数字がどんなに大きくても 00:04:23 - 00:04:25: 答えはいつも 00:04:26 - 00:04:27: 1未満 00:04:27 - 00:04:29: 同様にマイナスになると 00:04:29 - 00:04:31: 答えは常に負より大きい 00:04:32 - 00:04:36: これにより、そのニューロンの値が 00:04:36 - 00:04:38: プラスの範囲外には決して出ない 00:04:38 - 00:04:40: 一からマイナス一 02:55:18 - 02:55:21: これは、 00:04:43 - 00:04:46: ニューラルネットワークでの計算 00:04:46 - 00:04:50: 境界があり安定している 00:04:50 - 00:04:53: したがって、重み付けされた値を合計した後 00:04:53 - 00:04:55: ニューロンとあなたの結果をスカッシュ 00:04:55 - 00:04:59: この場合の出力を取得します 0.746 00:04:59 - 00:05:02: それがニューロンです 00:05:02 - 00:05:03: これを呼び出すことができるので、すべてを折りたたむことができます 01:44:19 - 01:44:20: これはニューロンです 00:05:06 - 00:05:09: 加重合計と結果のスカッシュ 00:05:09 - 00:05:12: そして今、それらの1つだけではなく 00:05:12 - 00:05:14: あなたがそこにたくさんあると仮定します 00:05:14 - 00:05:17: ここでは 4 つ表示されていますが、 00:05:17 - 00:05:20: 400または400万になる可能性があります 00:05:20 - 00:05:22: 今、私たちの写真を明確に保つために 00:05:22 - 00:05:24: ここでは、重みが 00:05:24 - 00:05:26: プラス1のいずれかです 00:05:27 - 00:05:30: マイナス1本の黒い線またはゼロ 00:05:30 - 00:05:33: それらが完全に欠落している場合 00:05:33 - 00:05:36: 実際にはこれらすべてのニューロンが 00:05:36 - 00:05:38: 私たちが作成したのはそれぞれです 00:05:38 - 00:05:42: すべての入力ニューロンに接続 00:05:42 - 00:05:44: そして、それらはすべての間にある程度の重みがあります 00:05:44 - 00:05:49: マイナスワンとプラスワン 00:05:49 - 00:05:51: この最初のレイヤーを作成するとき 00:05:53 - 00:05:55: 受容野はより複雑になる 00:05:55 - 00:05:58: たとえば、ここではそれらのそれぞれが終了します 00:05:58 - 00:06:01: 2 つの入力ニューロンを組み合わせる 00:06:01 - 00:06:05: したがって、受容野の値 00:06:05 - 00:06:07: を作るピクセル値 00:06:07 - 00:06:10: その最初の層のニューロン 00:06:10 - 00:06:12: 可能な限り大きく 00:06:12 - 00:06:15: ピクセルのペアのようになりました 00:06:17 - 00:06:19: すべて白または白と白の混合物 00:06:20 - 00:06:21: 応じて 03:03:29 - 03:03:30: 重み 00:06:26 - 00:06:28: ここのこのニューロン 00:06:28 - 00:06:32: この入力ピクセルにアタッチされます 00:06:32 - 00:06:34: これは左上とこの入力ピクセルです 00:06:34 - 00:06:37: これは左下とそれらの両方です 00:06:37 - 00:06:39: 重みは正です 00:06:39 - 00:06:41: その2つを組み合わせて、 00:06:41 - 00:06:43: それはその受容野です 00:06:43 - 00:06:45: これと受容体のフィールド 00:06:45 - 00:06:47: これのフィールド 00:06:47 - 00:06:49: しかし、このニューロンを見ると 00:06:49 - 00:06:52: それは組み合わせる 03:02:43 - 03:02:45: このピクセル 00:06:54 - 00:06:55: 右上 00:06:56 - 00:06:58: そしてこのピクセル右下 00:06:58 - 00:07:00: の重みはマイナス 1 です。 00:07:00 - 00:07:03: 右下のピクセルなので、 00:07:03 - 00:07:05: 最もアクティブ 00:07:05 - 00:07:07: このピクセルが黒の場合 00:07:07 - 00:07:12: ここに受容野があります 00:07:13 - 00:07:16: 方法に気をつけていたからです 00:07:16 - 00:07:18: その最初のレイヤーを作成しました 00:07:18 - 00:07:22: その値は入力値によく似ています 00:07:22 - 00:07:24: 向きを変えて作成できます 00:07:24 - 00:07:26: その上にある別のレイヤー 00:07:26 - 00:07:29: 1つのレイヤーの出力と同じ方法 00:07:29 - 00:07:32: 次の層への入力であること 00:07:32 - 00:07:34: これを繰り返すことができます 00:07:34 - 00:07:37: 3回または7回または700回 00:07:37 - 00:07:41: 追加レイヤー用 00:07:41 - 00:07:43: 受容野が均一になるたびに 00:07:43 - 00:07:45: より複雑 00:07:45 - 00:07:47: ここで同じロジックを使用して確認できます 00:07:47 - 00:07:49: 今、彼らはカバーします 00:07:49 - 00:07:51: すべてのピクセル 00:07:51 - 00:07:54: そしてもっとええともっと特別なアレンジメント 00:07:54 - 00:07:59: どれが黒でどれが白か 00:07:59 - 00:08:03: 別のレイヤーを作成できます 00:08:03 - 00:08:05: これらすべてのニューロンが 1 つの層に 00:08:05 - 00:08:07: のすべてのニューロンに接続されています。 00:08:07 - 00:08:09: 前のレイヤーですが、 00:08:09 - 00:08:11: ここで、これらの重みのほとんどはゼロです 00:08:11 - 00:08:13: そして表示されない 00:08:13 - 00:08:16: 一般的にはそうではない 00:08:16 - 00:08:18: ですから、物事を混ぜ合わせるために、 00:08:18 - 00:08:20: 新しいレイヤーですが、気づいたら 00:08:20 - 00:08:22: スカッシュ機能はもうありません 00:08:22 - 00:08:25: 私たちは整流と呼ばれる新しいものを持っています 03:00:07 - 03:00:08: リニアユニット 00:08:26 - 00:08:28: これは別の 00:08:28 - 00:08:31: 人気のニューロン型 00:08:31 - 00:08:33: だからあなたはあなたのすべての加重合計を行います 00:08:33 - 00:08:36: 入力とスカッシュの代わりに 00:08:36 - 00:08:40: あなたは調整された線形単位をします 00:08:40 - 00:08:44: 負の場合は修正する 00:08:44 - 00:08:46: 正の場合は値をゼロにします 00:08:46 - 00:08:49: あなたは値を保持します 00:08:49 - 00:08:52: これは明らかに非常に簡単に計算できます 00:08:52 - 00:08:55: そして、それは非常に素晴らしいことがわかりました 00:08:55 - 00:08:57: ニューラル ネットワークの安定性プロパティ 00:08:57 - 00:09:01: 実践でも 00:09:01 - 00:09:04: これを行った後、 00:09:04 - 00:09:05: 重みは正で、一部は 00:09:05 - 00:09:07: 修正されたものへの負の接続 00:09:07 - 00:09:10: 私たちが得る線形単位 00:09:10 - 00:09:13: 受容野とそれらは反対です 00:09:13 - 00:09:16: そこのパターンを見ると 00:09:16 - 00:09:18: そして最後に、次のように作成したとき 00:09:18 - 00:09:20: 私たちと同じ数のニューロンを持つ多くの層 00:09:20 - 00:09:23: 出力レイヤーを作成したい 00:09:23 - 00:09:25: ここには 4 つの出力があります。 00:09:25 - 00:09:26: に興味がある 00:09:26 - 00:09:29: イメージは固いですか 00:09:29 - 00:09:34: 垂直 斜めまたは水平 00:09:34 - 00:09:37: ここで例を見てみましょう 00:09:37 - 00:09:38: これがどのように機能するかを考えてみましょう 00:09:38 - 00:09:41: この入力画像で 00:09:41 - 00:09:43: 左に示す 00:09:43 - 00:09:46: 上部に暗いピクセル、下部に白いピクセル 00:09:46 - 00:09:50: それを入力レイヤーに伝播するとき 00:09:50 - 00:09:52: これは、それらの値がどのように見えるかです 00:09:53 - 00:09:56: 上のピクセル 下のピクセル 00:09:56 - 00:10:00: それを最初のレイヤーに移動すると 00:10:00 - 00:10:03: 暗い色の組み合わせを見ることができます 00:10:04 - 00:10:07: と明るいピクセルが一緒に 00:10:07 - 00:10:08: 私たちをゼロにする 00:10:11 - 00:10:13: 一方、ここには 00:10:13 - 00:10:15: 暗いピクセルの組み合わせ 00:10:15 - 00:10:17: プラスマイナスの明るいピクセル 00:10:18 - 00:10:21: これで負の値が得られます 00:10:22 - 00:10:23: これは理にかなっています 00:10:23 - 00:10:26: ここの受容野 00:10:26 - 00:10:28: 左上ピクセル白 00:10:28 - 00:10:30: 左下のピクセルブラック 00:10:30 - 00:10:33: は、入力の正反対です 00:10:33 - 00:10:34: 私たちは得ています 00:10:34 - 00:10:36: したがって、その値は 00:10:36 - 00:10:38: できるだけ低く 03:09:11 - 03:09:15: マイナス1 00:10:42 - 00:10:44: 次のレイヤーに移動すると、 00:10:44 - 00:10:47: ゼロを組み合わせた同じ種類のもの 00:10:47 - 00:10:49: ゼロを得る 00:10:49 - 00:10:52: ええと、否定を組み合わせて 00:10:52 - 00:10:54: および負の重みを持つ負の値 00:10:54 - 00:10:56: それはポジティブになります 00:10:56 - 00:10:57: ゼロを取得する 00:10:57 - 00:10:59: ここでは、2 つのネガを組み合わせています。 00:10:59 - 00:11:01: ネガティブになる 00:11:01 - 00:11:03: もう一度、あなたは受容体に気づくでしょう 00:11:03 - 00:11:05: this のフィールドは、正確に の逆です 00:11:05 - 00:11:08: 私たちの入力なので、それは理にかなっています 00:11:08 - 00:11:10: 体重がマイナスになる 00:11:10 - 00:11:14: またはその値が負になる 00:11:14 - 00:11:16: 次のレイヤーに移動します 00:11:16 - 00:11:18: これらのすべてはもちろん、これらのゼロ 00:11:18 - 00:11:21: 前方に伝搬する 00:11:22 - 00:11:25: これは負です 負の値があります 00:11:25 - 00:11:28: 正の重みを持つので、 00:11:28 - 00:11:29: 私たちはただまっすぐ進むから 00:11:29 - 00:11:32: 調整された線形ユニットを持っている 00:11:32 - 00:11:34: 負の値がゼロになる 00:11:34 - 00:11:37: だから今、それはまたゼロですが、これは2つです 00:11:37 - 00:11:39: 矯正されてプラスになる 00:11:39 - 00:11:42: 負の時間 負は正です 00:11:42 - 00:11:44: 最終的に出力にたどり着いたとき 00:11:44 - 00:11:46: を除いてすべてゼロであることがわかります。 00:11:46 - 00:11:48: この水平は正であり、 00:11:48 - 00:11:51: それが私たちのニューラルネットワークの答えです 00:11:51 - 00:11:53: これは言った 00:11:53 - 00:11:57: 水平線のイメージ 00:11:58 - 00:12:00: 通常、ニューラル ネットワークはそれほど優れていません 00:12:00 - 00:12:02: それほどきれいではない 00:12:02 - 00:12:03: だからの概念があります 00:12:03 - 00:12:06: 真実とは何かを入力して 00:12:06 - 00:12:08: この場合、真実は、これには 00:12:08 - 00:12:11: 1 以外のすべての値に対してゼロ 00:12:12 - 00:12:14: 水平ではありません 00:12:14 - 00:12:16: 垂直であり、斜めではありません 00:12:16 - 00:12:19: はい、水平です 00:12:19 - 00:12:22: 任意のニューラルネットワークは 00:12:22 - 00:12:24: 正確には真実ではない答え 00:12:24 - 00:12:27: 少しまたはかなりずれている可能性があります 00:12:27 - 00:12:29: そして、エラー 00:12:29 - 00:12:32: 差の大きさです 00:12:32 - 00:12:35: 真実と与えられた答えの間 00:12:35 - 00:12:36: これらすべてを合計して 00:12:36 - 00:12:40: ニューラル ネットワークの合計エラー 00:12:40 - 00:12:42: だからアイデア 00:12:42 - 00:12:44: 学習とアイデア全体 00:12:45 - 00:12:48: ウェイトを調整して 00:12:48 - 00:12:51: 誤差はできるだけ少なく 00:12:51 - 00:12:54: これが行われる方法は 00:12:54 - 00:12:56: 画像を入れて計算します 00:12:56 - 00:12:58: 最後にエラー 00:12:58 - 00:13:00: 次に、それらを調整する方法を探します 00:13:00 - 00:13:03: ウェイトを高くしたり低くしたりして、どちらかを作ります 00:13:03 - 00:13:04: そのエラーが上がる 00:13:04 - 00:13:06: またはダウンし、もちろん調整します 00:13:06 - 00:13:08: エラーを起こす方法の重み 00:13:11 - 00:13:14: これを行う際の問題はそれぞれです 00:13:14 - 00:13:17: 戻ってエラーを計算する時間 00:13:17 - 00:13:20: これらすべての重みを乗算する必要があります 00:13:20 - 00:13:23: それぞれのすべてのニューロン値によって 00:13:24 - 00:13:25: そして、私たちはそれを何度も繰り返さなければなりません 00:13:25 - 00:13:28: 体重ごとに1回 00:13:28 - 00:13:29: これには永遠に時間がかかります 00:13:29 - 00:13:32: 計算用語で 00:13:32 - 00:13:34: コンピューティング規模なので、それは 00:13:34 - 00:13:36: 大きなニューラルを訓練する実用的な方法 00:13:39 - 00:13:41: ただ転がすのではなく、想像することができます 00:13:41 - 00:13:43: 単純な谷の底まで 00:13:43 - 00:13:45: 非常に高い次元の谷を持ち、 00:13:45 - 00:13:48: 私たちは下る道を見つけなければなりません。 00:13:48 - 00:13:50: 非常に多くの次元があります 00:13:50 - 00:13:51: これらの重みのそれぞれ 00:13:52 - 00:13:54: 計算が法外になる 00:13:57 - 00:13:59: 幸いなことに洞察がありました 00:14:00 - 00:14:02: これを非常に合理的な方法で行いましょう 00:14:03 - 00:14:05: そしてそれはそれです 00:14:05 - 00:14:06: 私たちがどのように設計するかについて注意を払っていれば、 00:14:06 - 00:14:09: 計算できるニューラルネットワーク 00:14:09 - 00:14:12: 私たちができる勾配を直接傾斜させます 00:14:12 - 00:14:14: 必要な方向性を理解する 00:14:14 - 00:14:15: 重さを調整する 00:14:15 - 00:14:17: ずっと戻ることなく 00:14:17 - 00:14:22: ニューラルネットワークと再計算 00:14:22 - 00:14:25: 勾配を確認するだけです 00:14:25 - 00:14:27: 話しているのは、私たちが変化を起こすときです 00:14:27 - 00:14:30: 重量の誤差は少し変わります 01:11:20 - 01:11:21: そしてそれ 00:14:32 - 00:14:34: 重量の変化と 00:14:34 - 00:14:36: エラーの変更 00:14:36 - 00:14:38: は傾きです 00:14:38 - 00:14:40: 数学的にはいくつかの方法があります 00:14:40 - 00:14:41: これを書く 00:14:41 - 00:14:43: 一番下にあるものを優先します 00:14:43 - 00:14:45: 技術的に最も正しい 00:14:45 - 00:14:48: 省略形で d-e-d-w と呼びます 00:14:48 - 00:14:51: 見るたびに考える 00:14:52 - 00:14:53: エラーの変化 00:14:53 - 00:14:55: ウェイトを変更したとき 00:14:56 - 00:14:57: または上のものの変化 00:14:57 - 00:15:00: 一番下の物を変えると 00:15:00 - 00:15:03: ええと、これはええと、少し入ります 00:15:03 - 00:15:06: 微積分の導関数を取ります 00:15:06 - 00:15:08: それが勾配を計算する方法です。 00:15:08 - 00:15:10: あなたにとって新しい 00:15:10 - 00:15:12: の良い学期を強くお勧めします 00:15:12 - 00:15:14: 概念が 00:15:17 - 00:15:19: そして、ええと、それらの多くはとても素敵です 00:15:19 - 00:15:20: 私が見つけた物理的解釈 00:15:20 - 00:15:22: 非常に魅力的 00:15:22 - 00:15:25: でも心配しないでください。 00:15:25 - 00:15:27: この上で、残りの部分に注意を払う 00:15:27 - 00:15:28: そして、あなたはどのように 00:15:28 - 00:15:31: これは動作します 01:54:30 - 01:54:32: だからこの場合 00:15:32 - 00:15:34: 重みをプラス 1 だけ変更すると、 00:15:34 - 00:15:36: エラーはマイナス2で変化し、 00:15:36 - 00:15:39: マイナス2の傾き 00:15:39 - 00:15:42: それは私たちの方向性を教えてくれます 00:15:42 - 00:15:44: 体重と体重を調整する必要があります 00:15:44 - 00:15:49: エラーを下げるように調整する必要があります 00:15:49 - 00:15:50: これを行うには、何を知る必要がありますか 00:15:50 - 00:15:52: あなたのエラー関数は 00:15:52 - 00:15:54: エラー関数があると仮定します 00:15:54 - 00:15:57: 重量の二乗でした 00:15:57 - 00:15:59: そしてあなたは私たちの体重を見ることができます 00:15:59 - 00:16:02: -1 です 00:16:02 - 00:16:03: 最初に行うことは、 00:16:05 - 00:16:07: 誤差の変化を変化で割った値 00:16:07 - 00:16:09: 体重d e d w 00:16:09 - 00:16:11: 重みの 2 乗の導関数は 2 です 00:16:11 - 00:16:13: 重さ倍 00:16:13 - 00:16:14: マイナスの重みを差し込む 00:16:14 - 00:16:18: 1 で、マイナスの傾き d e d w が得られます 00:16:22 - 00:16:24: これを可能にするもう1つのトリック 00:16:24 - 00:16:27: ディープ ニューラル ネットワークとの連鎖は 00:16:27 - 00:16:29: これがどのように機能するかを示すために、 00:16:29 - 00:16:31: を備えた非常に単純な自明なニューラル ネットワーク 00:16:31 - 00:16:34: 1 つの非表示レイヤーのみ 1 つの入力レイヤー 00:16:34 - 00:16:37: 1 つの出力レイヤーと 1 つの重み 00:16:37 - 00:16:39: それぞれをつなぐ 00:16:39 - 00:16:42: したがって、y の値が 00:16:42 - 00:16:44: ちょうど値 x 倍の重量です 00:16:44 - 00:16:48: それらを接続する w1 00:16:48 - 00:16:50: したがって、w1 を少し変更すると、 00:16:50 - 00:16:53: に関して y の微分を取る 00:16:54 - 00:16:56: そして、私が変化した場合、傾きは x になります。 00:16:56 - 00:17:00: w1 を少しだけ変更すると、y は次のように変化します。 00:17:00 - 00:17:04: その調整のサイズの x 倍 00:17:04 - 00:17:06: 同様に、次のステップについても見ることができます 00:17:06 - 00:17:07: その e 00:17:08 - 00:17:09: 値 y だけです 00:17:09 - 00:17:11: 重量 w2 倍 00:17:11 - 00:17:14: したがって、d e d y を計算すると、 00:17:14 - 00:17:16: ただw 00:17:16 - 00:17:19: 2. このネットワークは非常にシンプルなので、 00:17:19 - 00:17:22: 端から端まで計算できる 00:17:22 - 00:17:25: x 回 w1 回 w2 00:17:25 - 00:17:27: はエラー e 00:17:27 - 00:17:30: 計算したい場合は 00:17:30 - 00:17:32: w1 を変更するとエラーは変わりますか? 00:17:32 - 00:17:34: それの導関数を取るだけです 00:17:34 - 00:17:35: w1に関して 00:17:36 - 00:17:38: x 回 w2 を取得します 00:17:38 - 00:17:41: これはあなたが今ここで見ることができることを示しています 00:17:41 - 00:17:44: 今計算したものは実際には 00:17:46 - 00:17:49: 私たちが取った一次導関数 00:17:52 - 00:17:55: 次のステップ d e d y の導関数 00:17:55 - 00:17:59: 掛け合わせた 00:17:59 - 00:18:01: これは連鎖しています 00:18:01 - 00:18:03: あなたはそれぞれの小さなものの傾きを計算することができます 00:18:05 - 00:18:08: そして、それらすべてを掛け合わせます 00:18:08 - 00:18:11: 完全なチェーンの勾配を取得するには 00:18:11 - 00:18:13: 全鎖の導関数 00:18:13 - 00:18:15: したがって、より深いニューラル ネットワークでは、これは 00:18:15 - 00:18:18: 方法を知りたい場合は次のようになります 00:18:18 - 00:18:20: 誤差が大きく変わる 00:18:20 - 00:18:22: 深部にあるウェイトを調整すると 00:18:22 - 00:18:26: ネットワーク私は導関数を計算するだけです 00:18:26 - 00:18:29: それぞれの小さな小さなステップのすべての方法 00:18:29 - 00:18:30: 私がしようとしている体重に戻る 00:18:32 - 00:18:35: そして、それらをすべて掛け合わせます 00:18:35 - 00:18:38: これは計算上何回も 00:18:39 - 00:18:41: 以前にやらなければならなかったことよりも 00:18:41 - 00:18:42: 全体の誤差を再計算する 00:18:42 - 00:18:47: 重みごとのニューラル ネットワーク 00:18:47 - 00:18:49: 今私たちが持っているニューラルネットワークで 00:18:49 - 00:18:51: いくつかある 00:18:51 - 00:18:54: 私たちがしなければならない逆伝播の種類 00:18:54 - 00:18:55: 私たちがしなければならないいくつかの操作があります 00:18:55 - 00:18:58: それらのそれぞれに対して行う 00:18:58 - 00:18:59: を計算できなければなりません。 00:19:00 - 00:19:02: 最初のものは重み付けされたものです 00:19:02 - 00:19:07: 2 つのニューロン a と b の間の接続 00:19:07 - 00:19:10: の変化を知っているとしましょう 00:19:10 - 00:19:11: bに関する誤差 00:19:11 - 00:19:14: エラーの変化を知りたい 00:19:14 - 00:19:15: に敬意を表します 00:19:15 - 00:19:20: そこにたどり着くには、db daを知る必要があります 00:19:20 - 00:19:22: そのためには、次のように記述します 00:19:22 - 00:19:24: b と a の関係 00:19:24 - 00:19:26: に関して b の微分を取る 00:19:26 - 00:19:28: a 重みを得る w 00:19:28 - 00:19:31: そして今、私たちはその一歩を踏み出す方法を知っています 00:19:31 - 00:19:32: その方法を知っている 00:19:32 - 00:19:36: 逆伝播の小さなナゲット 00:19:36 - 00:19:38: 私たちが見た別の要素 00:19:38 - 00:19:39: は合計です 00:19:39 - 00:19:41: 私たちのすべてのニューロンは、 00:19:43 - 00:19:46: この逆伝播ステップを実行するには 00:19:46 - 00:19:48: 私たちは私たちが書いたのと同じことをします 00:19:50 - 00:19:52: そして、導関数を取ります 00:19:52 - 00:19:56: 私たちのエンドポイント z の 00:19:56 - 00:19:59: 伝播しているステップ 00:19:59 - 00:20:02: この場合の dz da は 1 つだけです。 00:20:02 - 00:20:05: の合計がある場合、これは理にかなっています 00:20:05 - 00:20:07: たくさんの要素 00:20:07 - 00:20:09: それらの要素の1つを1つ増やします 00:20:09 - 00:20:12: 合計が 1 増加することを期待します 00:20:13 - 00:20:16: 1の傾きの定義 00:20:16 - 00:20:20: そこに一対一の関係 00:20:20 - 00:20:22: 私たちが持っている別の要素 00:20:22 - 00:20:24: 逆伝播できる必要があるのは 00:20:24 - 00:20:26: シグモイド関数 00:20:26 - 00:20:28: だからこれはもう少し 00:20:28 - 00:20:30: 数学的に興味深い 00:20:30 - 00:20:31: 私たちはそれを書くだけです 00:20:31 - 00:20:34: シグマ関数のような省略形 00:20:34 - 00:20:37: ええと、ええと行くことは完全に実行可能です 00:20:37 - 00:20:39: を通して、これの導関数を取ります 00:20:40 - 00:20:42: そしてそれを計算する 00:20:42 - 00:20:45: たまたまこの機能が 00:20:45 - 00:20:47: 素敵な物件を持っています 00:20:47 - 00:20:49: その派生物を取得するには 00:20:51 - 00:20:53: 1マイナス自体 00:20:53 - 00:20:56: これは非常に簡単です 00:21:00 - 00:21:01: 使用した別の要素は 00:21:01 - 00:21:03: 整流された線形ユニット 00:21:03 - 00:21:05: 戻る方法を理解するためにもう一度 00:21:05 - 00:21:07: これを広めて、書き出すだけです 00:21:08 - 00:21:11: a が正の場合、b は a に等しい 00:21:11 - 00:21:13: それ以外の場合はゼロです 00:21:14 - 00:21:16: 私たちが取るそれらのそれぞれについて区分的に 00:21:16 - 00:21:20: 導関数であるため、db da は次のいずれかです。 00:21:20 - 00:21:24: 正またはゼロ 00:21:24 - 00:21:26: これらすべてと同様に 00:21:26 - 00:21:29: 少しの逆伝播ステップ 00:21:29 - 00:21:31: そしてそれらを連鎖させる能力 00:21:32 - 00:21:35: 調整の効果を計算できます 00:21:35 - 00:21:37: 任意の重み 00:21:37 - 00:21:38: エラーについて 00:21:38 - 00:21:41: 任意の入力に対して 00:21:41 - 00:21:43: そして訓練する 00:21:44 - 00:21:47: 完全に接続されたネットワークから始めます 00:21:47 - 00:21:49: これらの重みのどれかはわかりません 00:21:49 - 00:21:51: する必要があります 00:21:51 - 00:21:53: そのため、すべてのランダムな値を割り当てます 00:21:53 - 00:21:55: 私たちは完全に 00:21:55 - 00:21:58: 任意のランダム ニューラル ネットワーク 00:21:58 - 00:22:01: 知っている入力を入れます 00:22:01 - 00:22:03: 固体かどうかはわかります 00:22:03 - 00:22:05: 垂直斜めまたは水平なので、 00:22:06 - 00:22:07: 真実がどうあるべきかを知る 00:22:07 - 00:22:11: 誤差を計算できます 00:22:12 - 00:22:14: 実行してエラーを計算します 00:22:14 - 00:22:17: 逆伝播を使用して通過する 00:22:17 - 00:22:20: これらのウェイトをすべて微調整します 00:22:20 - 00:22:23: 少し正しい方向に 00:22:23 - 00:22:24: そして、私たちは別のものでそれをもう一度行います 00:22:24 - 00:22:28: 入力し、別の入力でもう一度 00:22:28 - 00:22:29: 私たちはそれを回避することができれば 00:22:29 - 00:22:33: 何千回、何百万回も 00:22:33 - 00:22:36: そして最終的にこれらの重みはすべて 00:22:36 - 00:22:39: 彼らはその多くを転がり落ちます 00:22:39 - 00:22:42: 次元の谷から素敵な低い場所へ 00:22:42 - 00:22:44: 底に 00:22:44 - 00:22:46: それは本当にうまく機能し、 00:22:46 - 00:22:49: ほとんどの点で真実にかなり近い 00:22:52 - 00:22:54: 本当に運が良ければ、次のようになります 00:22:54 - 00:22:58: 私たちが直感的に始めたこと 00:23:00 - 00:23:03: それらのニューロンの受容野と 00:23:03 - 00:23:05: 比較的まばら 00:23:05 - 00:23:07: 表現は、ほとんどの 00:23:07 - 00:23:08: 重みは 00:23:08 - 00:23:11: 小さいかゼロに近く、そうではない 00:23:11 - 00:23:13: いつもそうなるけど、 00:23:13 - 00:23:16: 私たちが保証しているのは、 00:23:16 - 00:23:19: あなたのかなり良い表現を見つける 00:23:19 - 00:23:21: 調整できることをよく知っている 00:23:21 - 00:23:22: それらの重み 00:23:22 - 00:23:24: できるだけ右側に寄せる 00:23:24 - 00:23:30: すべての入力に対する答え 00:23:30 - 00:23:32: ここまで説明してきたことは 00:23:32 - 00:23:33: 原則の基本的な紹介 00:23:33 - 00:23:36: 私が教えていないニューラルネットワークの背後にある 00:23:36 - 00:23:38: あなたは外出するのに十分です 00:23:38 - 00:23:39: 独自のものを作成します 00:23:39 - 00:23:41: でもやる気があるなら 00:23:41 - 00:23:43: 私はそれを強くお勧めします 00:23:44 - 00:23:45: ここにいくつかのリソースがあります 00:23:46 - 00:23:47: 役に立つ 00:23:47 - 00:23:49: バイアスについて学びたいと思うでしょう 00:23:50 - 00:23:53: ドロップアウトは便利なトレーニング ツールです 00:23:53 - 00:23:56: 利用可能なリソースがいくつかあります 00:23:56 - 00:24:00: の専門家であるアンドレ・カルパティから 00:24:00 - 00:24:02: ニューラルネットワークと優れた教育 00:24:02 - 00:24:05: それについても素晴らしいことがあります 00:24:05 - 00:24:07: ディープの黒魔術と呼ばれる記事 00:24:07 - 00:24:09: たくさんある学習 00:24:09 - 00:24:12: 塹壕のヒントから実用的 00:24:12 - 00:24:15: それらをうまく機能させる方法について 00:24:16 - 00:24:17: ニューラルネットワークは難しいことで有名です 00:24:17 - 00:24:19: 解釈する 00:24:19 - 00:24:20: 彼らが実際に何であるかを知るのは難しい 00:24:20 - 00:24:22: 彼らを訓練するときの学習 00:24:22 - 00:24:23: それでは、詳しく見てみましょう 00:24:23 - 00:24:25: うまく撮れるかどうか 00:24:25 - 00:24:27: 内部で何が起こっているのか 00:24:27 - 00:24:30: 他のすべての監視対象マシンと同じように 00:24:30 - 00:24:31: 学習モデル 00:24:31 - 00:24:33: ニューラル ネットワークは関係を学習します 00:24:33 - 00:24:35: 入力変数と出力の間 00:24:37 - 00:24:39: 実際、それがどのように関連しているかさえ見ることができます 00:24:39 - 00:24:41: 最もアイコニックなモデルへ 00:24:41 - 00:24:44: 線形回帰 00:24:44 - 00:24:45: 単純な線形回帰は、 00:24:46 - 00:24:47: 間の直線関係 00:24:47 - 00:24:49: 入力変数 x 00:24:50 - 00:24:52: および出力変数 y 00:24:52 - 00:24:55: x に定数を掛ける 00:24:55 - 00:24:57: これはたまたまの傾きでもあります 00:24:57 - 00:24:59: この線 00:24:59 - 00:25:01: そしてそれは別の定数 b に追加されます 00:25:01 - 00:25:03: たまたま行がどこにあるか 00:25:03 - 00:25:06: y 軸を横切る 00:25:06 - 00:25:08: これを絵で表すことができます 00:25:08 - 00:25:10: 入力値 x 00:25:10 - 00:25:15: 定数を m 倍する 00:25:15 - 00:25:17: b を 1 倍する 00:25:18 - 00:25:19: そして、それらは一緒に追加されて 00:25:21 - 00:25:24: これは y のグラフ表示です 00:25:24 - 00:25:25: m x に等しい 00:25:26 - 00:25:29: プラスb 00:25:30 - 00:25:32: 左端の円形の記号 00:25:32 - 00:25:34: 値が渡されたことを示すだけです 00:25:35 - 00:25:39: m および b とラベル付けされた長方形 l 00:25:48 - 00:25:50: に何が入るかを示します 00:25:40 - 00:25:44: 左にmまたはbを掛けて出てきます 00:25:46 - 00:25:48: 大文字のシグマのボックス 00:25:50 - 00:25:53: 左が足し合わされて吐き出される 00:25:55 - 00:25:57: すべての名前を変更できます 00:25:57 - 00:25:59: 別の表現の記号 00:25:59 - 00:26:01: これはまだ直線です 00:26:01 - 00:26:02: 私たちが変えたばかりの関係 00:26:02 - 00:26:05: すべての変数の名前 00:26:05 - 00:26:07: 私たちがこれを行っている理由は 00:26:07 - 00:26:10: 線形回帰を 00:26:10 - 00:26:13: ニューラル ネットワークで使用する表記法 00:26:13 - 00:26:15: これは物事を追跡するのに役立ちます 00:26:15 - 00:26:18: 私たちが前進するにつれて 00:26:18 - 00:26:20: この時点で、私たちはまっすぐに曲がりました 00:26:20 - 00:26:23: 直線方程式をネットワークに 00:26:23 - 00:26:25: ネットワークとは、ノードを持つすべてのものです 00:26:25 - 00:26:28: エッジで接続 01:14:45 - 01:14:47: この場合 00:26:29 - 00:26:33: xサブ0とxサブ1 00:26:33 - 00:26:35: 入力ノードです 00:26:35 - 00:26:39: v sub 0 は出力ノードです 00:26:39 - 00:26:41: そしてそれらをつなぐ重みは 00:26:43 - 00:26:44: これは伝統的な意味ではありません 00:26:44 - 00:26:48: のようなプロットまたはグリッドを意味するグラフ 00:26:48 - 00:26:51: グラフ電卓または方眼紙 00:26:51 - 00:26:54: それはネットワークの正式な言葉です 00:26:54 - 00:26:57: エッジで接続されたノードの場合 00:26:57 - 00:26:58: 可能性のある別の用語 00:26:58 - 00:27:02: ヒアは有向非巡回グラフです 00:27:02 - 00:27:06: d-a-g または dag a と省略されます。 00:27:06 - 00:27:08: グラフは、エッジがちょうど入る場所です 00:27:08 - 00:27:09: ひとつの方向 00:27:09 - 00:27:11: 私たちの場合には 00:27:11 - 00:27:14: 入力は出力に行きますが、出力はありません 00:27:14 - 00:27:16: 入力に戻ります 00:27:16 - 00:27:19: 私たちのエッジは向けられています 00:27:20 - 00:27:23: ループを描くことができないことを意味します 00:27:23 - 00:27:25: ノードにアクセスすると、ノードはありません 00:27:25 - 00:27:27: エッジからノード、エッジへとジャンプする方法 00:27:28 - 00:27:29: ノードに戻り、元の場所に戻ります 00:27:30 - 00:27:32: すべてが一方向に流れる 00:27:32 - 00:27:35: グラフを通して 00:27:35 - 00:27:36: モデルのタイプを把握できます 00:27:36 - 00:27:39: このネットワークが学習できること 00:27:39 - 00:27:40: のランダムな値を選択することによって 00:27:42 - 00:27:47: w サブ 0 0 と w サブ 1 00:27:47 - 00:27:49: そして、どんな関係が飛び出すかを見る 00:27:49 - 00:27:51: 間で 00:27:51 - 00:27:52: ×サブ1 00:27:52 - 00:27:54: および v サブ 0。 00:27:54 - 00:27:57: 0 の x を 1 に設定したことを思い出してください。 00:27:57 - 00:27:59: いつもそこに持っている 00:27:59 - 00:28:02: これはバイアスと呼ばれる特別なノードです 00:28:04 - 00:28:06: 当然のことながら、 00:28:06 - 00:28:08: そこから生まれる関係 00:28:08 - 00:28:11: 線形モデルはすべて直線です 00:28:11 - 00:28:13: 結局、私たちは方程式を取りました 00:28:13 - 00:28:16: 行を再配置しましたが、私たちは 00:28:16 - 00:28:18: 実質的には変更していません 00:28:21 - 00:28:22: 制限しなければならない理由はない 00:28:22 - 00:28:25: 自分自身を 1 つの入力変数に 00:28:25 - 00:28:27: もう1つ追加できます 00:28:27 - 00:28:30: ここで x は 0 です 00:28:30 - 00:28:34: xサブ1とxサブ2。 00:28:34 - 00:28:37: x sub 2 と私たちの間にエッジを描きます 00:28:38 - 00:28:40: 重みで 00:28:41 - 00:28:43: サブ 2 0 00:28:43 - 00:28:45: ×サブ2 00:28:45 - 00:28:48: 倍 w サブ 2 0 00:28:48 - 00:28:49: 再びです 00:28:49 - 00:28:52: あなたサブ2 0 00:28:52 - 00:28:55: そして、私たちのすべてのuが一緒に追加されます 00:28:55 - 00:28:58: v サブ 0 を作成します。 00:28:58 - 00:29:00: さらに多くの入力を追加できます 00:37:04 - 00:37:05: 私たちが欲しい 00:29:02 - 00:29:04: これはまだ一次方程式ですが、 00:29:04 - 00:29:06: 二次元である代わりに、 00:29:06 - 00:29:09: 三次元以上にする 00:29:09 - 00:29:11: これを数学的に書くと 00:29:11 - 00:29:14: 非常に面倒なので、ショートカットを使用します 00:29:14 - 00:29:17: 下付き文字 i に置き換えます 00:29:17 - 00:29:19: 入力のインデックスの場合、それは 00:29:19 - 00:29:23: 私たちが話している入力の数 00:29:23 - 00:29:27: これにより、 u sub i zero と書くことができます 00:29:27 - 00:29:28: 私たちのどこ 00:29:28 - 00:29:30: あなたのサブ私 00:29:30 - 00:29:32: x sub i に等しい 00:29:32 - 00:29:36: 回 w サブ i ゼロ 00:29:36 - 00:29:39: 繰り返しますが、出力 v サブゼロはちょうど 00:29:39 - 00:29:43: i のすべての値の合計 00:29:43 - 00:29:47: u sub i zeroの 00:29:47 - 00:29:48: この 3 次元の場合、次のことができます。 00:29:48 - 00:29:50: 出現するモデルをもう一度見てください 00:29:50 - 00:29:54: w sub i をランダムに選択すると 00:29:54 - 00:29:57: 重みをゼロにする 00:29:57 - 00:29:59: 私たちが期待するように 00:29:59 - 00:30:01: 私たちはまだ3次元を取得します 00:30:01 - 00:30:03: この線の平面に相当する 00:30:05 - 00:30:06: これをさらに拡張すると 00:30:06 - 00:30:08: m次元を取得する入力 00:30:08 - 00:30:10: と呼ばれる行に相当する 00:30:10 - 00:30:13: m次元超平面 00:30:13 - 00:30:15: ここまでは順調ですね 00:30:15 - 00:30:17: 今、私たちはより洗練されたものになり始めることができます 00:30:17 - 00:30:19: 私たちのインプット 00:30:19 - 00:30:22: x sub 1 は出力 v によく似ています 00:30:22 - 00:30:24: ゼロ以下 00:30:24 - 00:30:26: 実際、私たちを妨げるものは何もありません 00:30:26 - 00:30:28: 私たちの出力を取得することから 00:30:28 - 00:30:31: そして、それを別の入力として使用します 00:30:31 - 00:30:34: このようなネットワーク 00:30:34 - 00:30:37: 今、私たちは2つの別々の同一のものを持っています 00:30:38 - 00:30:42: 下付きローマ数字 i を追加できます 00:30:42 - 00:30:46: および下付きローマ数字 i i または two 00:30:46 - 00:30:49: に応じて私たちの方程式に 00:30:49 - 00:30:51: 参照しているレイヤー 00:30:51 - 00:30:53: そして、私たちの x を覚えておく必要があります 00:30:53 - 00:30:54: サブ1 00:30:54 - 00:30:56: レイヤー2で 00:30:56 - 00:31:01: レイヤー 1 の v sub 0 と同じです。 00:31:01 - 00:31:03: これらの式は同じだからです 00:31:03 - 00:31:05: そして各レイヤー 各レイヤー 00:31:05 - 00:31:07: これを次のように減らすことができます。 00:31:07 - 00:31:10: 下付き文字を追加する一連の方程式 00:31:10 - 00:31:12: 大文字の l は、現在のレイヤーを表します 00:31:12 - 00:31:15: について話す 00:31:15 - 00:31:17: ここで続行すると、次のように仮定します 00:31:17 - 00:31:19: すべてのレイヤーが同一であり、 00:31:19 - 00:31:21: 方程式をきれいに保ちましょう 00:31:21 - 00:31:23: 首都 l のうち 00:31:23 - 00:31:25: しかし、覚えておいてください 00:31:25 - 00:31:26: 完全に正しいだろうし、 00:31:26 - 00:31:29: verbose l を追加します 00:31:29 - 00:31:32: すべての終わりに添え字 00:31:32 - 00:31:36: 属するレイヤーを指定する 00:31:36 - 00:31:38: これで2つのレイヤーができました 00:31:38 - 00:31:40: 接続できない理由はありません 00:31:40 - 00:31:43: それらを複数の場所で 00:31:43 - 00:31:45: 最初のレイヤー生成の代わりに 00:31:45 - 00:31:47: 1 つの出力だけで、複数の出力を作成できます 00:31:49 - 00:31:52: この図では、2 番目の出力を追加します 00:31:52 - 00:31:53: v サブ 1 00:31:53 - 00:31:55: これを接続します 00:31:55 - 00:31:58: 2番目のレイヤーへの3番目の入力へ 00:31:58 - 00:32:01: ×サブ2。 00:32:01 - 00:32:04: x sub 0 入力が 00:32:04 - 00:32:07: すべてのレイヤーは常に 1 になります。 00:32:08 - 00:32:10: そのバイアスノードは、 00:32:12 - 00:32:14: 現在2つのノードがあります 00:32:14 - 00:32:16: 両層で共有 00:32:16 - 00:32:19: それに応じて方程式を修正できます 00:32:19 - 00:32:22: どの共有ノードを指定するか 00:32:22 - 00:32:24: について話している 00:32:24 - 00:32:26: それらはまったく同じように動作するため、 00:32:26 - 00:32:29: 効率的で方程式を再利用する 00:32:29 - 00:32:33: ただし、添え字jを指定できます 00:32:33 - 00:32:35: 私たちが話している出力を示すために 00:32:37 - 00:32:40: i番目の入力を接続している場合 00:32:40 - 00:32:43: j番目の出力へ 00:32:44 - 00:32:48: i と j によって重みが決まります 00:32:48 - 00:32:49: 適用されます 00:32:49 - 00:32:53: そして、あなたは一緒に追加されます 00:32:53 - 00:32:57: 出力 v サブ j を作成する 00:32:57 - 00:32:58: これは何回でもできます 00:33:00 - 00:33:02: これらの共有ノードをいくつでも追加できます 00:33:02 - 00:33:03: 私たちが気にするように 00:33:03 - 00:33:06: モデルは全体として知っているだけです 00:33:06 - 00:33:10: 入力 x sub 1 を最初の層に 00:33:10 - 00:33:11: そして出力 00:33:11 - 00:33:15: v 最後のレイヤーのサブ 0 00:33:15 - 00:33:16: 誰かの視点から 00:33:16 - 00:33:18: モデルの外に座って共有 00:33:18 - 00:33:20: レイヤー 1 とレイヤー 2 の間のノードは 00:33:21 - 00:33:24: 彼らはブラックボックスの中にいる 00:33:24 - 00:33:26: このため、彼らは隠されていると呼ばれています 00:33:28 - 00:33:30: この2層を線形にすることができます 00:33:31 - 00:33:34: 100 個の隠しノードを作成する 00:33:34 - 00:33:36: すべての重みをランダムに設定する 00:33:36 - 00:33:39: そして、それが生成するモデルを確認します 00:33:40 - 00:33:43: この構造をすべて追加した後でも 00:33:43 - 00:33:45: 結果のモデルはまだまっすぐです 00:33:46 - 00:33:48: 実際にはいくつでも構いません 00:33:48 - 00:33:49: レイヤーまたは隠しノードの数 00:33:49 - 00:33:51: 各レイヤーは 00:33:51 - 00:33:54: これらの線形要素の任意の組み合わせ 00:33:54 - 00:33:57: 重みと合計を使用すると、常に 00:33:57 - 00:33:59: 直線的な結果を出す 00:33:59 - 00:34:01: これは実際にはの特徴の1つです 00:34:01 - 00:34:03: それをとても簡単にする線形計算 00:34:03 - 00:34:04: 一緒に働く 00:34:04 - 00:34:07: 残念ながら、私たちにとっては 00:34:07 - 00:34:09: 本当に退屈なモデル 00:34:09 - 00:34:11: 直線で十分な場合もある 00:34:11 - 00:34:13: しかし、それが私たちがニューラルに行く理由ではありません 00:34:13 - 00:34:15: 私たちが何かを欲しがるネットワーク 00:34:15 - 00:34:18: もう少し洗練された 00:34:18 - 00:34:20: より柔軟なモデルを得るために 00:34:20 - 00:34:22: いくつか追加する必要があります 00:34:24 - 00:34:27: ここで線形方程式を修正します 00:34:27 - 00:34:31: 出力を計算した後 v sub 0 00:34:31 - 00:34:34: 私たちはそれを別の機能に服従させます 00:34:35 - 00:34:37: 線形ではない 00:34:37 - 00:34:38: 結果を呼び出します 00:34:38 - 00:34:41: yサブゼロ 00:34:41 - 00:34:44: 非常に一般的な非線形関数の 1 つ 00:34:44 - 00:34:48: ここに追加するのはロジスティック関数です 00:34:48 - 00:34:50: s のような形をしているので、 00:34:50 - 00:34:53: シグモイド関数とも呼ばれる 00:34:53 - 00:34:55: それは混乱を招く可能性がありますが 00:34:55 - 00:34:57: 技術的には、 00:34:57 - 00:35:00: s はシグモイド 00:35:00 - 00:35:02: ロジスティックの感覚をつかむことができます 00:35:02 - 00:35:04: 関数はランダムを選択することで次のようになります 00:35:04 - 00:35:06: この 1 つの入力の重み 00:35:06 - 00:35:09: 1 出力 1 層ネットワーク 00:35:09 - 00:35:13: そして家族との出会い 00:35:13 - 00:35:15: ロジスティックの注目すべき特徴の 1 つ 00:35:15 - 00:35:17: 関数は、それらがゼロの間にあるということです 00:35:17 - 00:35:18: そして一つ 00:35:18 - 00:35:19: このため、彼らはまた呼ばれます 00:35:19 - 00:35:22: スカッシュ関数 00:35:22 - 00:35:24: あなたは直線を取ることを想像することができます 00:35:24 - 00:35:27: 次に、エッジを押しつぶして曲げます 00:35:27 - 00:35:29: 全体が 00:35:29 - 00:35:30: ものは 0 から 1 の間に収まる 00:35:30 - 00:35:34: どこまで行っても 00:35:34 - 00:35:36: ロジスティック関数を使用すると、 00:35:36 - 00:35:37: マシンとの別の接続に私たち 00:35:37 - 00:35:41: 学習モデルのロジスティック回帰 00:35:41 - 00:35:43: これは少し混乱します 00:35:43 - 00:35:45: 回帰とは、 00:35:45 - 00:35:48: 入力と 00:35:49 - 00:35:51: 通常、直線または曲線の形で 00:35:51 - 00:35:55: またはある種の表面 00:35:55 - 00:35:57: ロジスティック回帰は実際には次のように使用されます 00:35:57 - 00:36:00: ほとんどの場合分類子 00:36:00 - 00:36:01: 間の関係を見つけます 00:36:01 - 00:36:04: 連続入力変数と 00:36:04 - 00:36:07: カテゴリ出力変数 00:36:07 - 00:36:09: 1つのカテゴリの観測を扱います 00:36:09 - 00:36:11: ゼロとして 00:36:11 - 00:36:12: 他の観察を扱います 00:36:12 - 00:36:14: ものとして分類する 00:36:14 - 00:36:16: そして、ロジスティック関数を見つけます 00:36:16 - 00:36:20: これらすべての観察に最もよく適合する 00:36:20 - 00:36:22: 次に、モデルを解釈するために、 00:36:22 - 00:36:25: 多くの場合、しきい値は約 0.5 です。 00:36:25 - 00:36:28: 曲線がしきい値を超えています 00:36:30 - 00:36:32: その行の左側のすべてが 00:36:32 - 00:36:34: 1 つのカテゴリに分類されると予測され、 00:36:34 - 00:36:36: その行の右側のすべてが 00:36:36 - 00:36:39: 他に転落すると予想 00:36:39 - 00:36:41: これは、回帰アルゴリズムが取得する方法です 00:36:41 - 00:36:43: 分類に変更 00:36:45 - 00:36:48: 線形関数と同様に、 00:36:48 - 00:36:51: 入力を追加しない理由 00:36:51 - 00:36:52: ロジスティック回帰ができることを知っています 00:36:52 - 00:36:54: 多くの入力変数を操作し、 00:36:54 - 00:36:58: グラフでもそれを表すことができます 00:36:58 - 00:37:00: ここでは 1 つだけ追加します 00:37:00 - 00:37:01: プロット3を維持するために 00:37:01 - 00:37:04: 次元ですが、いくつでも追加できます 00:37:05 - 00:37:07: これがどのタイプの関数かを確認するには 00:37:07 - 00:37:09: ネットワークは作成できます 束を選択できます 00:37:09 - 00:37:11: 重みのランダム値 00:37:12 - 00:37:14: あなたが期待していたように、機能 00:37:14 - 00:37:16: 私たちが作るものはまだS字型です 00:37:16 - 00:37:19: でも今は三次元です 00:37:19 - 00:37:21: 彼らは横に敷かれたテーブルクロスのように見えます 00:37:21 - 00:37:25: 高さの異なる 2 つのテーブル 00:37:25 - 00:37:27: さらに重要なことは、 00:37:27 - 00:37:30: 上に投影された等高線 00:37:30 - 00:37:32: プロットの床 00:37:32 - 00:37:34: それらがすべて完璧であることがわかります 00:37:34 - 00:37:37: この結果は、 00:37:38 - 00:37:40: 実行するために選択するしきい値 00:37:41 - 00:37:44: 入力スペースを2つに分割します 00:37:45 - 00:37:48: 分割線が直線である 00:37:48 - 00:37:51: これが、ロジスティック回帰が 00:37:51 - 00:37:55: 線形分類器として記述 00:37:55 - 00:37:57: 入力の数に関係なく 00:37:57 - 00:37:58: あなたがどんな次元空間であっても 00:37:58 - 00:37:59: で働く 00:37:59 - 00:38:01: ロジスティック回帰は常にそれを分割します 00:38:01 - 00:38:04: 線または平面を使用して 2 つの半分に 00:38:04 - 00:38:06: または適切な超平面 00:38:09 - 00:38:11: 別の一般的な非線形関数は 00:38:11 - 00:38:14: 双曲線正接 00:38:14 - 00:38:16: 物流と密接に関係している 00:38:16 - 00:38:17: 関数であり、非常に 00:38:18 - 00:38:20: 対称的な方法 00:38:20 - 00:38:22: ランダムに選択するとわかります 00:38:22 - 00:38:24: 重みと例を見てください 00:38:24 - 00:38:27: その双曲線正接曲線はちょうど見える 00:38:27 - 00:38:29: ロジスティック曲線のように 00:38:29 - 00:38:31: -1 から -1 の間で変化することを除いて 00:38:31 - 00:38:34: プラス1。 00:38:34 - 00:38:35: 以前にやろうとしたのと同じように 00:38:35 - 00:38:37: 出力を使用できる線形関数 00:38:37 - 00:38:40: あるレイヤーを別のレイヤーへの入力として 00:38:41 - 00:38:43: この方法でそれらを積み重ねることができます 00:38:43 - 00:38:45: 同じ方法で隠しノードを追加することもできます 00:38:45 - 00:38:47: 前にやった 00:38:47 - 00:38:49: ここでは、2 つの隠しノードを表示します。 00:38:49 - 00:38:51: 図をシンプルにするために 00:38:51 - 00:38:56: そこに好きなだけ想像できる 00:38:56 - 00:38:58: これにランダムな重みを選択すると 00:38:58 - 00:39:00: ネットワークを開き、見つけた出力を見てください 00:39:00 - 00:39:03: 物事が面白くなる 00:39:03 - 00:39:06: 私たちは線形の領域を離れました 00:39:06 - 00:39:08: 双曲線正接関数 00:39:08 - 00:39:10: 非線形です 00:39:10 - 00:39:12: それらを一緒に追加すると、 00:39:12 - 00:39:14: 必ずしも見えないもの 00:39:14 - 00:39:17: 双曲線正接のように 00:39:17 - 00:39:18: 曲線を取得します 00:39:19 - 00:39:22: 山と谷、そし​​てもっと広い 00:39:22 - 00:39:24: これまでに見たことのないさまざまな行動 00:39:24 - 00:39:28: 単層ネットワークで 00:39:28 - 00:39:29: 次のステップに進み、追加することができます 00:39:30 - 00:39:32: 私たちのネットワークへの別のレイヤー 00:39:33 - 00:39:35: 間に一連の隠しノードがあります 00:39:36 - 00:39:38: レイヤー 1 とレイヤー 2 および別のセットの 00:39:38 - 00:39:41: レイヤ 2 とレイヤの間の非表示ノード 00:39:43 - 00:39:46: ここでも、すべてに対してランダムな値を選択します 00:39:46 - 00:39:48: 重みとの種類を見てください 00:39:48 - 00:39:50: 生成できる曲線 00:39:50 - 00:39:54: 再びウィグルとピークが見えます 00:39:54 - 00:39:58: 谷と幅広い形状の選択 00:39:58 - 00:39:59: 違いがわかりにくい場合 00:39:59 - 00:40:01: これらの曲線と曲線の間 00:40:01 - 00:40:03: 2 層ネットワークによって生成される 00:40:03 - 00:40:05: それは彼らが数学的に 00:40:07 - 00:40:08: ここでは証明しようとはしませんが、 00:40:08 - 00:40:10: 素晴らしい結果があります 00:40:10 - 00:40:13: これは、作成できる任意の曲線を示しています 00:40:13 - 00:40:14: 多層を使ってメニューを学ぶ 00:40:14 - 00:40:17: 2 を使用して作成することもできるネットワーク 00:40:17 - 00:40:20: レイヤーネットワークが十分にある限り 00:40:20 - 00:40:23: 隠しノード 00:40:23 - 00:40:24: 多くの層を持つことの利点 00:40:24 - 00:40:26: ネットワークはあなたが作成するのを助けることができるということです 00:40:26 - 00:40:28: より複雑な曲線 00:40:28 - 00:40:30: より少ない合計ノードを使用する 00:40:30 - 00:40:32: たとえば、2 層ネットワークでは、 00:40:32 - 00:40:35: 100個の隠しノードを使用 00:40:35 - 00:40:37: 3層ネットワークでは、11を使用しました 00:40:37 - 00:40:40: 最初のレイヤーと 9 つの非表示ノード 00:40:40 - 00:40:42: 2 層目の隠しノード 00:40:42 - 00:40:44: それは全数のわずか 5 分の 1 です 00:40:44 - 00:40:46: 2層ネットワークで使用しましたが、 00:40:46 - 00:40:51: それが生成する曲線は、同様の豊かさを示しています 00:40:51 - 00:40:53: これらの派手な波線を使用して 00:40:53 - 00:40:55: で行ったように分類子を作成します 00:40:55 - 00:40:58: ロジスティック回帰 00:40:58 - 00:41:01: ここではカットオフとしてゼロラインを使用します 00:41:01 - 00:41:03: 曲線が交差するすべての場所 00:41:03 - 00:41:06: ゼロライン 仕切りがあります 00:41:06 - 00:41:08: 曲線が位置するすべての領域で 00:41:08 - 00:41:10: ゼロラインより上をこれと呼びます 00:46:11 - 00:46:13: カテゴリーa 00:41:12 - 00:41:13: 同様に、曲線があるところならどこでも 00:41:13 - 00:41:18: ゼロ線の下にはカテゴリ b があります 00:41:18 - 00:41:20: これらの非線形を区別するもの 00:41:20 - 00:41:22: 線形分類器からの分類器は、 00:41:22 - 00:41:25: スペースを2つに分割するだけではありません 00:41:27 - 00:41:29: この例では、a と b の領域は 00:41:31 - 00:41:33: を中心に分類器を構築する 00:41:33 - 00:41:35: 多層非線形ネットワークはそれを与えます 00:41:35 - 00:41:37: より多くの柔軟性 00:41:37 - 00:41:40: より複雑な関係を学習できる 00:41:40 - 00:41:42: この特定の組み合わせ 00:41:42 - 00:41:43: 多層ネットワーク 00:41:43 - 00:41:45: 双曲線正接非線形 00:41:45 - 00:41:49: 関数には独自の名前があります 00:41:51 - 00:41:53: あなたが1つしか持っていないときに推測できるように 00:41:53 - 00:41:55: パーセプトロンと呼ばれるレイヤーと 00:41:55 - 00:41:57: その場合、追加する必要さえありません 00:41:57 - 00:41:59: それを機能させるための非線形関数 00:41:59 - 00:42:02: 関数は依然として x 軸を横切ります 00:42:02 - 00:42:05: 全く同じ場所で 00:42:05 - 00:42:08: これは完全なネットワーク図です 00:42:08 - 00:42:11: 多層パーセプトロン 00:42:11 - 00:42:13: この表現は役に立ちます。 00:42:13 - 00:42:16: それはすべての単一の操作を明示的にします 00:42:16 - 00:42:18: ただし、視覚的にも雑然としています 00:42:18 - 00:42:20: 一緒に働くのは難しい 00:42:20 - 00:42:22: このため、ほとんどの場合 00:42:22 - 00:42:25: 円に見えるように簡略化 00:42:25 - 00:42:27: 線でつながれた 00:42:27 - 00:42:30: これは、私たちが見たすべての操作を意味します 00:42:30 - 00:42:31: 前の図に 00:42:32 - 00:42:33: 接続線にはそれぞれ重みがあります 00:42:33 - 00:42:35: それらに関連する 00:42:35 - 00:42:37: 隠しノードと出力ノードが実行されます 00:42:37 - 00:42:39: 加算と非線形スカッシング 00:42:39 - 00:42:41: しかし、この図ではすべてが 00:42:44 - 00:42:46: 実際、バイアスノード 00:42:46 - 00:42:47: 常に値を持つノード 00:42:47 - 00:42:49: 各レイヤーに 1 つ 00:42:49 - 00:42:52: わかりやすくするために省略されています 00:42:52 - 00:42:56: したがって、元のネットワークはこれに縮小されます 00:42:56 - 00:42:57: バイアス ノードはまだ存在し、 00:42:57 - 00:42:59: 彼らの操作はまったく変わっていません 00:42:59 - 00:43:01: しかし、きれいにするためにそれらを除外します 00:43:04 - 00:43:06: それぞれから 2 つの非表示ノードのみを表示します 00:43:06 - 00:43:08: ここにレイヤーを入れますが、実際にはかなり使用しました 00:43:08 - 00:43:10: さらにいくつかの 00:43:10 - 00:43:12: 図をきれいにするためにもう一度 00:43:12 - 00:43:14: 多くの場合、すべてを表示するわけではありません。 00:43:14 - 00:43:17: いくつかの非表示ノードと 00:43:17 - 00:43:20: 残りは暗示されます 00:43:20 - 00:43:22: これが一般的な図です 00:43:22 - 00:43:24: 三層用 00:43:24 - 00:43:28: 単一入力単一出力ネットワーク 00:43:28 - 00:43:30: の数を指定すると、 00:43:30 - 00:43:32: 出力数を入力し、 00:43:32 - 00:43:33: レイヤー数 00:43:33 - 00:43:35: およびそれぞれの隠しノードの数 00:43:36 - 00:43:38: 次に、ニューラルを完全に定義できます 00:43:41 - 00:43:44: 2 つの入力も見ることができます。 00:43:44 - 00:43:47: 単一出力ニューラル ネットワーク 00:43:47 - 00:43:49: 入力が2つあるから 00:43:49 - 00:43:51: その出力をプロットすると、 00:43:51 - 00:43:54: 三次元曲線 00:43:54 - 00:43:56: 再びランダムな重みを選択できます 00:43:56 - 00:43:58: 曲線を生成して、どのタイプの 00:43:58 - 00:43:59: このニューラル ネットワークの機能 00:43:59 - 00:44:02: 代表できる 00:44:02 - 00:44:04: これは本当に楽しいところです 00:44:04 - 00:44:07: 複数の入力を持つ複数のレイヤー 00:44:07 - 00:44:09: および非線形活性化関数 00:44:10 - 00:44:11: ニューラルネットワークは本当にクレイジーになる可能性があります 00:44:13 - 00:44:15: 彼らと言うのはほぼ正しい 00:44:15 - 00:44:18: 好きな形を作ることができます 00:44:18 - 00:44:19: ちょっと時間を取ってみる価値はあります 00:44:19 - 00:44:22: その制限が何であるかに注意してください 00:44:22 - 00:44:25: すべての関数が 00:44:25 - 00:44:27: プラスマイナス1の間に入る 00:44:27 - 00:44:31: 濃い赤と濃い緑の領域 00:44:31 - 00:44:33: この床と天井にキスをする 00:44:33 - 00:44:36: 範囲ですが、これを超えることはありません 00:44:36 - 00:44:38: ニューラルネットワークは適合できません 00:44:38 - 00:44:39: これの外に拡張された機能 00:44:42 - 00:44:44: また、これらの機能はすべて 00:44:44 - 00:44:46: 滑らかになりやすい 00:44:46 - 00:44:48: それらには丘と窪みと谷があり、 00:44:48 - 00:44:51: ウィグルとポイントとウェル 00:44:51 - 00:44:54: しかし、それはすべて比較的スムーズに起こります 00:44:54 - 00:44:56: 関数をたくさんあてはめたい場合 00:44:56 - 00:44:58: ギザギザのジャンプとドロップ このニューラル 00:44:58 - 00:45:00: ネットワークは非常にできないかもしれません 00:45:00 - 00:45:03: よくやった 00:45:03 - 00:45:06: ただし、これら2つの制限は別として 00:45:06 - 00:45:07: これが持つ多彩な機能 00:45:07 - 00:45:09: ニューラルネットワークが生成できるものはわずかです 00:45:12 - 00:45:15: 単一の出力ニューラルを変更しました 00:45:15 - 00:45:17: ネットワークが分類子になる 00:45:17 - 00:45:19: 多層パーセプトロンを見た 00:45:19 - 00:45:22: これを行う別の方法があります 00:45:22 - 00:45:24: 2出力ニューラルネットワークを使用できます 00:45:26 - 00:45:29: 3 層の出力 00:45:29 - 00:45:30: 1 つの入力 00:45:30 - 00:45:34: このようなニューラルネットワークを出力する 00:45:34 - 00:45:35: 多くのケースがあることがわかります 00:45:36 - 00:45:38: 2 つの曲線が交差する場所 00:45:38 - 00:45:42: 彼らがいくつかの場所で交差する例 00:45:42 - 00:45:45: これを使用して分類子を作成できます 00:45:45 - 00:45:48: 1つの出力がより大きい場合 00:45:49 - 00:45:51: 1つのカテゴリを意味することができます 00:45:51 - 00:45:54: 別のものを支配する 00:45:55 - 00:45:57: 2 つの出力関数が交差する場所 00:45:57 - 00:46:00: 垂直線を引くことができます 00:46:00 - 00:46:02: これにより、入力スペースが切り刻まれます 00:46:03 - 00:46:05: 各地域で 1 つの出力が大きい 00:46:05 - 00:46:07: 他より 00:46:07 - 00:46:09: たとえば、青い線がどこにあるか 00:46:09 - 00:46:11: より大きいと割り当てることができます 00:46:13 - 00:46:15: 桃色の線があるところ 00:46:15 - 00:46:19: 大きい地域はカテゴリーb 00:46:19 - 00:46:21: 多層パーセプトロンのように 00:46:21 - 00:46:23: これにより、スペースをより細かく切り刻むことができます 00:46:23 - 00:46:25: 線形分類器よりも複雑な方法 00:46:27 - 00:46:29: カテゴリ a とカテゴリ b の領域は、 00:46:29 - 00:46:35: 勝手に混ぜ合わせる 00:46:35 - 00:46:37: 出力が 2 つしかない場合は、 00:46:37 - 00:46:39: このようにすることの利点 00:46:39 - 00:46:41: 1つだけの多層パーセプトロン 00:46:41 - 00:46:43: 出力はまったく明確ではありません 00:46:45 - 00:46:47: 3 つ以上の出力に移動すると、 00:46:47 - 00:46:49: 物語の変化 00:46:49 - 00:46:52: これで、3 つの個別の出力があり、 00:46:52 - 00:46:54: 3つの別々の出力 00:46:54 - 00:46:57: 同じ基準を使用できる関数 00:46:57 - 00:47:00: 関数を最大にする 00:47:00 - 00:47:03: 値はカテゴリを決定します 00:47:03 - 00:47:06: 入力スペースを切り刻むことから始めます 00:47:06 - 00:47:08: どの機能が 00:47:08 - 00:47:10: 最高値 00:47:10 - 00:47:12: 各機能は、 00:47:13 - 00:47:15: 最初の関数を割り当てます 00:47:15 - 00:47:19: カテゴリaになり、すべての地域にラベルを付ける 00:47:19 - 00:47:21: 上にあるところ 00:47:21 - 00:47:23: カテゴリーaとして 00:47:23 - 00:47:24: 次に、2 番目で同じことができます 00:47:26 - 00:47:28: そして私たちの3番目 00:47:28 - 00:47:30: このトリックを使用すると、私たちはもはや 00:47:30 - 00:47:33: 2つのカテゴリに限定 00:47:33 - 00:47:35: 必要な数の出力ノードを作成できます 00:47:36 - 00:47:38: 入力スペースを学習して切り刻む 00:47:38 - 00:47:41: その多くのカテゴリに 00:47:41 - 00:47:43: 注目に値するのは、 00:47:43 - 00:47:46: カテゴリは非常に最高ではないかもしれません 00:47:47 - 00:47:49: 場合によっては、 00:47:49 - 00:47:51: とても近い 00:47:51 - 00:47:53: 1 つのカテゴリが勝者として宣言されます 00:47:53 - 00:47:55: しかし、次の次点者はほぼ同じかもしれません 00:47:58 - 00:48:00: 延長できない理由はない 00:48:00 - 00:48:02: 2 つ以上の入力に対するこのアプローチ 00:48:02 - 00:48:04: 残念ながら、それは難しくなります 00:48:06 - 00:48:07: これらのいくつかを想像する必要があります 00:48:07 - 00:48:10: それぞれの上にゴツゴツした景観プロット 00:48:10 - 00:48:12: 一部の地域では、1 つが大きくなります。 00:48:12 - 00:48:14: 他のものより 00:48:14 - 00:48:17: そのカテゴリが関連付けられたその地域で 00:48:17 - 00:48:20: その出力で支配的になります 00:48:20 - 00:48:22: 何の定性的な感覚を得るために 00:48:22 - 00:48:25: これらの地域はあなたができるように見えるかもしれません 00:48:25 - 00:48:27: 上に投影された等高線を見てください 00:48:27 - 00:48:29: これらの区画の床 00:48:30 - 00:48:32: 多層パーセプトロンの場合 00:48:32 - 00:48:35: これらのプロットはすべて y でスライスされています 00:48:35 - 00:48:37: ゼロレベルに等しい 00:48:38 - 00:48:39: つまり、床を見れば 00:48:40 - 00:48:43: 緑の色合いのすべてが 00:48:43 - 00:48:45: 1 つのカテゴリとあらゆる色合いのすべて 00:48:45 - 00:48:49: 赤の他のカテゴリになります 00:48:49 - 00:48:50: 最初に飛び出すのは 00:48:50 - 00:48:52: これらのカテゴリーの境界はどれだけ多様か 00:48:52 - 00:48:54: 彼らです 00:48:54 - 00:48:56: それらのいくつかはほぼ直線です 00:48:56 - 00:48:59: 微振動ではあるが 00:48:59 - 00:49:01: それらのいくつかはよりワイルドな曲がりを持ち、 00:49:01 - 00:49:03: 曲線とそれらのいくつかは入力を切り刻みます 00:49:03 - 00:49:05: 切り離されたいくつかにスペースアップ 00:49:05 - 00:49:07: 緑と赤の領域 00:49:07 - 00:49:09: 時々小さな島があります 00:49:09 - 00:49:12: 真ん中の緑または赤の島 00:49:12 - 00:49:15: 別の色の海 00:49:15 - 00:49:17: さまざまな境界が 00:49:17 - 00:49:21: これは非常に強力な分類ツールです 00:49:21 - 00:49:23: 私たちが見ることができる1つの制限 00:49:23 - 00:49:25: このように、境界は 00:49:25 - 00:49:28: すべて滑らかに湾曲 00:49:28 - 00:49:30: 時にはそれらの曲線は非常に鋭い 00:49:30 - 00:49:33: でも普段は優しく丸みを帯びている 00:49:33 - 00:49:36: これは、自然な選好を示しています。 00:49:36 - 00:49:38: 双曲線正接を持つニューラル ネットワーク 00:50:02 - 00:50:04: 活性化関数 00:49:40 - 00:49:43: 滑らかな機能と滑らかな 00:49:44 - 00:49:46: この調査の目標は、取得することでした 00:49:46 - 00:49:48: どのような種類のものかについての直感的な感覚 00:49:48 - 00:49:50: 関数とカテゴリ境界ニューラル 00:49:50 - 00:49:52: ネットワークは、使用時に学習できます 00:49:52 - 00:49:55: 回帰または分類 00:49:55 - 00:49:57: 私たちは彼らの力と彼らの両方を見てきました 00:49:57 - 00:50:00: 滑らかさに対する明確な好み 00:50:00 - 00:50:02: 2 つの非線形のみを見てきました。 00:50:04 - 00:50:06: ロジスティック正接と双曲線タンジェントの両方 00:50:06 - 00:50:09: これらは非常に密接に関連しています 00:50:09 - 00:50:10: 他にもたくさんあります 00:50:10 - 00:50:12: 彼らはシャープを捉えるのが少し上手です 00:50:14 - 00:50:16: 調整された線形単位または relu の 00:50:17 - 00:50:19: であるサーフェスと境界を生成します。 00:50:19 - 00:50:21: かなりシャープ 00:50:21 - 00:50:23: しかし、私の望みはあなたの直感に種をまくことでした 00:50:23 - 00:50:25: 実際に何が起こるかのいくつかの例で 00:50:25 - 00:50:27: ボンネットの下で起こっている 00:50:27 - 00:50:29: ニューラルネットワークを訓練するとき 00:50:29 - 00:50:31: ここに最も重要なことがあります 00:50:33 - 00:50:35: ニューラルネットワークは機能を学習し、 00:50:35 - 00:50:37: 回帰に使用する 00:50:37 - 00:50:39: 一部のアクティベーション関数は、 00:50:39 - 00:50:41: 出力範囲が一致する限り 00:50:41 - 00:50:43: 出力の期待される範囲 00:50:43 - 00:50:46: 問題ない 00:50:46 - 00:50:48: 2 番目のニューラル ネットワークは、ほとんどの場合 00:50:48 - 00:50:50: 分類に使用 00:50:50 - 00:50:53: 彼らはそれがかなり上手であることを証明しました 00:50:54 - 00:50:56: ニューラルネットワークはスムーズに作成する傾向があります 00:50:56 - 00:50:59: 回帰に使用する場合の関数 00:50:59 - 00:51:01: 使用時にカテゴリの境界を滑らかにする 00:51:01 - 00:51:04: 分類用 00:51:06 - 00:51:08: 完全に接続されたバニラ ニューラルの場合 00:51:09 - 00:51:11: 2 層ネットワークは任意の 00:51:11 - 00:51:15: ディープネットワークが学習できる関数 00:51:15 - 00:51:17: しかし、深いネットワークができるかもしれません 00:51:17 - 00:51:21: より少ないノードで学習する 00:51:21 - 00:51:23: 5番目に、入力が 00:51:23 - 00:51:26: 正規化されている、つまり平均値が近い 00:51:26 - 00:51:28: ゼロおよびそれ以下の標準偏差 03:09:01 - 03:09:02: 1つより 00:51:30 - 00:51:31: これにより、ニューラル ネットワークがさらに 00:51:31 - 00:51:35: 彼らの関係に敏感 00:51:35 - 00:51:36: これがあなたが飛び込むときに役立つことを願っています 00:51:36 - 00:51:38: あなたの次のプロジェクト 00:51:38 - 00:51:40: 幸せな建物 00:51:40 - 00:51:42: 畳み込みニューラルへようこそ 00:51:42 - 00:51:46: ネットワークの仕事 00:51:46 - 00:51:48: 畳み込みニューラル ネットワークまたは 00:51:48 - 00:51:51: convnets または cnns 00:51:51 - 00:51:53: かなりクールなことをすることができます 00:51:53 - 00:51:55: あなたが彼らにたくさんの写真を与えたら 00:51:55 - 00:51:57: たとえば、彼らはいくつかのことを学びます 00:51:57 - 00:52:00: エッジやドットブライトなどの基本的なもの 00:52:00 - 00:52:02: スポット ダークスポット 00:52:02 - 00:52:04: そして、それらは多層であるため 00:52:06 - 00:52:07: それが最初に学んだことです 00:52:07 - 00:52:09: レイヤー 2 番目のレイヤーは、 00:52:09 - 00:52:13: 目鼻口として認識可能です 00:52:13 - 00:52:14: そして3番目のレイヤーは見えるものです 00:52:14 - 00:52:16: 好きな顔 00:52:16 - 00:52:18: 同様に、たくさんの餌を与えると 00:52:18 - 00:52:21: 車の画像を最下層まで 00:52:21 - 00:52:22: 次のようなものが再び得られます 00:52:23 - 00:52:25: そしてもっと高いところにあるものを見てください 00:52:25 - 00:52:27: タイヤとホイールハウスのように見える 00:52:28 - 00:52:30: そしてそれより上のレベルでは 00:52:30 - 00:52:35: 車として明確に識別できる 00:52:35 - 00:52:38: cnn's はビデオ ゲームのプレイ方法を学習することもできます 00:52:38 - 00:52:41: としてピクセルのパターンを形成することによって 00:52:41 - 00:52:43: それらは画面に表示されます 00:52:43 - 00:52:45: 最善の行動は何かを学び、 00:52:46 - 00:52:48: 特定のパターンを見たときに取る 00:52:48 - 00:52:51: CNN は、ビデオ ゲームをプレイすることを学ぶことができます。 00:52:51 - 00:52:53: いくつかのケースは、これまでの人間よりもはるかに優れています 00:52:56 - 00:52:59: それだけでなく、 00:52:59 - 00:53:02: cnns を監視するように設定します 00:53:02 - 00:53:03: ユーチューブの動画 00:53:03 - 00:53:06: オブジェクトを学ぶことができます 00:53:06 - 00:53:08: 再びパターンを選び出し、 00:53:08 - 00:53:11: 他の人は握りの種類を学ぶことができます 00:53:11 - 00:53:13: これはその後、他のいくつかと組み合わされます 00:53:13 - 00:53:15: 実行ソフトウェア 00:53:15 - 00:53:18: ロボットに料理を学ばせることができる 00:53:18 - 00:53:21: ユーチューブを見るだけで 00:53:22 - 00:53:25: したがって、CNN が強力であることは間違いありません 00:53:25 - 00:53:27: 通常、それらについて話すときはそうします 00:53:28 - 00:53:29: 私たちが話すのと同じように 00:53:30 - 00:53:33: でも彼らは魔法じゃない 彼らがすることは 00:53:33 - 00:53:35: いくつかのかなり基本的なアイデアに基づいて 00:53:35 - 00:53:38: 巧妙な方法で適用された 00:53:38 - 00:53:40: これらを説明するために 00:53:40 - 00:53:43: 非常に単純なおもちゃの畳み込みニューラル 00:53:44 - 00:53:45: これは何をしますか 00:53:45 - 00:53:48: 二次元の画像を取り込みます 00:53:48 - 00:53:51: と考えることができるピクセルの配列 00:53:51 - 00:53:53: チェッカーボードと各正方形 00:53:53 - 00:53:56: チェッカーボードは明るいか暗いかのどちらかです 00:53:56 - 00:53:58: そしてそれを見て、cnn 00:53:58 - 00:54:01: x の画像かどうかを決定します 00:54:01 - 00:54:03: または o の 00:54:05 - 00:54:08: その上に、次の画像が表示されます 00:54:08 - 00:54:11: 黒地に白のピクセルで描かれた x 00:54:11 - 00:54:13: 背景と特定したい 00:54:13 - 00:54:15: これを×として 00:54:15 - 00:54:17: そして、o 00:54:17 - 00:54:20: oとして識別したい 00:54:20 - 00:54:23: cnn がこれを行う方法 00:54:23 - 00:54:26: ええと、いくつかのステップがあります 00:54:26 - 00:54:29: 何が難しいのか 00:54:29 - 00:54:31: xがまったく同じではないということです 00:54:32 - 00:54:35: x または o をシフトすることができます。 00:54:35 - 00:54:37: 大きくも小さくも回転できます 00:54:38 - 00:54:39: より厚くまたはより薄く 00:54:39 - 00:54:41: どの場合でも、私たちはまだしたいと思っています 00:54:41 - 00:54:45: x か o かを特定する 00:54:45 - 00:54:47: これが難しい理由は 00:54:47 - 00:54:49: 私たちのためだから 00:54:49 - 00:54:51: この 2 つのことが 00:54:51 - 00:54:53: 同様のことは簡単です。 00:54:53 - 00:54:54: それについて考えなければならない 00:54:54 - 00:54:58: コンピューターにとって、それは非常に難しい 00:54:58 - 00:54:59: コンピュータが見ているもの 00:54:59 - 00:55:01: これはチェッカーボードですか 02:45:08 - 02:45:10: 二次元配列 00:55:03 - 00:55:05: 数の集まりとして 00:55:05 - 00:55:07: 1 とマイナス 1 は明るい 00:55:07 - 00:55:11: ピクセル マイナス 1 は黒いピクセル 00:55:11 - 00:55:13: そしてそれができることは、ピクセルを通過することです 00:55:13 - 00:55:15: ピクセルごとに一致するかどうかを比較します 00:55:15 - 00:55:16: か否か 00:55:16 - 00:55:19: だからコンピュータにコンピュータに 00:55:19 - 00:55:21: 画素数が多いように見える 00:55:21 - 00:55:23: 一致しますが、一部は一致しません 00:55:23 - 00:55:24: 実際にそうでないものはほとんどありません 00:55:24 - 00:55:26: これを見て「ああ」と言うかもしれません 00:55:26 - 00:55:28: これらが正しいかどうかはよくわかりません 00:55:31 - 00:55:32: コンピューターが 00:55:32 - 00:55:34: 文字通り私は言うだろう 00:55:34 - 00:55:39: 不確かなので、それらが等しいとは言えません 00:55:39 - 00:55:41: 現在、畳み込みのトリックの1つ 00:55:41 - 00:55:44: ニューラル ネットワークの使用は、 00:55:45 - 00:55:47: 全体ではなく 00:55:47 - 00:55:49: したがって、それをより小さなものに分解すると 00:55:49 - 00:55:51: 部品または機能 00:55:51 - 00:55:54: その後、それははるかに明確になります 00:55:54 - 00:55:59: この二つが似ているかどうか 00:55:59 - 00:56:02: これらの小さな機能の例は 00:56:03 - 00:56:05: この場合のミニ画像は 3 つだけです 00:56:05 - 00:56:07: ピクセル×3ピクセル 00:56:07 - 00:56:10: 左側のものは対角線です 00:56:10 - 00:56:13: 左から右に下向きに斜めに 00:56:13 - 00:56:15: 右側も対角線です 00:56:15 - 00:56:17: 他の方向に傾いている 00:56:17 - 00:56:20: 真ん中のはちょっと× 00:56:20 - 00:56:21: これらは大きなものの小さな断片です 00:56:23 - 00:56:26: そして、あなたがあなたなら私たちが通り抜けるのを見ることができます 00:56:26 - 00:56:27: 適切な機能を選択して配置する 00:56:27 - 00:56:30: イメージに合った適切な場所 00:56:32 - 00:56:35: 大丈夫、私たちは断片を持っています 00:56:35 - 00:56:38: 今、一歩を踏み出すために 00:56:38 - 00:56:41: これらを一致させる背後にある数学があります 00:56:41 - 00:56:43: フィルタリングと呼ばれる 00:56:43 - 00:56:46: これが行われる方法は機能です 00:56:46 - 00:56:48: の小さなパッチと並んでいます 00:56:49 - 00:56:52: そして、ピクセルは1つずつ 00:56:54 - 00:56:57: それらは互いに乗算されます 00:56:57 - 00:56:59: そして、それを合計して、で割ります 00:56:59 - 00:57:02: 総画素数 00:57:02 - 00:57:03: これをステップスルーして理由を確認します 00:57:03 - 00:57:05: あなたが見ることができるこれを行うことは理にかなっています 00:57:05 - 00:57:08: の左上のピクセルから開始 00:57:08 - 00:57:10: 機能パッチと画像パッチの両方 00:57:10 - 00:57:14: 1 を 1 で掛けると 1 になります 00:57:14 - 00:57:16: そして、次のように置くことでそれを追跡できます 00:57:16 - 00:57:18: そのピクセルの位置に 00:57:18 - 00:57:21: 私たちは比較しています 00:57:21 - 00:57:23: 私たちは次のマイナス1回に進みます 00:57:23 - 00:57:26: マイナス1も1 00:57:26 - 00:57:29: そして私たちは歩み続けます 00:57:29 - 00:57:31: ピクセルごと 00:57:31 - 00:57:33: それらすべてを互いに乗算し、 00:57:33 - 00:57:35: 彼らはいつも同じだから 00:57:35 - 00:57:37: 答えはいつも一つ 00:57:37 - 00:57:39: 私たちが終わったら、これらすべてのものを取ります 00:57:39 - 00:57:42: それらを合計して9で割ります 00:57:42 - 00:57:44: そして答えは一つ 00:57:44 - 00:57:46: そのため、どこにあるかを追跡したいと思います 00:57:46 - 00:57:49: その機能は画像にあり、私たちは入れました 00:57:49 - 00:57:51: 機能を配置するときに言う 00:57:51 - 00:57:54: ここでは、1 の一致を取得します 00:57:54 - 00:57:58: それがフィルタリング 00:57:58 - 00:58:02: これで、同じ機能を使用できます 00:58:02 - 00:58:04: 別の位置に移動し、 00:58:04 - 00:58:07: フィルタリングを再度実行し、開始します 00:58:07 - 00:58:08: 同じパターンで最初のピクセル 00:58:08 - 00:58:11: 2 番目のピクセルに一致 00:58:11 - 00:58:13: 3 番目のピクセルが一致しません 00:58:13 - 00:58:16: マイナス 1 かける 1 はマイナス 1 に等しいので、 00:58:16 - 00:58:17: 私たちはそれを記録します 00:58:17 - 00:58:19: 私たちの結果では 00:58:19 - 00:58:20: そして私たちはそれをやり遂げます 00:58:20 - 00:58:22: 残りの画像パッチ 00:58:22 - 00:58:23: 完了したら、次のことがわかります。 00:58:23 - 00:58:25: 今回は2マイナス1 00:58:25 - 00:58:28: 合計するすべてのピクセルを合計します 00:58:28 - 00:58:30: 五分九九 00:58:30 - 00:58:32: 5 点が得られるので、これは 00:58:32 - 00:58:34: 私たちのものとは非常に異なります 00:58:34 - 00:58:37: その中に 0.55 を記録できます 00:58:37 - 00:58:41: 発生した場所 00:58:41 - 00:58:43: フィルターを移動することで 00:58:43 - 00:58:45: 画像のさまざまな場所 00:58:45 - 00:58:47: 実際には異なる値を見つけます 00:58:47 - 00:58:51: フィルタがどの程度一致するか、またはどの程度一致するか 00:58:51 - 00:58:53: その機能はその場所で表されます 00:58:54 - 00:58:56: これが地図になります 00:58:56 - 00:59:00: 機能が発生する場所 00:59:00 - 00:59:03: 可能な限りすべての場所に移動することによって 00:59:04 - 00:59:06: 畳み込みを行います 00:59:06 - 00:59:09: それはただの繰り返し適用です 00:59:09 - 00:59:11: この機能 このフィルター 何度も 00:59:13 - 00:59:15: そして私たちが得るものは素敵です 00:59:15 - 00:59:18: この場所の全体像をマッピングします 00:59:18 - 00:59:20: 機能が発生する 00:59:20 - 00:59:22: これを見ると、これは理にかなっています 00:59:22 - 00:59:24: 特徴は斜線斜め 00:59:24 - 00:59:26: 左から右へ 00:59:26 - 00:59:27: 一致する 00:59:28 - 00:59:30: の左下から右への対角線 00:59:30 - 00:59:33: x だから、フィルタリングされたものを見ると 00:59:33 - 00:59:35: 画像は、すべての高 00:59:35 - 00:59:39: 数字の 1 と .77 は問題ありません 00:59:39 - 00:59:41: その対角線に沿って 00:59:42 - 00:59:43: その機能 00:59:43 - 00:59:45: その対角線に沿ってはるかによく一致します 00:59:45 - 00:59:51: 画像の他の場所よりも 00:59:51 - 00:59:53: ここで簡略表記を使用するには 00:59:53 - 00:59:55: その中に丸を入れて少し×をする 00:59:55 - 00:59:57: 畳み込みを表す 00:59:57 - 01:00:00: すべての可能な一致を試す行為 01:00:00 - 01:00:03: 他の機能でもそれを繰り返します 01:00:03 - 01:00:06: x フィルターを使用してそれを繰り返すことができます 01:00:06 - 01:00:08: 真ん中と上向きの傾斜 01:00:08 - 01:00:10: 下の斜めの線 01:00:10 - 01:00:13: そして、それぞれの場合で、取得したマップ 01:00:13 - 01:00:15: その機能が発生する場所 01:00:15 - 01:00:17: 私たちが期待するものと一致しています 01:00:17 - 01:00:19: x と 01:00:19 - 01:00:25: 私たちの特徴が一致する場所について 01:00:26 - 01:00:28: 画像を畳み込む行為 01:00:28 - 01:00:30: たくさんのフィルターを使って 01:00:31 - 01:00:35: フィルタリングされた画像のスタックを作成する 01:00:35 - 01:00:39: 畳み込みレイヤーと呼びますか 01:00:39 - 01:00:41: それは操作であるため、レイヤー 01:00:41 - 01:00:44: これから示すように、他の人と積み重ねることができます 01:00:44 - 01:00:49: すぐに 01:00:49 - 01:00:52: 畳み込みでは、1つの画像がスタックになります 01:00:52 - 01:00:53: フィルタリングされた画像の多くを取得します 01:00:54 - 01:00:58: フィルタがあるため、画像を除外しました 01:00:58 - 01:01:01: 畳み込み層は1つのトリックです 01:01:01 - 01:01:03: 我々は持っています 01:01:03 - 01:01:05: 次の大きなトリックは 01:01:05 - 01:01:07: プーリングと呼ばれる 01:01:07 - 01:01:10: これは、画像スタックを縮小する方法です 01:01:10 - 01:01:11: これはとても簡単です 01:01:12 - 01:01:14: 通常は 2 のウィンドウ サイズから始めます 01:01:14 - 01:01:17: 2 ピクセル単位または 3 × 3 ピクセル単位 01:01:17 - 01:01:20: 歩幅は通常 2 ピクセルです 01:01:20 - 01:01:22: これらの作業を最もよく練習する 01:01:22 - 01:01:25: そして、その窓を取り、それを歩きます 01:01:25 - 01:01:28: フィルタリングされた各 01:01:29 - 01:01:31: 各ウィンドウから最大値を取ります 01:01:33 - 01:01:35: これを説明するために、私たちは私たちから始めます 01:01:35 - 01:01:37: 最初のフィルター処理された画像 01:01:37 - 01:01:39: 2 ピクセル x 2 ピクセルのウィンドウがあります 01:01:39 - 01:01:41: そのピクセル内の最大値は 01:01:42 - 01:01:45: それを追跡してから 01:01:45 - 01:01:47: 2 ピクセルの歩幅 2 ピクセル移動 01:01:48 - 01:01:49: 右に繰り返します 01:01:50 - 01:01:51: そのウィンドウ外の最大値は 01:01:53 - 01:01:56: など 0.55 01:01:56 - 01:01:57: そして最後にたどり着いたとき、私たちはそうしなければなりません 01:01:57 - 01:01:59: 私たちが持っているクリエイティブ 01:01:59 - 01:02:01: すべてのピクセルを代表するわけではありません 01:02:01 - 01:02:03: だから私たちはそこにあるものの最大を取ります 01:02:04 - 01:02:05: そして私たちはこれを全世界で続けています 01:02:05 - 01:02:08: 全体像と完成時 01:02:08 - 01:02:11: 最終的には同様のパターンになります 01:02:11 - 01:02:13: でも小さい 01:02:13 - 01:02:16: 私たちはまだ私たちの高い価値がすべてであることがわかります 01:02:16 - 01:02:18: 斜めに 01:02:18 - 01:02:21: ただし、7 x 7 ピクセルの代わりに 01:02:22 - 01:02:23: フィルタリングされた画像には、フォーバイがあります 01:02:23 - 01:02:26: 4 ピクセルの画像なので、半分の大きさです。 01:02:26 - 01:02:29: それは〜についてだった 01:02:29 - 01:02:31: これは非常に理にかなっています 01:02:31 - 01:02:32: もしあなたが想像できるなら 01:02:32 - 01:02:35: 9 x 9 ピクセルの画像から始めます 01:02:35 - 01:02:37: 私たちは9000から始めました 01:02:37 - 01:02:39: それを縮小する9000ピクセルの画像 01:02:40 - 01:02:43: それを扱うのに便利です 01:02:43 - 01:02:45: 小さくします 01:02:45 - 01:02:46: それがする他のこと 01:02:46 - 01:02:50: プーリングはどこでも構いません 01:02:50 - 01:02:53: 最大値が発生するウィンドウ 01:02:53 - 01:02:55: そのため、少し感度が低くなります 01:02:56 - 01:02:57: 配置する 01:02:57 - 01:02:59: これがどのように展開するかというと、 01:02:59 - 01:03:01: あなたが探している 01:03:01 - 01:03:03: 画像の特定の機能 01:03:03 - 01:03:05: 少し左に 少し左に 01:03:05 - 01:03:07: 少し回転させれば 01:03:07 - 01:03:12: それでも拾われる 01:03:12 - 01:03:15: だから私たちはすべてで最大プーリングを行います 01:03:15 - 01:03:17: フィルタリングされた画像のスタック 01:03:17 - 01:03:19: そして、あらゆる場合に取得します 01:03:19 - 01:03:25: フィルタリングされた画像のより小さなセット 01:03:25 - 01:03:28: これが私たちの 2 番目のトリック 3 番目のトリックです 01:03:31 - 01:03:33: これは、数学を維持するための単なるステップです 01:03:33 - 01:03:34: 爆破から 01:03:34 - 01:03:38: ゼロにならないように 01:03:38 - 01:03:40: あなたがここでするすべて 01:03:40 - 01:03:42: あなたのイメージのどこにでもあります 01:03:42 - 01:03:45: 負の値があること 01:04:02 - 01:04:04: ゼロに変更 01:03:47 - 01:03:49: たとえば、過去を振り返ると 01:03:49 - 01:03:51: フィルタリングされた画像 01:03:51 - 01:03:54: 整流線形単位と呼ばれます 01:03:54 - 01:03:57: を行う小さな計算ユニット 01:03:57 - 01:04:00: これは、ステップスルーするだけです 01:04:00 - 01:04:02: どこにでも負の値があります 01:04:04 - 01:04:07: 別の負の値をゼロに変更します 01:04:07 - 01:04:09: あなたが終わる頃には、あなたは非常に 01:04:09 - 01:04:11: 似てる画像 01:04:11 - 01:04:13: 負の値がないことを除いて 01:04:13 - 01:04:15: それらはただのゼロです 01:04:16 - 01:04:18: これをすべての画像で行います 01:04:18 - 01:04:19: そしてこれは別のものになります 01:04:20 - 01:04:21: レイヤーの種類 01:04:21 - 01:04:24: したがって、修正された線形単位層では 01:04:24 - 01:04:26: 画像のスタックはのスタックになります 03:00:40 - 03:00:44: 負の値のない画像 01:04:31 - 01:04:32: さぁ何が楽しいの 魔法が始まる 01:04:32 - 01:04:34: ここで起こる 01:04:34 - 01:04:36: これらの層の畳み込みを取ると 01:04:36 - 01:04:39: 層 調整された線形単位層と 01:04:39 - 01:04:42: レイヤーをプーリングし、それらを積み重ねます 01:04:42 - 01:04:44: 1つの出力が入力になること 01:04:44 - 01:04:46: 次の 01:04:46 - 01:04:48: それぞれに何が入っているかがわかります 01:04:48 - 01:04:50: これらとこれらから何が生まれるか 01:04:50 - 01:04:53: ピクセルの配列のように見えるか、 01:04:53 - 01:04:56: ピクセル配列の配列 01:04:58 - 01:05:00: そのため、それらをうまく積み重ねることができます 01:05:00 - 01:05:02: 1つの出力を使用できます 01:05:02 - 01:05:05: 次の入力とそれらを積み重ねることによって 01:05:05 - 01:05:08: これらの操作を上に構築します 01:05:08 - 01:05:10: お互いの 01:05:10 - 01:05:13: さらに、スタックを繰り返すことができます 01:05:13 - 01:05:15: あなたが想像できる深い積み重ねを行うことができます 01:05:15 - 01:05:18: だけではないサンドイッチを作る 01:05:18 - 01:05:19: パテ一枚とチーズ一枚と 01:05:20 - 01:05:21: レタス1個とトマト1個、丸ごと1個 01:05:21 - 01:05:22: たくさんの 01:05:22 - 01:05:24: 層 ダブル トリッパー トリプル 四重 01:05:24 - 01:05:27: デッカーは何度でも 01:05:29 - 01:05:30: 画像が取得します 01:05:30 - 01:05:32: 通過するにつれてよりフィルタリングされます 02:56:48 - 02:56:50: 畳み込み層 01:05:34 - 01:05:36: 通過するにつれて小さくなります 01:05:36 - 01:05:40: プーリング層 01:05:40 - 01:05:43: 今最終層 01:05:43 - 01:05:45: 私たちのツールボックスでは完全に 01:05:47 - 01:05:51: ここですべての値が投票されます 01:05:51 - 01:05:53: 答えがどうなるかについて 01:05:53 - 01:05:55: だから私たちは今私たちの多くのフィルタリングを取り、 01:05:56 - 01:05:58: 画像のスタックサイズが大幅に縮小されました 01:05:58 - 01:06:00: それらを分解して、並べ替えて配置するだけです 01:06:00 - 01:06:01: それらを 1 つのリストにまとめます。 01:06:01 - 01:06:03: そのように視覚化しやすい 01:06:03 - 01:06:05: そして、それらのそれぞれが1つに接続します 01:06:05 - 01:06:07: 投票する予定の回答の 01:06:09 - 01:06:11: これを x に入れると 01:06:12 - 01:06:14: ここには特定の値があります 01:06:14 - 01:06:16: 高い傾向がある 予測する傾向がある 01:06:16 - 01:06:18: 非常に強く、これは x になります 01:06:18 - 01:06:20: 彼らは多くの票を獲得します 01:06:20 - 01:06:24: x の結果 01:06:25 - 01:06:28: oの写真をフィードするとき 01:06:28 - 01:06:31: 畳み込みニューラル ネットワークに 01:06:31 - 01:06:33: ここには最後に特定の値があります 01:06:33 - 01:06:35: それは非常に高くなる傾向があり、 01:06:35 - 01:06:36: いつになるかを強く予測する 01:06:36 - 01:06:38: 末尾に o を付ける 01:06:38 - 01:06:40: だから彼らは強い体重を得る 01:06:41 - 01:06:44: o カテゴリの場合 01:06:44 - 01:06:46: 今、新しい入力を取得し、取得していないとき 01:06:46 - 01:06:49: それが何であるかを知り、私たちは決定したい 01:06:49 - 01:06:51: これが機能する方法 01:06:51 - 01:06:53: 入力は私たちのすべてを通過します 01:06:56 - 01:06:58: 調整された線形ユニットのプーリング層 01:06:58 - 01:07:00: ここで最後に出てきます 01:07:00 - 01:07:02: 一連の投票 01:07:02 - 01:07:05: そして重みに基づいて 01:07:06 - 01:07:08: 各値が投票する 01:07:08 - 01:07:10: 最後に良い平均票を獲得します 01:07:10 - 01:07:12: この場合、この特定のセット 01:07:12 - 01:07:14: の強さで x の投票を入力します 01:07:17 - 01:07:20: 強度が 0.51 の o 01:07:20 - 01:07:23: ここでは間違いなく x が勝者です 01:07:24 - 01:07:27: ニューラルネットワークはこれを分類します 01:07:27 - 01:07:32: xとして入力 01:07:32 - 01:07:35: したがって、完全に接続されたレイヤーで 01:07:35 - 01:07:37: 特徴値のリスト 01:07:37 - 01:07:40: 投票のリストになります 01:07:41 - 01:07:43: 繰り返しますが、ここで素晴らしいのは、 01:07:44 - 01:07:46: 機能のリストのように見えます 01:07:46 - 01:07:49: 値を使用して、1 つの出力を使用できます。 01:07:49 - 01:07:51: 次の入力用 01:07:51 - 01:07:53: あなたは中間を持つことができます 01:07:53 - 01:07:56: あなたの最終投票ではないカテゴリ 01:07:56 - 01:07:57: または、これらは非表示と呼ばれることもあります 01:07:57 - 01:07:59: ニューラルネットワークのユニットで、次のことができます 01:08:00 - 01:08:01: これらをいくつでも積み重ねてください 01:08:01 - 01:08:03: も欲しい 01:08:03 - 01:08:05: でも最終的にはみんな投票してしまう 01:08:05 - 01:08:07: x または o と、 01:08:07 - 01:08:11: 最多得票 01:08:11 - 01:08:13: したがって、これをすべてまとめると 01:08:15 - 01:08:17: のピクセルの 2 次元配列 01:08:17 - 01:08:20: カテゴリの投票のセットになります 01:08:20 - 01:08:24: 一番端に出て 01:08:24 - 01:08:26: だから私たちが持っているいくつかのものがあります 01:08:26 - 01:08:28: ここで光沢があります 01:08:28 - 01:08:30: あなたは自分自身に尋ねているかもしれません 01:08:30 - 01:08:33: マジックナンバーの由来 01:08:33 - 01:08:35: 私が薄い空気から引き出したもの 01:08:35 - 01:08:38: に機能を含める 01:08:38 - 01:08:42: 便利な畳み込み層 01:08:42 - 01:08:44: 3 ピクセル× 3 ピクセルの対角線 01:08:44 - 01:08:46: x の行 01:08:47 - 01:08:49: 投票の重み 01:08:49 - 01:08:50: 完全に接続されたレイヤーで私は本当に 01:08:50 - 01:08:52: それらがどのようであるかについて私の手を振った 01:08:54 - 01:08:56: これらすべての場合において、答えは 01:08:56 - 01:08:58: 同じように呼び戻されるトリックがあります 01:09:00 - 01:09:02: これらはすべてあなたが持っていない学習です 01:09:02 - 01:09:03: それらを知るために、推測する必要はありません 01:09:05 - 01:09:08: ディープ ニューラル ネットワークはこれを 01:09:10 - 01:09:13: 背後にある基本原則 01:09:13 - 01:09:15: 伝播は、 01:09:16 - 01:09:19: 最終的な答えは、方法を決定するために使用されます 01:09:19 - 01:09:22: ネットワークが調整する 01:09:22 - 01:09:23: と変化 01:09:25 - 01:09:28: x を入れることを知っていれば 01:09:28 - 01:09:32: xに対して0.92票を獲得しました 01:09:32 - 01:09:36: それは0.08の誤差になります 01:09:36 - 01:09:40: そして、oに0.51票を獲得しました 01:09:40 - 01:09:41: 私たちはそれがエラーになることを知っています 01:09:43 - 01:09:45: 実際には 0.51 の誤差です。 01:09:45 - 01:09:48: 0 である必要があります。すべてを合計すると 01:09:48 - 01:09:53: 0.59 になるはずのエラーが表示されます 01:09:54 - 01:09:57: このエラー信号で何が起こるか 01:09:57 - 01:09:59: と呼ばれるプロセスを推進するのに役立ちますか 01:10:09 - 01:10:11: 勾配降下法 01:10:02 - 01:10:03: 他に何かあれば 01:10:05 - 01:10:07: 深い神経にかなり特別なソースです 01:10:07 - 01:10:09: ネットワーク それができる能力です 01:10:11 - 01:10:14: したがって、これらのマジックナンバーのそれぞれについて 01:10:14 - 01:10:16: 特徴ピクセルの各投票重み 01:10:16 - 01:10:19: それらは非常に上下に調整されています 01:10:20 - 01:10:24: エラーがどのように変化するかを確認するには 01:10:24 - 01:10:26: 調整された量 01:10:26 - 01:10:29: 誤差の大きさによって決まる 01:10:29 - 01:10:31: 大きなエラー 彼らはたくさん調整されています 01:10:31 - 01:10:34: ほんの少しだけ小さく、エラーはありません 01:10:34 - 01:10:36: まったく調整されていません 01:10:36 - 01:10:39: 答えて、いじるのやめて 01:10:39 - 01:10:41: それらが調整されているので、あなたは考えることができます 01:10:41 - 01:10:42: そのように 01:10:42 - 01:10:45: ボールを少し左にスライドさせ、 01:10:45 - 01:10:47: 望む丘の少し右へ 01:10:47 - 01:10:49: 進むべき方向を見つけるために 01:10:49 - 01:10:52: 下り坂 あの坂を下りたい 01:10:52 - 01:10:54: その勾配を下って、まさに 01:10:54 - 01:10:56: 底はあなたがいる場所だからです 01:10:56 - 01:10:58: あなたのエラーを最小限に抑えます 01:10:58 - 01:10:59: 幸せな場所 01:10:59 - 01:11:01: 左にスライドさせた後 01:11:01 - 01:11:02: 下り坂を見つける権利 01:11:02 - 01:11:07: 方向とあなたはそこにそれを残します 01:11:07 - 01:11:10: それを何回も何回もやる 01:11:10 - 01:11:13: 繰り返しの多くのステップがすべてを助けます 01:11:13 - 01:11:15: すべての機能にわたるこれらの値 01:11:15 - 01:11:17: そしてすべての重み 01:11:17 - 01:11:20: いわゆるミニマムに落ち着く 01:11:21 - 01:11:23: ええと、その時点でネットワークは 01:11:23 - 01:11:25: 可能な限り実行する 01:11:25 - 01:11:27: それらのいずれかを少し調整します 01:11:27 - 01:11:32: 動作エラーが発生します 01:11:32 - 01:11:34: 現在、ハイパーと呼ばれるものがいくつかあります 01:11:34 - 01:11:37: パラメーターであり、これらはノブです。 01:11:37 - 01:11:39: デザイナーは決定を下すことができます 01:11:39 - 01:11:42: デザイナーはこれらをそうではないものにします 01:11:42 - 01:11:45: 自動学習 01:11:45 - 01:11:47: たたみ込みで 01:11:47 - 01:11:49: 必要な機能の数を把握する 01:11:50 - 01:11:52: それらの機能の大きさはどのくらいですか 01:11:52 - 01:11:55: 側面に多くのピクセル 02:59:36 - 02:59:38: プーリング層で 01:11:57 - 01:12:01: ウィンドウ サイズとウィンドウ ストライド 01:12:01 - 01:12:03: および全結合層での選択 01:12:03 - 01:12:05: 隠れニューロンの数 01:12:05 - 01:12:06: 中間ニューロン 01:12:06 - 01:12:09: これらはすべて、 01:12:09 - 01:12:11: デザイナーが作る 01:12:11 - 01:12:13: 現在いくつかあります 01:12:14 - 01:12:16: うまくいく傾向がある一般的な慣行 01:12:16 - 01:12:18: 他のものよりも優れていますが、ありません 01:12:18 - 01:12:20: 原則的な方法で、難しいことや速いことはありません 01:12:20 - 01:12:23: これを行う正しい方法のルール 01:12:23 - 01:12:26: 実際、多くの進歩が 02:21:52 - 02:21:55: 畳み込みニューラルネットワークは 01:12:28 - 01:12:30: これらの組み合わせを取得する 01:12:30 - 01:12:33: 本当によく 01:12:33 - 01:12:35: 今はこれに加えて 01:12:35 - 01:12:36: 他の決定があります デザイナー 01:12:36 - 01:12:39: 各タイプをいくつ作るか 01:12:39 - 01:12:40: 層の 01:12:40 - 01:12:42: で、どういう順番で 01:12:42 - 01:12:44: そして、本当に出かけるのが好きな人のために 01:12:44 - 01:12:46: 新しいタイプのレールを設計できますか 01:12:46 - 01:12:49: 完全に重ねてそこに滑り込ませる 01:12:49 - 01:12:51: 新しい楽しい行動を得る 01:12:51 - 01:12:53: これらはすべて人というものです 01:12:54 - 01:12:57: と遊んでもっと出ようとする 01:12:57 - 01:12:59: パフォーマンスとアドレススティッキー 01:12:59 - 01:13:06: cnn の問題 01:13:06 - 01:13:07: これらの優れた点は 01:13:07 - 01:13:09: イメージについて語っていた 01:13:10 - 01:13:12: ただし、任意の 2 次元または 01:13:12 - 01:13:13: そんなことしても三、四 01:13:13 - 01:13:15: 次元データ 01:13:15 - 01:13:17: しかし重要なのはあなたの 01:13:19 - 01:13:21: 近くにあるものはより近くに 01:13:21 - 01:13:26: 遠いものより関連のある 01:13:26 - 01:13:28: 私が意味するのは、 01:13:29 - 01:13:32: 2 行のピクセルまたは 2 列のピクセル 01:13:32 - 01:13:33: ピクセルが隣り合っている 01:13:34 - 01:13:36: それらは行よりも密接に関連しています 01:13:36 - 01:13:41: または遠くにある列 01:13:41 - 01:13:43: 今、あなたにできること 01:13:43 - 01:13:46: あなたは音のようなものを取ることができますか 01:13:46 - 01:13:49: そして、あなたはそれを少しの時間に切り刻むことができます 01:13:50 - 01:13:52: そして時間ごとに 01:13:53 - 01:13:54: その直前と右側の時間ステップ 01:13:54 - 01:13:58: 後は時間よりも密接に関連しています 01:13:58 - 01:14:01: 遠い歩みと順番 01:14:03 - 01:14:04: あなたはまたそれを別のものに切り刻むことができます 01:14:04 - 01:14:06: 周波数帯域 01:14:06 - 01:14:10: あなたはそれをスライスすることができますベースミッドレンジトレブル 01:14:10 - 01:14:12: それよりもはるかに最終的に 01:14:12 - 01:14:15: そして再びそれらの周波数帯域 01:14:15 - 01:14:17: より近いものはより多くです 01:14:17 - 01:14:19: 密接に関連している 01:14:20 - 01:14:21: 順番を並べ替えることはできません 01:14:24 - 01:14:26: サウンドでこれを行うと、次のようになります 01:14:26 - 01:14:28: 写真のように見える 画像のように見える 01:14:28 - 01:14:30: convert convolutional を使用できます 01:14:30 - 01:14:33: それらを使用したニューラルネットワーク 01:14:33 - 01:14:36: テキストでも同様のことができます 01:14:37 - 01:14:40: 文中の位置は 01:14:41 - 01:14:42: そして列 01:14:42 - 01:14:45: 辞書の単語です 01:14:47 - 01:14:50: 順序が重要かどうかを議論するのは難しい 01:14:50 - 01:14:52: その順序は重要であり、議論するのは難しい 01:14:52 - 01:14:54: 辞書のその単語はそれです 01:14:54 - 01:14:56: より密接に関連しているものもある 01:14:56 - 01:14:58: 他のすべてのケースで、トリック 01:14:58 - 01:15:02: ここでは、 01:15:02 - 01:15:05: 列全体を上から下へ 01:15:05 - 01:15:07: そのまま左右にスライドさせます 01:15:07 - 01:15:10: すべての単語をキャプチャしますが、 01:15:10 - 01:15:12: 文中のいくつかの位置をキャプチャします 01:15:12 - 01:15:17: 一度に 01:15:17 - 01:15:19: 今、この制限の反対側 03:01:28 - 03:01:31: 畳み込みニューラル ネットワークは、 01:15:22 - 01:15:25: 彼らは本当にキャプチャするように設計されています 01:15:25 - 01:15:28: 局所的な空間パターン 01:15:28 - 01:15:30: 次に一緒にあるものの感覚 01:15:30 - 01:15:33: お互いの隣にかなりの問題があります 01:15:33 - 01:15:35: したがって、データの外観を作成できない場合 01:15:35 - 01:15:36: イメージのように 01:15:36 - 01:15:40: その後、それらはそれほど役に立ちません 01:15:40 - 01:15:42: これの例は 01:15:42 - 01:15:44: 顧客データ 01:15:44 - 01:15:46: 各行がある場合、それは別々です 01:15:47 - 01:15:49: 各列は、 01:15:49 - 01:15:51: その顧客に関する情報 01:15:51 - 01:15:54: 彼らの名前、住所など 01:15:54 - 01:15:57: 彼らは訪問したウェブサイトを購入しました 01:15:58 - 01:16:00: 次に、これはあまり似ていません 01:16:00 - 01:16:02: 写真を撮って並べ替えることができます 01:16:02 - 01:16:05: 列を並べ替え、それらの行を再配置します 01:16:07 - 01:16:09: まだ とは同じ意味です 01:16:09 - 01:16:11: 同様に解釈しやすい 01:16:12 - 01:16:14: 私が画像を撮るとしたら 01:16:14 - 01:16:16: 列を再配置し、再配置します 01:16:16 - 01:16:18: スクランブルになる行 01:16:20 - 01:16:22: 画像が何であったかを言うことは不可能 01:16:22 - 01:16:26: そこで私は多くの情報を失うでしょう 01:16:26 - 01:16:29: 経験則として 01:16:29 - 01:16:31: あなたのデータが後で同じように役立つ場合 01:16:31 - 01:16:33: それぞれの列のいずれかを交換します 01:16:33 - 01:16:36: それ以外は使えません 02:57:22 - 02:57:24: 畳み込みニューラル ネットワーク 01:16:42 - 01:16:45: 持ち帰りはその畳み込みです 01:16:45 - 01:16:46: ニューラルネットワークは見つけるのが得意です 01:16:46 - 01:16:49: パターンとそれらを使用した分類 01:16:50 - 01:16:53: あなたの問題を次のように見せることができれば 01:16:53 - 01:16:56: ネットで猫探し 01:16:56 - 01:16:59: 彼らは巨大な資産です 01:16:59 - 01:17:01: 機械学習のアプリケーションには 01:17:02 - 01:17:03: ここ数年で多くの注目を集めました 01:17:04 - 01:17:06: いくつかの大きなカテゴリがあります 01:17:06 - 01:17:08: 風が1回ありました 01:17:09 - 01:17:11: 写真の識別 01:17:11 - 01:17:13: で猫を見つけるのと同じです。 01:17:13 - 01:17:15: インターネットと可能性のある問題 01:17:15 - 01:17:16: そのように見えるように作られました 01:17:16 - 01:17:19: もう 1 つはシーケンス ツー シーケンスです。 01:17:19 - 01:17:22: 翻訳これは音声からテキストにすることができます 01:17:22 - 01:17:24: またはある言語から別の言語へ 01:17:24 - 01:17:26: 前者のほとんどは 01:17:26 - 01:17:28: 畳み込みニューラル ネットワークのほとんど 01:17:28 - 01:17:31: 後者は繰り返しで行われます 01:17:31 - 01:17:33: ニューラルネットワークええと、特に長い 01:17:33 - 01:17:36: 例を挙げると短期記憶 01:17:36 - 01:17:38: 短期記憶がどのくらい機能するか 01:17:38 - 01:17:40: 何のためにあるのかという問題を考える 01:17:41 - 01:17:42: あなたが 01:17:42 - 01:17:44: 非常に幸運なアパートの住人とあなた 01:17:44 - 01:17:47: 夕食を作るのが大好きな同居人がいる 01:17:47 - 01:17:50: 毎晩、彼は 3 つのうちの 1 つを料理します 01:17:53 - 01:17:55: またはピザ 01:17:55 - 01:17:57: そして、あなたは予測できるようになりたいです 01:17:57 - 01:17:58: あなたが与えられたものを持っているつもりです 01:17:58 - 01:18:00: 残りの予定を立てられるように 01:18:00 - 01:18:02: それに応じて食べる日 01:18:02 - 01:18:04: あなたが何をしようとしているのかを予測するために 01:18:04 - 01:18:05: 夕食に持っています 01:18:05 - 01:18:07: あなたはニューラルネットワークをセットアップしました 01:18:07 - 01:18:10: このニューラル ネットワークへの入力は 01:18:10 - 01:18:12: の日のようなアイテムの束 01:18:12 - 01:18:15: かどうかにかかわらず、その年の月 01:18:15 - 01:18:17: あなたの同居人は遅い会議に参加していませんでした 01:18:17 - 01:18:20: 合理的に影響を与える変数 01:18:20 - 01:18:24: 夕食に何を食べますか 01:18:24 - 01:18:26: ニューラル ネットワークが初めての場合は、 01:18:26 - 01:18:29: 少しお時間をいただくことを強くお勧めします。 01:18:29 - 01:18:31: ニューラルネットワークの仕組みを見るために立ち止まる 01:18:31 - 01:18:34: 作業チュートリアルの下にリンクがあります 01:18:34 - 01:18:35: コメント欄 01:18:35 - 01:18:37: 今はやりたくないなら 01:18:38 - 01:18:39: あなたはまだ慣れていない 01:18:39 - 01:18:41: ニューラルネットワークは次のように考えることができます 01:18:41 - 01:18:43: 投票プロセス 01:18:43 - 01:18:45: ニューラルネットワークでは 01:18:45 - 01:18:47: 複雑な投票が設定されています 01:18:47 - 01:18:49: プロセスとその日のようなすべての入力 01:18:49 - 01:18:51: 年間通算週数と月数 01:18:51 - 01:18:52: その中に 01:18:52 - 01:18:54: そして、あなたはそれを訓練します 01:18:54 - 01:18:56: あなたが何のために持っていたかのあなたの歴史について 01:18:57 - 01:18:58: そしてあなたは学ぶ 01:18:58 - 01:19:00: 何が起こるかを予測する方法 01:19:00 - 01:19:03: 今夜の夕食 01:19:03 - 01:19:05: 問題は、あなたのネットワークが 01:19:05 - 01:19:06: 非常によく働く 01:19:06 - 01:19:09: 入力を慎重に選択したにもかかわらず 01:19:09 - 01:19:11: そして徹底的にトレーニングする 01:19:11 - 01:19:12: あなたはまだより良くなることはできません 01:19:12 - 01:19:15: 夕食のチャンス予測. 01:19:15 - 01:19:17: 複雑な場合によくあるように 01:19:17 - 01:19:19: 役立つ機械学習の問題 01:19:19 - 01:19:21: 下がってください 01:19:21 - 01:19:23: そしてデータを見るだけ 01:19:23 - 01:19:24: そして、あなたがそれをするとき、あなたは気づきます 01:19:25 - 01:19:27: あなたのフラットメイトが作る 01:19:28 - 01:19:32: それから寿司、ワッフル、そしてまたピザ 01:19:32 - 01:19:34: サイクルで 01:19:34 - 01:19:35: 曜日によらない 01:19:35 - 01:19:39: またはそれが定期的なサイクルにある他の何か 01:19:39 - 01:19:41: これを知っているので、新しいニューラルを作ることができます 01:19:43 - 01:19:45: 私たちの新しいものでは、 01:19:45 - 01:19:47: 問題は私たちが夕食に何を食べたかです 01:19:48 - 01:19:50: 夕食にピザを食べたかどうか知っていれば 01:19:50 - 01:19:52: 昨日は寿司 今夜は寿司 01:19:52 - 01:19:54: 昨日のワッフル 今夜とワッフル 01:19:54 - 01:19:56: 昨日のピザ今夜 01:19:56 - 01:19:59: とてもシンプルな投票プロセスになります 01:19:59 - 01:20:02: そして、それはいつでも正しいからです 01:20:02 - 01:20:06: あなたのフラットメイトは信じられないほど一貫しています 01:20:06 - 01:20:09: あなたがたまたま特定の場所にいなくなったら 01:20:09 - 01:20:12: 夜、昨日あなたが外出していたとしましょう 01:20:12 - 01:20:13: あなたは夕食に何があったか知りません 01:20:15 - 01:20:17: どうなるかまだ予測できる 01:20:17 - 01:20:19: 2つを思い出して今夜の夕食に 01:20:19 - 01:20:21: 数日前 01:20:21 - 01:20:24: その時の夕食は何だったか考えてみてください 01:20:24 - 01:20:26: では、何が予測されるでしょうか 01:20:26 - 01:20:27: 昨夜あなたのために 01:20:28 - 01:20:30: そして、その予測を 01:20:30 - 01:20:33: 今夜の予測をするために向きを変える 01:20:36 - 01:20:39: 昨日の実際の情報 01:20:39 - 01:20:40: だけでなく、 01:20:40 - 01:20:43: 私たちの昨日の予測は何でしたか 01:20:43 - 01:20:44: この時点で、 01:20:44 - 01:20:46: 少し寄り道してベクトルについて話す 01:20:46 - 01:20:49: ベクトルは単なるリストの派手な言葉です 01:20:49 - 01:20:51: 私が説明したい場合は、数字の 01:20:51 - 01:20:53: 私ができる特定の日のあなたへの天気 01:20:54 - 01:20:56: 最高は華氏76度です 01:20:56 - 01:20:59: 最低は 43 時速 13 マイルの風 01:20:59 - 01:21:00: 4分の1インチになるでしょう 01:21:00 - 01:21:03: 雨で相対湿度は83 01:21:05 - 01:21:07: それがすべてベクトルである理由です 01:21:07 - 01:21:09: 数字のベクトルリストが便利です 01:21:10 - 01:21:12: コンピュータの母国語です 01:21:12 - 01:21:13: 何かを取得したい場合 01:21:13 - 01:21:15: コンピュータにとって自然なフォーマット 01:21:15 - 01:21:18: 計算する する 操作する する 01:21:18 - 01:21:20: の統計的機械学習リスト 01:21:20 - 01:21:21: 数字は進むべき道です 01:21:21 - 01:21:24: すべてがリストに縮小されます 01:21:24 - 01:21:25: を通過する前の数字 01:21:25 - 01:21:28: ベクトルも持つことができるアルゴリズム 01:21:28 - 01:21:32: 火曜日のような発言 01:21:32 - 01:21:33: この種のコードをエンコードするために 01:21:33 - 01:21:35: 私たちがしていることはリストを作ることです 01:21:35 - 01:21:37: 可能なすべての値の 01:21:38 - 01:21:40: この場合、すべての曜日 01:21:40 - 01:21:42: そして、それぞれに番号を割り当てます 01:21:42 - 01:21:44: そして、それらをすべて設定します 01:21:44 - 01:21:47: であるものを除いてゼロに等しい 01:21:48 - 01:21:51: ええと、この形式はワンホットと呼ばれます 01:21:51 - 01:21:53: エンコーディングとそれを見るのは非常に一般的です 01:21:53 - 01:21:55: 1 つだけのゼロの long ベクトル 01:21:55 - 01:21:57: 要素が一つ 01:21:57 - 01:21:59: 効率が悪いようですが、コンピューターの場合 01:21:59 - 01:22:02: これはそれを摂取するためのはるかに簡単な方法です 01:22:05 - 01:22:08: そのため、1 つのホット ベクトルを作成できます。 01:22:08 - 01:22:10: 私たちが設定した今夜の夕食の予測 01:22:10 - 01:22:13: を除くすべてがゼロに等しい 01:22:13 - 01:22:15: これでそう予測するディナーアイテム 01:22:15 - 01:22:19: 寿司を予測する場合 01:22:19 - 01:22:21: グループ化できるようになりました 01:22:22 - 01:22:24: 入力をグループ化して 01:22:24 - 01:22:26: ベクトルへの出力の個別のリスト 01:22:27 - 01:22:29: そして、それは便利な省略形になります 01:22:29 - 01:22:32: このニューラル ネットワークの説明 01:22:32 - 01:22:34: 昨日の夕食を食べられるように 01:22:35 - 01:22:37: 昨日のベクトルの予測と 01:22:37 - 01:22:41: 今日のベクトルの予測 01:22:41 - 01:22:42: そしてニューラルネットワークはただ 01:22:42 - 01:22:45: のすべての要素間の接続 01:22:45 - 01:22:47: これらの入力ベクトルのそれぞれを 01:29:08 - 01:29:11: 出力ベクトルの要素 01:22:50 - 01:22:53: 私たちの写真を完成させるために、私たちは見せることができます 01:22:53 - 01:22:55: 今日の予測がどのように得られるか 01:22:55 - 01:22:58: 点線をリサイクルした 01:22:58 - 01:23:00: 1日置いてから再利用 01:23:00 - 01:23:01: それは明日 01:23:01 - 01:23:03: そしてそれは私たちの昨日になる 01:23:03 - 01:23:06: 明日の予測 今、私たちはどのように見ることができます 01:23:06 - 01:23:08: 情報が不足していた場合 01:23:08 - 01:23:09: 私たちが2日間町を離れていたとしましょう 01:23:09 - 01:23:11: 数週間、私たちはまだ良い推測をすることができます 01:23:11 - 01:23:13: 夕食をどうするかについて 01:23:14 - 01:23:15: 私たちはただ 01:23:15 - 01:23:17: 新しい情報の部分を無視して、 01:23:17 - 01:23:22: このベクトルを時間内にアンラップまたはアンワインドできます 01:23:22 - 01:23:24: 何らかの情報が得られるまで 01:23:24 - 01:23:28: それに基づいて、それを前方に再生するだけです 01:23:28 - 01:23:30: ラップを外すと、次のようになります 01:23:31 - 01:23:33: 必要なだけ戻ることができます 01:23:33 - 01:23:34: 夕食の内容を確認してから 01:23:34 - 01:23:37: それを前にたどって再生してください 01:23:37 - 01:23:39: 私たちまでの過去2週間のメニュー 01:23:39 - 01:23:42: 今夜の夕食を見つけて 01:23:42 - 01:23:44: これは簡単な例です 01:23:44 - 01:23:47: 再帰型ニューラル ネットワークを示しました。 01:23:47 - 01:23:49: 彼らが私たちのすべてを満たしていないことを示してください 01:23:50 - 01:23:51: 私たちは児童書を書くつもりです 01:23:51 - 01:23:54: それはフォーマットの文を持っています 01:23:54 - 01:23:56: ダグ・ソー・ジェーン・ピリオド 01:23:56 - 01:24:00: ジェーン・ソー・スポット・ピリオド・スポット・ソー・ダグ 01:24:00 - 01:24:04: 期間など 01:24:04 - 01:24:06: だから私たちの辞書は小さいです 01:24:06 - 01:24:08: 言葉ダグ 01:24:10 - 01:24:12: のこぎりと期間 01:24:12 - 01:24:14: そしてニューラルネットワークのタスクは 01:24:14 - 01:24:16: これらを正しい順番に並べて 01:24:16 - 01:24:18: 良い児童書を作る 01:24:18 - 01:24:21: これを行うには、 01:24:21 - 01:24:24: 食品ベクトルと辞書ベクトル 01:24:24 - 01:24:27: ここでも単なる数字のリストです 01:24:27 - 01:24:30: それぞれの単語を表す so for 01:24:31 - 01:24:33: ダグが私が最後に言った言葉だったら 01:24:34 - 01:24:37: 私の新しい情報ベクトルはすべて 01:24:37 - 01:24:40: 掘り出し物の 1 以外のゼロ 01:24:42 - 01:24:43: 同様に、 01:24:43 - 01:24:45: からの予測と私たちの予測 01:24:49 - 01:24:51: トレーニングの後 01:24:51 - 01:24:53: このニューラル ネットワークに何を教えるのか 01:24:53 - 01:24:55: そうすることで、私たちは特定のことを期待するでしょう 01:24:56 - 01:24:59: たとえば、名前が出てくるたびに 01:24:59 - 01:25:01: ジェーン・ダグ・オア・スポット 01:25:01 - 01:25:04: 私たちはそれが賛成票を投じることを期待しています 01:25:04 - 01:25:07: 単語を見たまたは期間 01:25:07 - 01:25:09: それらは私たちの2つの言葉だからです 01:25:09 - 01:25:13: 名前に従うことができる辞書 01:25:13 - 01:25:16: 同様に、名前を予測した場合 01:25:16 - 01:25:18: 予想される前の時間ステップ 01:25:18 - 01:25:21: 「見た」または「見た」という言葉にも投票する人 01:25:21 - 01:25:24: 一定期間 01:25:24 - 01:25:27: そして、いつでも同様の方法で 01:25:27 - 01:25:30: 見たまたはピリオドという言葉に出くわす 01:25:30 - 01:25:32: 私たちは名前が後に来なければならないことを知っています 01:25:32 - 01:25:35: そのため、非常に投票することを学びます 01:25:35 - 01:25:37: 名前に強く 01:25:37 - 01:25:42: ジェーン・ダグまたはスポット 01:25:42 - 01:25:45: したがって、この形式では、この定式化で 01:25:45 - 01:25:48: リカレントニューラルネットワークを持っている 01:25:48 - 01:25:50: 簡単にするために、ベクトルと 01:25:50 - 01:25:52: 重みを折りたたんで 01:25:52 - 01:25:54: ドットと 01:25:54 - 01:25:56: 点と線を結ぶ矢印 01:25:57 - 01:25:59: そして、私たちが持っていないシンボルがもう1つあります 01:25:59 - 01:26:00: まだ話した 01:26:00 - 01:26:03: これはスカッシュ関数であり、 01:26:03 - 01:26:05: ネットワークの動作を助ける 01:26:05 - 01:26:08: それがどのように機能するか 01:26:10 - 01:26:12: 出てきて、あなたは彼らをこれに服従させます 01:26:12 - 01:26:14: 例えば ​​if のスカッシング関数 01:26:14 - 01:26:17: 何かに合計0.5票の投票がありました 01:26:17 - 01:26:18: あなたはその場所に垂直線を引きます 01:26:18 - 01:26:20: あなたが描く関数を横切る 01:26:20 - 01:26:23: y 軸への水平線と 01:26:23 - 01:26:26: あなたの押しつぶされたバージョンがあります 01:26:26 - 01:26:28: 小さい数の場合、押しつぶされたバージョン 01:26:28 - 01:26:30: オリジナル版にかなり近い 01:26:30 - 01:26:32: しかし、あなたの数が大きくなるにつれて 01:26:32 - 01:26:35: 出てくる数字が近くて 01:26:35 - 01:26:37: ひとつに近づく 01:26:37 - 01:26:38: 同様に、大きな 01:26:38 - 01:26:40: 負の数の場合、得られるもの 01:26:40 - 01:26:43: マイナス1に近いだろう 01:26:43 - 01:26:45: 何を入れても 01:26:45 - 01:26:47: 出てくるのはマイナス1から 01:26:49 - 01:26:51: これはあなたが持っているときに本当に役に立ちます 01:26:51 - 01:26:54: 同じ値があるこのようなループ 01:26:54 - 01:26:56: 翌日何度も処理される 01:26:58 - 01:27:00: あなたが想像できる可能性があります 01:27:00 - 01:27:02: その処理の過程で何かを言う 01:27:02 - 01:27:04: 2回投票されて倍増した 01:27:06 - 01:27:08: その場合、2倍の大きさになります 01:27:08 - 01:27:11: 毎回そしてすぐに爆破する 01:27:14 - 01:27:17: それが常により少ないことを保証することによって 01:27:17 - 01:27:19: 1 マイナス 1 以上 01:27:19 - 01:27:21: あなたはそれを掛けることができます 01:27:21 - 01:27:22: 何度でも行ける 01:27:22 - 01:27:25: そのループを通り抜けると爆発しません 01:27:25 - 01:27:28: フィードバック ループでは、これは次の例です。 01:27:28 - 01:27:29: 負帰還または減衰 01:27:31 - 01:27:32: あなたは私たちの神経に気づいたかもしれません 01:27:32 - 01:27:34: 現在の状態のネットワークが対象です 01:27:34 - 01:27:37: いくつかの間違いに 01:27:37 - 01:27:38: たとえば、次の文を取得できます 01:27:38 - 01:27:40: フォーム・ダグ 01:27:44 - 01:27:47: Doug は、saw という言葉に強く投票します 01:27:47 - 01:27:49: 次に、名前に強く投票します 01:27:49 - 01:27:52: ダグになる可能性のある名前 01:27:52 - 01:27:54: 同様に、次のようなものを取得できます 01:27:54 - 01:27:56: ダグ・ソー・ジェーン 01:27:56 - 01:27:59: のこぎり 01:27:59 - 01:28:02: 私たちの予測はそれぞれ 01:28:02 - 01:28:05: 1 つの時間ステップを振り返ってみると、非常に 01:28:05 - 01:28:07: 短期記憶 01:28:07 - 01:28:09: からの情報は使用しません。 01:28:09 - 01:28:10: さらに戻る 01:28:10 - 01:28:12: これらのタイプの対象となります 01:28:14 - 01:28:16: これを克服するために、私たちは 01:28:16 - 01:28:18: リカレントニューラルネットワークと展開 01:28:18 - 01:28:22: それにさらにいくつかのピースを追加します 01:28:22 - 01:28:24: 私たちが追加する重要な部分 01:28:24 - 01:28:25: ここの真ん中 01:28:25 - 01:28:27: 記憶です 01:28:27 - 01:28:29: 私たちは何を思い出すことができるようになりたいです 01:28:29 - 01:28:33: 数歩前に何度も起こった 01:28:33 - 01:28:35: これがどのように機能するかを説明するために 01:28:35 - 01:28:37: いくつかの新しい記号を説明する必要があります 01:28:37 - 01:28:39: ここで紹介した 01:28:39 - 01:28:41: 1 つは別のスカッシュ関数です。 01:28:41 - 01:28:43: 底が平らなもの 01:28:44 - 01:28:46: 1 つは丸の中の x で、もう 1 つは 01:28:46 - 01:28:50: 円を描く 01:28:50 - 01:28:52: だから円の中に十字架 01:28:52 - 01:28:55: 要素ごとの要素の追加です 01:28:55 - 01:28:57: それが機能する方法は、2つから始めることです 01:28:57 - 01:28:59: 等しいサイズのベクトル 01:28:59 - 01:29:01: そして、あなたはそれぞれを下ります 01:29:01 - 01:29:04: 1 つのベクトルの最初の要素を追加します 01:29:04 - 01:29:06: 別のベクトルの最初の要素へ 01:29:06 - 01:29:08: そして合計が最初に入る 01:29:11 - 01:29:12: そう 3 01:29:12 - 01:29:15: プラス 6 は 9 です。次に進みます。 01:29:15 - 01:29:18: 要素 4 + 7 は 11 です。 01:29:18 - 01:29:20: したがって、出力ベクトルは同じです 01:29:20 - 01:29:23: 各入力ベクトルのサイズ 01:29:23 - 01:29:25: 同じ長さの数字のリストですが、 01:29:25 - 01:29:28: それはの要素ごとの合計です 01:29:31 - 01:29:33: これと非常に密接に関連しています 01:29:33 - 01:29:35: おそらく推測した 01:29:35 - 01:29:37: 円の中の x は要素ごとです 01:29:39 - 01:29:41: 代わりにそれを除いて足し算のようなものです 01:29:41 - 01:29:44: 加算の例 3 01:29:44 - 01:29:47: 6 倍すると、18 の最初の要素が得られます。 01:29:47 - 01:29:50: 4 かける 7 は 28 になります。 01:29:50 - 01:29:52: 繰り返しますが、出力ベクトルは同じサイズです 01:29:52 - 01:29:57: 各入力ベクトルの 01:29:57 - 01:29:59: 要素ごとの乗算により、 01:29:59 - 01:30:01: かなりクールなことをする 01:30:02 - 01:30:05: あなたはあなたが持っていると想像します 01:30:05 - 01:30:08: 信号とそれはパイプの束のようなものです 01:30:08 - 01:30:10: そして彼らは一定量の水を持っています 01:30:10 - 01:30:12: それらを流そうとする 01:30:12 - 01:30:13: この場合、単に割り当てます 01:30:14 - 01:30:17: 0.8 の数を合図のように 01:30:18 - 01:30:21: これらのパイプのそれぞれに蛇口があります 01:30:21 - 01:30:23: 開いたり閉じたりできます 01:30:23 - 01:30:25: ずっと、またはどこかに保管してください 01:30:25 - 01:30:27: その信号が来るようにするための中間 01:30:27 - 01:30:29: 通過またはブロックする 01:30:29 - 01:30:32: この場合、開いているゲートは開いています 01:30:32 - 01:30:34: 蛇口は1つと閉じたものになります 01:30:34 - 01:30:36: 蛇口はゼロになります 01:30:36 - 01:30:39: そして、これが要素ごとに機能する方法 01:30:39 - 01:30:42: 乗算すると、0.8 倍の 1 が得られます 01:30:42 - 01:30:44: 0.8に等しい 01:30:44 - 01:30:46: その信号は 01:30:46 - 01:30:49: 出力ベクトルだが最後の要素 01:30:49 - 01:30:52: 0.8倍 0 01:30:52 - 01:30:53: 0 に等しい。 01:30:53 - 01:30:55: 元の信号は 01:30:55 - 01:30:57: 効果的にブロック 01:30:57 - 01:31:00: 次に、ゲーティング値 0.5 で 01:31:00 - 01:31:02: 信号は通過しましたが、 01:31:02 - 01:31:05: 小さいほど減衰する 01:31:06 - 01:31:09: ゲーティングにより、通過するものを制御できます 01:31:10 - 01:31:12: 通過し、ブロックされるもの 01:40:22 - 01:40:24: これは本当に便利です 01:31:15 - 01:31:17: 今ゲーティングを行うために 01:31:17 - 01:31:19: 自分が知っている価値があるのはいいことだ 01:31:19 - 01:31:21: は常に 0 と 1 の間です 01:31:21 - 01:31:24: そこで、別のスカッシュを導入します 01:31:28 - 01:31:29: これがロジスティックと呼ばれるものです 01:31:30 - 01:31:32: 機能は他のものと非常に似ています 01:31:32 - 01:31:33: 双曲線のスカッシング関数 01:31:34 - 01:31:36: ゼロの間を移動することを除いて 01:31:36 - 01:31:41: マイナス 1 と 1 の代わりに 1 と 1 01:31:41 - 01:31:43: これらすべてを紹介するとき 01:31:43 - 01:31:45: 一緒に私たちが得るもの 01:31:45 - 01:31:48: 私たちはまだ私たちの組み合わせを持っています 01:31:48 - 01:31:49: 以前の予測と私たちの新しい 01:31:51 - 01:31:53: それらのベクトルが渡されます 01:31:53 - 01:31:56: そしてそれらに基づいて予測を行います 01:31:56 - 01:31:59: それらの予測は通過しますが、 01:31:59 - 01:32:02: 他に起こることはコピーです 01:32:02 - 01:32:04: それらの予測の 01:32:04 - 01:32:05: に保持されます 01:32:05 - 01:32:08: 次のタイム ステップ 次のパス 01:32:08 - 01:32:10: ネットワークを通して 01:32:10 - 01:32:12: そのうちのいくつかはここにゲートがあります 01:32:13 - 01:32:15: それらのいくつかはそれらのいくつかを忘れています 01:32:15 - 01:32:17: 覚えている 01:32:17 - 01:32:19: 覚えているものが追加されます 01:32:19 - 01:32:21: 予測に戻る 01:32:21 - 01:32:23: 予測だけでなく 01:32:23 - 01:32:26: 予測と私たちが持っている思い出 01:32:27 - 01:32:31: まだ忘れることを選択していないことを 01:32:31 - 01:32:33: 今では完全に独立したニューラルがあります 01:32:33 - 01:32:36: ここで学習するネットワーク 01:32:36 - 01:32:39: いつ何を忘れる 01:32:39 - 01:32:40: 私たちが今見ているものに基づいて 01:32:40 - 01:32:42: 私たちは何を思い出したいの 01:32:42 - 01:32:45: 忘れたい 01:32:45 - 01:32:47: これが強力であることがわかります 01:32:47 - 01:32:49: のように物事を保持させてくれます 01:32:49 - 01:32:52: 私たちが望む限り 01:32:52 - 01:32:55: 今はお気づきかもしれませんが 01:32:55 - 01:32:56: 私たちがいるとき 01:32:56 - 01:32:58: 私たちの予測と私たちの予測を組み合わせて 01:32:58 - 01:33:01: 必ずしもしたくない記憶 01:33:01 - 01:33:03: それらのすべての思い出を新しいものとして解放します 01:33:03 - 01:33:05: 毎回予想 01:33:06 - 01:33:08: だから私たちは私たちを維持するために小さなフィルターが欲しい 01:33:08 - 01:33:10: 内部の思い出と私たちの予測をしましょう 01:33:10 - 01:33:12: 出て行け 01:33:12 - 01:33:14: そのために別のゲートを追加します