RSS

「残差ネットワーク(ResNet)」 - おすすめピックアップ動画

※本サイトに掲載されているチャンネル情報や動画情報はYouTube公式のAPIを使って取得・表示しています。

Videos

動画一覧

動画数:19件

Deep Learning for Computer Vision with Python and TensorFlow – Complete Course

Deep Learning for Computer Vision with Python and TensorFlow – Complete Course

Learn the basics of computer vision with deep learning and how to implement the algorithms using Tensorflow. Author: Folefac Martins from Neuralearn.ai More Courses: www.neuralearn.ai Link to Code: https://colab.research.google.com/drive/18u1KDx-9683iZNPxSDZ6dOv9319ZuEC_ YouTube Channel: https://www.youtube.com/@neuralearn ⭐️ Contents ⭐️ Introduction ⌨️ (0:00:00) Welcome ⌨️ (0:05:54) Prerequisite ⌨️ (0:06:11) What we shall Learn Tensors and Variables ⌨️ (0:12:12) Basics ⌨️ (0:19:26) Initialization and Casting ⌨️ (1:07:31) Indexing ⌨️ (1:16:15) Maths Operations ⌨️ (1:55:02) Linear Algebra Operations ⌨️ (2:56:21) Common TensorFlow Functions ⌨️ (3:50:15) Ragged Tensors ⌨️ (4:01:41) Sparse Tensors ⌨️ (4:04:23) String Tensors ⌨️ (4:07:45) Variables Building Neural Networks with TensorFlow [Car Price Prediction] ⌨️ (4:14:52) Task Understanding ⌨️ (4:19:47) Data Preparation ⌨️ (4:54:47) Linear Regression Model ⌨️ (5:10:18) Error Sanctioning ⌨️ (5:24:53) Training and Optimization ⌨️ (5:41:22) Performance Measurement ⌨️ (5:44:18) Validation and Testing ⌨️ (6:04:30) Corrective Measures Building Convolutional Neural Networks with TensorFlow [Malaria Diagnosis] ⌨️ (6:28:50) Task Understanding ⌨️ (6:37:40) Data Preparation ⌨️ (6:57:40) Data Visualization ⌨️ (7:00:20) Data Processing ⌨️ (7:08:50) How and Why ConvNets Work ⌨️ (7:56:15) Building Convnets with TensorFlow ⌨️ (8:02:39) Binary Crossentropy Loss ⌨️ (8:10:15) Training Convnets ⌨️ (8:23:33) Model Evaluation and Testing ⌨️ (8:29:15) Loading and Saving Models to Google Drive Building More Advanced Models in Teno Convolutional Neural Networks with TensorFlow [Malaria Diagnosis] ⌨️ (8:47:10) Functional API ⌨️ (9:03:48) Model Subclassing ⌨️ (9:19:05) Custom Layers Evaluating Classification Models [Malaria Diagnosis] ⌨️ (9:36:45) Precision, Recall and Accuracy ⌨️ (10:00:35) Confusion Matrix ⌨️ (10:10:10) ROC Plots Improving Model Performance [Malaria Diagnosis] ⌨️ (10:18:10) TensorFlow Callbacks ⌨️ (10:43:55) Learning Rate Scheduling ⌨️ (11:01:25) Model Checkpointing ⌨️ (11:09:25) Mitigating Overfitting and Underfitting Data Augmentation [Malaria Diagnosis] ⌨️ (11:38:50) Augmentation with tf.image and Keras Layers ⌨️ (12:38:00) Mixup Augmentation ⌨️ (12:56:35) Cutmix Augmentation ⌨️ (13:38:30) Data Augmentation with Albumentations Advanced TensorFlow Topics [Malaria Diagnosis] ⌨️ (13:58:35) Custom Loss and Metrics ⌨️ (14:18:30) Eager and Graph Modes ⌨️ (14:31:23) Custom Training Loops Tensorboard Integration [Malaria Diagnosis] ⌨️ (14:57:00) Data Logging ⌨️ (15:29:00) View Model Graphs ⌨️ (15:31:45) Hyperparameter Tuning ⌨️ (15:52:40) Profiling and Visualizations MLOps with Weights and Biases [Malaria Diagnosis] ⌨️ (16:00:35) Experiment Tracking ⌨️ (16:55:02) Hyperparameter Tuning ⌨️ (17:17:15) Dataset Versioning ⌨️ (18:00:23) Model Versioning Human Emotions Detection ⌨️ (18:16:55) Data Preparation ⌨️ (18:45:38) Modeling and Training ⌨️ (19:36:42) Data Augmentation ⌨️ (19:54:30) TensorFlow Records Modern Convolutional Neural Networks [Human Emotions Detection] ⌨️ (20:31:25) AlexNet ⌨️ (20:48:35) VGGNet ⌨️ (20:59:50) ResNet ⌨️ (21:34:07) Coding ResNet from Scratch ⌨️ (21:56:17) MobileNet ⌨️ (22:20:43) EfficientNet Transfer Learning [Human Emotions Detection] ⌨️ (22:38:15) Feature Extraction ⌨️ (23:02:25) Finetuning Understanding the Blackbox [Human Emotions Detection] ⌨️ (23:15:33) Visualizing Intermediate Layers ⌨️ (23:36:20) Gradcam method Transformers in Vision [Human Emotions Detection] ⌨️ (23:57:35) Understanding ViTs ⌨️ (24:51:17) Building ViTs from Scratch ⌨️ (25:42:39) FineTuning Huggingface ViT ⌨️ (26:05:52) Model Evaluation with Wandb Model Deployment [Human Emotions Detection] ⌨️ (26:27:13) Converting TensorFlow Model to Onnx format ⌨️ (26:52:26) Understanding Quantization ⌨️ (27:13:08) Practical Quantization of Onnx Model ⌨️ (27:22:01) Quantization Aware Training ⌨️ (27:39:55) Conversion to TensorFlow Lite ⌨️ (27:58:28) How APIs work ⌨️ (28:18:28) Building an API with FastAPI ⌨️ (29:39:10) Deploying API to the Cloud ⌨️ (29:51:35) Load Testing with Locust Object Detection with YOLO ⌨️ (30:05:29) Introduction to Object Detection ⌨️ (30:11:39) Understanding YOLO Algorithm ⌨️ (31:15:17) Dataset Preparation ⌨️ (31:58:27) YOLO Loss ⌨️ (33:02:58) Data Augmentation ⌨️ (33:27:33) Testing Image Generation ⌨️ (33:59:28) Introduction to Image Generation ⌨️ (34:03:18) Understanding Variational Autoencoders ⌨️ (34:20:46) VAE Training and Digit Generation ⌨️ (35:06:05) Latent Space Visualization ⌨️ (35:21:36) How GANs work ⌨️ (35:43:30) The GAN Loss ⌨️ (36:01:38) Improving GAN Training ⌨️ (36:25:02) Face Generation with GANs Conclusion ⌨️ (37:15:45) What's Next
2023年06月06日
00:00:00 - 37:16:41
Practical Deep Learning for Coders - Full Course from fast.ai and Jeremy Howard

Practical Deep Learning for Coders - Full Course from fast.ai and Jeremy Howard

Practical Deep Learning for Coders is a course from fast.ai designed to give you a complete introduction to deep learning. This course was created to make deep learning accessible to as many people as possible. The only prerequisite for this course is that you know how to code (a year of experience is enough), preferably in Python, and that you have at least followed a high school math course. This course was developed by Jeremy Howard and Sylvain Gugger. Jeremy has been using and teaching machine learning for around 30 years. He is the former president of Kaggle, the world's largest machine learning community. Sylvain Gugger is a researcher who has written 10 math textbooks. 🔗 Course website with questionnaires, set-up guide, and more: https://course.fast.ai/ Lessons 7 and 8 are in a second video: https://youtu.be/HL7LOfyf6bc ⭐️ Course Contents ⭐️ (See next section for book & code.) ⌨️ (0:00:00) Lesson 1 - Your first modules ⌨️ (1:22:55) Lesson 2 - Evidence and p values ⌨️ (2:53:59) Lesson 3 - Production and Deployment ⌨️ (5:00:20) Lesson 4 - Stochastic Gradient Descent (SGD) from scratch ⌨️ (7:01:56) Lesson 5 - Data ethics ⌨️ (9:09:46) Lesson 6 - Collaborative filtering ⌨️ (https://youtu.be/HL7LOfyf6bc) Lesson 7 - Tabular data ⌨️ (https://youtu.be/HL7LOfyf6bc) Lesson 8 - Natural language processing ⭐️ Book chapters and code on Google Colab ⭐️ 🔗 Full book (or use links below to go directly to a chapter on Google Colab): https://github.com/fastai/fastbook NB: Chapter 2 contains widgets, which unfortunately are not supported by Colab. Also, in some places we use a file upload button, which is also not supported by Colab. For those sections, either skip them, or use a different platform such as Gradient (Colab is the only platform which doesn't support widgets). 💻 Intro to Jupyter: https://colab.research.google.com/github/fastai/fastbook/blob/master/app_jupyter.ipynb 💻 Chapter 1, Intro: https://colab.research.google.com/github/fastai/fastbook/blob/master/01_intro.ipynb 💻 Chapter 2, Production: https://colab.research.google.com/github/fastai/fastbook/blob/master/02_production.ipynb 💻 Chapter 3, Ethics: https://colab.research.google.com/github/fastai/fastbook/blob/master/03_ethics.ipynb 💻 Chapter 4, MNIST Basics: https://colab.research.google.com/github/fastai/fastbook/blob/master/04_mnist_basics.ipynb 💻 Chapter 5, Pet Breeds: https://colab.research.google.com/github/fastai/fastbook/blob/master/05_pet_breeds.ipynb 💻 Chapter 6, Multi-Category: https://colab.research.google.com/github/fastai/fastbook/blob/master/06_multicat.ipynb 💻 Chapter 7, Sizing and TTA: https://colab.research.google.com/github/fastai/fastbook/blob/master/07_sizing_and_tta.ipynb 💻 Chapter 8, Collab: https://colab.research.google.com/github/fastai/fastbook/blob/master/08_collab.ipynb 💻 Chapter 9, Tabular: https://colab.research.google.com/github/fastai/fastbook/blob/master/09_tabular.ipynb 💻 Chapter 10, NLP: https://colab.research.google.com/github/fastai/fastbook/blob/master/10_nlp.ipynb 💻 Chapter 11, Mid-Level API: https://colab.research.google.com/github/fastai/fastbook/blob/master/11_midlevel_data.ipynb 💻 Chapter 12, NLP Deep-Dive: https://colab.research.google.com/github/fastai/fastbook/blob/master/12_nlp_dive.ipynb 💻 Chapter 13, Convolutions: https://colab.research.google.com/github/fastai/fastbook/blob/master/13_convolutions.ipynb 💻 Chapter 14, Resnet: https://colab.research.google.com/github/fastai/fastbook/blob/master/14_resnet.ipynb 💻 Chapter 15, Arch Details: https://colab.research.google.com/github/fastai/fastbook/blob/master/15_arch_details.ipynb 💻 Chapter 16, Optimizers and Callbacks: https://colab.research.google.com/github/fastai/fastbook/blob/master/16_accel_sgd.ipynb 💻 Chapter 17, Foundations: https://colab.research.google.com/github/fastai/fastbook/blob/master/17_foundations.ipynb 💻 Chapter 18, GradCAM: https://colab.research.google.com/github/fastai/fastbook/blob/master/18_CAM.ipynb 💻 Chapter 19, Learner: https://colab.research.google.com/github/fastai/fastbook/blob/master/19_learner.ipynb 💻 Chapter 20, conclusion: https://colab.research.google.com/github/fastai/fastbook/blob/master/20_conclusion.ipynb -- Learn to code for free and get a developer job: https://www.freecodecamp.org Read hundreds of articles on programming: https://freecodecamp.org/news #tutorial #deep learning tutorial #deep learning course #deep learning for beginners #fast ai #fast.ai #jermey howard #kaggle
2020年10月21日
00:00:00 - 11:12:32
PyTorch for Deep Learning - Full Course / Tutorial

PyTorch for Deep Learning - Full Course / Tutorial

In this course, you will learn how to build deep learning models with PyTorch and Python. The course makes PyTorch a bit more approachable for people starting out with deep learning and neural networks. 💻 Code: https://jovian.ml/aakashns/01-pytorch-basics https://jovian.ml/aakashns/02-linear-regression https://jovian.ml/aakashns/03-logistic-regression https://jovian.ml/aakashns/04-feedforward-nn https://jovian.ml/aakashns/05-cifar10-cnn https://jovian.ml/aakashns/05b-cifar10-resnet https://jovian.ml/aakashns/06-mnist-gan ⭐️ Course Contents ⭐️ ⌨️ (0:00:00) Introduction ⌨️ (0:03:25) PyTorch Basics & Linear Regression ⌨️ (1:32:15) Image Classification with Logistic Regression ⌨️ (3:06:59) Training Deep Neural Networks on a GPU with PyTorch ⌨️ (4:44:51) Image Classification using Convolutional Neural Networks ⌨️ (6:35:11) Residual Networks, Data Augmentation and Regularization ⌨️ (8:12:08) Training Generative Adverserial Networks (GANs) #deep learning #pytorch #neural network #python
2020年04月30日
00:00:00 - 09:41:40
【深層学習】 CNN 紹介 "ResNet" 言わずとしれた CNN の標準技術が登場!【ディープラーニングの世界 vol. 17】#080 #VRアカデミア #DeepLearning

【深層学習】 CNN 紹介 "ResNet" 言わずとしれた CNN の標準技術が登場!【ディープラーニングの世界 vol. 17】#080 #VRアカデミア #DeepLearning

▼テーマ shortcut connection を駆使した ResNet の登場です!超有名技術ですね。 ResNet がすごいのは、勾配消失の解消だけじゃないんです。理論的な側面にも迫っていきます。 ▼関連プレイリスト Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP CNN紹介動画 https://www.youtube.com/playlist?list=PLhDAH9aTfnxIGIvLciL1CtE59VGrEx4ER ▼目次 00:00 OP ===== 1.ILSVRC-2015 ===== 00:30 どんなコンペなの? 01:34 コンペの歴史を振り返る ===== 2.degradation と residual learning ===== 02:43 論文紹介 03:20 degradationとは何か 04:16 何故degradationは起こるのか? 08:23 residual learningとは何か 09:35 residual learningのアイデアを味わう ===== 3.ResNet ===== 11:21 residual block を眺める 14:16 入力と出力のサイズが異なる時の工夫 16:21 ResNet-34のアーキテクチャ 18:37 ResNet-152のアーキテクチャ 21:00 当時の議論,時代背景 23:19 まとめ 23:51 ED ▼参考文献 He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. https://openaccess.thecvf.com/content_cvpr_2016/papers/He_Deep_Residual_Learning_CVPR_2016_paper.pdf 原論文です。 実は勾配消失の話は全く触れていないです。 degradation の問題から、どういう思索をもとに ResNet へたどり着いたかが記されていておすすめ! Amazon.co.jp: Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems: Géron, Aurélien https://amzn.to/2SmjFeY tensorflow つかって ML と DL をやる本。分厚い洋書ですが、入門に必要なことは全て書いてあります。 体力ある人は、つべこべ言わず、この本を読み切ればいいと思います。 ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、TwitterのDMからお願い致します。 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2020年10月30日
00:00:00 - 00:24:41
Deep Learning入門:ニューラルネットワークの多層化テクニック

Deep Learning入門:ニューラルネットワークの多層化テクニック

この動画では、数十層を超えるニューラルネットワークを安定して学習する方法について紹介します。 次の動画(ニューラルネットワーク学習の仕組み)はこちらです。 https://www.youtube.com/watch?v=r8bbe273vEs 前回の動画(層数、ニューロン数を決める指針)はこちらです。 https://www.youtube.com/watch?v=OwccN7rj4Qg ニューラルネットワーク設計の基礎 https://www.youtube.com/watch?v=O3qm6qZooP0 再生リスト「Deep Learning入門」 https://www.youtube.com/playlist?list=PLg1wtJlhfh23pjdFv4p8kOBYyTRvzseZ3 Neural Network Console https://dl.sony.com/ja/ Neural Network Libraries https://nnabla.org/ja/ #Deep Learning #Neural Network #Neural Network Console #Neural Network Libraries #Sony #AI #深層学習 #ディープラーニング #ニュールネットワーク #ソニー #人工知能 #ReLU #Rectified Linear Unit #Batch Normalization #バッチノーマライゼーション #バッチ正規化 #Residual Networks #ResNet
2019年04月15日
00:00:00 - 00:06:21
04L – ConvNet in practice

04L – ConvNet in practice

Course website: http://bit.ly/DLSP21-web Playlist: http://bit.ly/DLSP21-YouTube Speaker: Yann LeCun Chapters 00:00:00 – Welcome to class 00:00:09 – ConvNets in practice 00:01:49 – What are convolutions good for? 00:08:39 – Why do we need to stack layers? 00:13:50 – Object detection, multiple object recognition 00:17:25 – Multiple character recognition 00:19:31 – Sliding window ConvNet 00:23:20 – Face detection 00:25:55 – Whiteboard time! 00:31:30 – Q&A 00:33:40 – Semantic segmentation 00:38:54 – Robot navigation using semantic segmentation 00:43:42 – Category-level semantic segmentation 00:46:43 – FPGA ConvNet accelerator 00:47:56 – Error rate on ImageNet 00:49:23 – ResNet 00:50:36 – Networks comparison #PyTorch #NYU #Yann LeCun #Deep Learning #neural networks
2021年07月21日
00:00:00 - 00:51:41
Deep Learning精度向上テクニック:Data Augmentation

Deep Learning精度向上テクニック:Data Augmentation

この動画では、ニューラルネットワークの学習に用いるデータの数を水増しすることで精度の向上を図るデータ拡張、Data Augmentationのテクニックを解説します。 今回はImage Augmentation、Cutout/Random Erasing、Mixupの3つのテクニックについて解説しています。 次の動画「様々なCNN#3」はこちら https://www.youtube.com/watch?v=05qlCP-xL9Y 前回の動画「様々なCNN#2」はこちら https://www.youtube.com/watch?v=dqa2UGUH-48 ニューラルネットワークの性能を決定づけるデータの量と質 https://www.youtube.com/watch?v=ekReNLi3Ihg ResNet-18サンプルプロジェクト(学習時にImageAugmentation使用) # Neural Network Console クラウド版へのログインが必要 https://dl.sony.com/console/#/project?project_id=22 Mixupサンプルプロジェクト # Neural Network Console クラウド版へのログインが必要 https://dl.sony.com/console/#/project?project_id=38 再生リスト「Deep Learning 精度向上テクニック」 https://www.youtube.com/playlist?list=PLg1wtJlhfh216rnmSv_oEDuchRjgUqxBi 再生リスト「Deep Learning入門」 https://www.youtube.com/playlist?list=PLg1wtJlhfh23pjdFv4p8kOBYyTRvzseZ3 Neural Network Console https://dl.sony.com/ja/ Neural Network Libraries https://nnabla.org/ja/ #Deep Learning #Neural Network #Neural Network Console #Neural Network Libraries #Sony #AI #深層学習 #ディープラーニング #ニュールネットワーク #ソニー #人工知能 #Data Augmetation #データ拡張 #データの水増し #Image Augmentation #Random #Flip #Shift #Color #Cutout #Random Erasing #Mixup #Mixed-up
2019年09月05日
00:00:00 - 00:05:51
Deep Learning with PyTorch Live Course - ResNet, Regularization and Data Augmentation (Part 5 of 6)

Deep Learning with PyTorch Live Course - ResNet, Regularization and Data Augmentation (Part 5 of 6)

This is a beginner-friendly coding-first online course on PyTorch - one of the most widely used and fastest growing frameworks for machine learning. This video covers the process of applying advanced techniques like residual networks, data augmentation, batch normalization and transfer learning to achieve state of the art results for image classification in a very short time. Resources: 🔗 Classifying CIFAR10 images using a ResNet : https://jovian.ml/aakashns/05b-cifar10-resnet 🔗 Transfer learning starter: https://jovian.ml/aakashns/transfer-learning-starter 🔗 Discussion forum: https://jovian.ml/forum/t/lecture-5-data-augmentation-regularization-and-resnets/1546 🔗 Data science competition: https://www.kaggle.com/c/jovian-pytorch-z2g 🔗 Course project: https://jovian.ml/forum/t/assignment-5-course-project/1563 Topics covered: ⌨️ Improving the dataset using data normalization and data augmentation ⌨️ Improving the model using residual connections and batch normalization ⌨️ Improving the training loop using learning rate annealing, weight decay and gradient clip ⌨️ Training a state of the art image classifier from scratch in 5 minutes 🎥 Watch the entire series here: https://www.youtube.com/watch?v=vo_fUOk-IKk&list=PLWKjhJtqVAbm3T2Eq1_KgloC7ogdXxdRa This course is taught by Aakash N S, Founder & CEO of Jovian.ml - a platform for sharing, showcasing and collaborating on data science projects online. 🔗 YouTube: https://youtube.com/jovianml 🔗 Twitter: https://twitter.com/jovianml 🔗 LinkedIn: https://linkedin.com/company/jovianml  -- Learn to code for free and get a developer job: https://www.freecodecamp.org Read hundreds of articles on programming: https://freecodecamp.org/news
2020年06月21日
00:00:00 - 02:04:51
【深層学習】GPT-2 - 大規模言語モデルの可能性を見せ、社会もざわつかせたモデルの仕組み【ディープラーニングの世界vol.33】#113 #VRアカデミア #DeepLearning

【深層学習】GPT-2 - 大規模言語モデルの可能性を見せ、社会もざわつかせたモデルの仕組み【ディープラーニングの世界vol.33】#113 #VRアカデミア #DeepLearning

超自然な文章を生成できることが話題になり、一時は公開が見送られていた言語モデルである GPT-2 の紹介です。 社会的なセンセーショナルさとは距離をおいて、どういうモデルで、どういうタスクを、どうやって解いたのか、何がすごいのかをお届けします! ▼関連動画 Transformer の動画はこちら! https://www.youtube.com/watch?v=50XvMaWhiTY 忙しい人向け → https://www.youtube.com/watch?v=FFoLqib6u-0 GPT → https://www.youtube.com/watch?v=wDXPXgn5hX4 Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP 自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR ▼参考文献 Radford, Alec, et al. "Language models are unsupervised multitask learners." OpenAI blog 1.8 (2019): 9. http://www.persagen.com/files/misc/radford2019language.pdf 原論文! 世間では「巨大言語モデルを巨大データで学習して AI すげー!」って騒がれましたが、裏には考え抜かれた緻密な設計と努力があります。 AI を作る側の私達としては、一度読んでおくと、華々しい成果の裏に何があるのかが知れていいんじゃないかなーなんて思います。 He, Kaiming, et al. "Identity mappings in deep residual networks." European conference on computer vision. Springer, Cham, 2016. https://link.springer.com/chapter/10.1007/978-3-319-46493-0_38 Residual Connection は勾配消失対策だけじゃなくて、恒等写像学習のアイテムでもあるのです。 その哲学で書かれている論文。私は好きです。 その哲学を解説した ResNet の動画はこちら → https://www.youtube.com/watch?v=WslQrSO94qE Reddy, Siva, Danqi Chen, and Christopher D. Manning. "Coqa: A conversational question answering challenge." Transactions of the Association for Computational Linguistics 7 (2019): 249-266. https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00266/43511/CoQA-A-Conversational-Question-Answering-Challenge タスクの1つ、CoQAのデータセットの論文です。TOEIC的な問題を集めているのですが、これが深層学習モデルに解けるのはすごい。 パラパラ眺めるだけでもイメージついていいと思います! 【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7 いろいろこれを参考にして動画を作っています ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、公式 WebPage や TwitterのDMからお願い致します。 AIcia Solid Project - Official Website - https://sites.google.com/view/aicia-official/top 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2021年08月27日
00:00:00 - 00:22:10
【深層学習】SENet - 「圧縮興奮機構」による性能向上【ディープラーニングの世界 vol. 19】#082 #VRアカデミア #DeepLearning

【深層学習】SENet - 「圧縮興奮機構」による性能向上【ディープラーニングの世界 vol. 19】#082 #VRアカデミア #DeepLearning

▼テーマ SENet は ILSVRC の最後の年 (2017) に優勝したモデルです。 Squeeze-and-Excitation block という機構を用いて、どんな DL のモデルでも少パラメタ追加で性能を向上させてしまう神のようなアイテムです。 attention がこれだけはやる理由もわかる気がする、、、!という感じですね! ▼関連プレイリスト Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP CNN紹介動画 https://www.youtube.com/playlist?list=PLhDAH9aTfnxIGIvLciL1CtE59VGrEx4ER ▼参考文献 Hu, Jie, Li Shen, and Gang Sun. "Squeeze-and-excitation networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. https://openaccess.thecvf.com/content_cvpr_2018/papers/Hu_Squeeze-and-Excitation_Networks_CVPR_2018_paper.pdf 原論文です。 Squeeze-and-Excitation 機構の着想や、詳細な分析が書いてあります。特に、 ResNet のどこに SE-block を入れるかの比較なんかは面白いです。 Amazon.co.jp: Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems: Géron, Aurélien https://amzn.to/2SmjFeY tensorflow つかって ML と DL をやる本。分厚い洋書ですが、入門に必要なことは全て書いてあります。 体力ある人は、つべこべ言わず、この本を読み切ればいいと思います。 ▼終わりに ご視聴ありがとうございました! 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ! お仕事、コラボのご依頼は、TwitterのDMからお願い致します。 動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ ) 動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ ) ======= Logo: TEICAさん ( https://twitter.com/T_E_I_C_A ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん ( https://twitter.com/W01fa )
2020年11月13日
00:00:00 - 00:23:35
Data Augmentation, Regularization, and ResNets | Deep Learning with PyTorch: Zero to GANs | 5 of 6

Data Augmentation, Regularization, and ResNets | Deep Learning with PyTorch: Zero to GANs | 5 of 6

“Deep Learning with PyTorch: Zero to GANs” is a beginner-friendly online course offering a practical and coding-focused introduction to deep learning using the PyTorch framework. Learn more and register for a certificate of accomplishment here: http://zerotogans.com Watch the entire series here: https://www.youtube.com/playlist?list=PLWKjhJtqVAbm5dir5TLEy2aZQMG7cHEZp Code and Resources: 🔗 Classifying CIFAR10 images using ResNet and Regularization techniques in PyTorch: https://jovian.ai/aakashns/05b-cifar10-resnet 🔗 Image Classification using Convolutional Neural Networks in PyTorch: https://jovian.ai/aakashns/05-cifar10-cnn 🔗 Discussion forum: https://jovian.ai/forum/t/lecture-5-data-augmentation-regularization-and-resnets/13772 Topics covered in this video: * Improving the dataset using data normalization and data augmentation * Improving the model using residual connections and batch normalization * Improving the training loop using learning rate annealing, weight decay, and gradient clip * Training a state of the art image classifier from scratch in 10 minutes This course is taught by Aakash N S, co-founder & CEO of Jovian - a data science platform and global community. - YouTube: https://youtube.com/jovianml - Twitter: https://twitter.com/jovianml - LinkedIn: https://linkedin.com/company/jovianml -- Learn to code for free and get a developer job: https://www.freecodecamp.org Read hundreds of articles on programming: https://freecodecamp.org/news
2020年12月20日
00:00:00 - 01:59:05
Supervised and self-supervised transfer learning (with PyTorch Lightning)

Supervised and self-supervised transfer learning (with PyTorch Lightning)

Spring 2020 website: http://bit.ly/pDL-home Spring 2020 playlist: http://bit.ly/pDL-YouTube Speaker: William Falcon & Alfredo Canziani From NYU Deep Learning, Fall 2020 course. 00:00:00 – Week 10 – Practicum 00:06:00 – Supervised and self-supervised transfer learning 00:18:43 – Supervised transfer learning with PyTorch 00:22:31 – Supervised transfer learning with Lightning – implementation 00:30:59 – Supervised transfer learning with Lightning – training 00:41:01 – Self-supervised transfer learning with Lightning 00:53:09 – Generalisation comparison 01:08:34 – Summary #Deep Learning #Yann LeCun #NYU #PyTorch #Lightning #William Falcon #Boltz #transfer learning #self-supervised #supervised #back-bone #ResNet #fine tuning
2020年11月16日
00:00:00 - 01:11:24
nnablaチャンネルを開設しました

nnablaチャンネルを開設しました

ソニーが提供するオープンソースのディープラーニング(深層学習)フレームワークソフトウェアのNeural Network Libraries( https://nnabla.org/, https://github.com/sony/nnabla/ )に関連する情報を紹介する動画チャンネルを開設しました( https://www.youtube.com/c/nnabla )。Neural Network Librariesのチュートリアル・Tipsに加え、最先端のディープラーニングの技術情報(講義、最先端論文紹介)などを発信していきます。チャンネル登録と応援よろしくおねがいします! 同じくソニーが提供する直感的なGUIベースの深層学習開発環境のNeural Network Console( https://dl.sony.com/ )が発信する大人気のYouTubeチャンネル( https://www.youtube.com/c/NeuralNetworkConsole/ )でもディープラーニングの技術講座やツールのチュートリアルを多数公開しています。こちらもチャンネル登録と応援よろしくおねがいします。 【動画内引用文献・リンク】 Hayakawa, Akio, et al. "Neural Network Libraries: A Deep Learning Framework Designed from Engineers' Perspectives." arXiv preprint arXiv:2102.06725 (2021). https://arxiv.org/abs/2102.06725 sony/nnabla-examples: Neural Network Libraries - Examples (https://github.com/sony/nnabla-examples/) Google Colaboratory - https://colab.research.google.com/ Mikami, Hiroaki, et al. "Massively distributed SGD: ImageNet/ResNet-50 training in a flash." arXiv preprint arXiv:1811.05233 (2018). https://arxiv.org/abs/1811.05233 Howard, Andrew, et al. "Searching for mobilenetv3." Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019. https://arxiv.org/abs/1905.02244 Tan, Mingxing, and Quoc Le. "Efficientnet: Rethinking model scaling for convolutional neural networks." International Conference on Machine Learning. PMLR, 2019. https://arxiv.org/abs/1905.11946 Karras, Tero, et al. "Analyzing and improving the image quality of stylegan." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. https://arxiv.org/abs/1912.04958 Siarohin, Aliaksandr, et al. "First order motion model for image animation.“ NeurIPS 2019. https://arxiv.org/abs/2003.00196 Park, Taesung, et al. "Semantic image synthesis with spatially-adaptive normalization." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019. https://arxiv.org/abs/1903.07291 Chu, Mengyu, et al. "Learning temporal coherence via self-supervision for GAN-based video generation." ACM Transactions on Graphics (TOG) 39.4 (2020): 75-1. https://arxiv.org/abs/1811.09393 Wang, Yuxuan, et al. "Tacotron: Towards end-to-end speech synthesis." Proc. Interspeech 2017. https://arxiv.org/abs/1703.10135 Shen, Jonathan, et al. "Natural tts synthesis by conditioning wavenet on mel spectrogram predictions." 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2018. https://arxiv.org/abs/1712.05884 Stöter, Fabian-Robert, et al. "Open-unmix-a reference implementation for music source separation." Journal of Open Source Software 4.41 (2019): 1667. https://hal.inria.fr/hal-02293689 Prenger, Ryan, Rafael Valle, and Bryan Catanzaro. "Waveglow: A flow-based generative network for speech synthesis." ICASSP 2019-2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2019. https://arxiv.org/abs/1811.00002
2021年03月16日
00:00:00 - 00:04:39
Stanford Seminar - Deep Learning for Medical Diagnoses

Stanford Seminar - Deep Learning for Medical Diagnoses

Pranav Rajpurkar Stanford University April 17, 2019 The use of algorithms in clinical care demands a very high performance level for accurate detection and classification of disease. Deep learning (DL) offers a powerful toolkit necessary to handle the complex variations present in medical data, which traditional statistical or machine learning approaches have historically been unable to capture. In this talk, I will describe the challenges and approaches for the development of high-performance DL algorithms and curation of datasets for problems in diagnostic radiology and cardiology. I will also discuss the use of these algorithms as diagnostic support tools for clinicians, and challenges for the potential translation of these algorithms from the lab setting to clinical practice. View the full playlist: https://www.youtube.com/playlist?list=PLoROMvodv4rMWw6rRoeSpkiseTHzWj6vu 0:00 Introduction 0:37 Traditional Model of Clinical 2:42 Diagnostic Procedure with Al 4:02 Information Gathering Step 5:44 Diagnostic Testing with Al 6:49 Machine Learning Framework 8:54 Next Paradigm shift? 10:08 Arrhythmia detection 10:49 Future of continuous monitoring 11:56 Holter Monitor 12:27 Amount of data capture 15:16 Automated Detection Challenges 18:20 Previous Approaches 19:10 Setup 20:29 Network Architecture 20:50 Residual Networks 21:42 Wide ResNets 23:05 Dataset - Test Set 30:48 Medical Errors 36:36 Chest Radiograph Interpretation 37:02 Chest X-ray exam 37:19 Detecting Abnormalities 37:32 X-ray findings of pneumonia 37:46 Detecting Pneumonia 38:30 DenseNets 39:17 Dataset - Train Set 39:52 Evaluation -- Limitations 41:49 Class Activation Maps 42:07 Interpretations 42:39 Future of diagnostic access 46:53 Diagnosis Clinical Decision Support 48:34 Knee MR 49:26 Input 50:38 Dataset Training on 51:07 Interpretability 53:28 External Validation 55:44 Diagnostic Future with Al #Stanford Online #seminar #Medical Diagnoses #Deep Learning #Pranav Rajpurkar #Stanford University #Computer Systems #Colloquium
2019年04月25日
00:00:00 - 00:56:34
【AI論文解説】バッチ正規化なしでResNetを学習させるための分析と提案 ICLR2021論文紹介(Part 1)

【AI論文解説】バッチ正規化なしでResNetを学習させるための分析と提案 ICLR2021論文紹介(Part 1)

【AI論文解説】はディープラーニング・機械学習に関する論文を紹介する動画シリーズです。(プレイリスト: https://www.youtube.com/playlist?list=PLbtqZvaoOVPCqfmnrBfo9Xv5mtDr0LjQZ ) 今回は、バッチ正規化を使用せずにResNetを学習させるための課題分析と、その課題を解決する提案手法に関して、ICLR2021で発表された論文を紹介します。 本動画はその前半パートで、主な課題分析と提案手法について説明しています。 後半パートでは実験結果について説明しています。 【紹介論文】 ・Characterizing signal propagation to close the performance gap in unnormalized ResNets  【論文リンク】https://openreview.net/forum?id=IX3Nnir2omJ -- ソニーが提供するオープンソースのディープラーニング(深層学習)フレームワークソフトウェアのNeural Network Libraries( https://nnabla.org/​​, https://github.com/sony/nnabla/​​ )に関連する情報を紹介する動画チャンネルを開設しました( https://www.youtube.com/c/nnabla​ )。Neural Network Librariesのチュートリアル・Tipsに加え、最先端のディープラーニングの技術情報(講義、最先端論文紹介)などを発信していきます。チャンネル登録と応援よろしくおねがいします! 同じくソニーが提供する直感的なGUIベースの深層学習開発環境のNeural Network Console( https://dl.sony.com/​ )が発信する大人気のYouTubeチャンネル( https://www.youtube.com/channel/UCRTV5p4JsXV3YTdYpTJECRA )でもディープラーニングの技術講座やツールのチュートリアルを多数公開しています。こちらもチャンネル登録と応援よろしくおねがいします。
2021年04月19日
00:00:00 - 00:23:08
Understanding and Visualizing ResNets that Forever Revolutionized Deep Learning

Understanding and Visualizing ResNets that Forever Revolutionized Deep Learning

Learn how the ResNet changed deep learning forever. In December 2015, a published paper rocked the deep learning world. This paper is widely regarded as one of the most influential papers in modern deep learning and has been cited over 110,000 times. The name of this paper was Deep Residual Learning for Image Recognition (aka, the ResNet paper). In this session, we'll take a brief tour through the history of computer vision, into the anatomy of a convolutional neural network, and understand their limitations. By the end of the session, you'll know: • What computer vision was like before convolutional neural networks (CNNs) • The anatomy of CNNs • The limitations of CNNs • Residual networks and the skip connection • How to perform image classification with ResNet with code Table of Contents: 00:00 Introduction 05:10 Typical neural network 05:48 Translational invariance 07:27 Convolutional neural network 16:45 Classic CNN architectures 25:08 Residual blocks and the skip connection 30:05 ResNet in action 52:25 QnA -- Google Colab Notebook: https://colab.research.google.com/drive/1ZqCky7dXJ8cGCFaOXCzM0ekVZ0-KPvmi?usp=sharing Star SuperGradients on GitHub: https://github.com/Deci-AI/super-gradients -- For more captivating community talks featuring renowned speakers, check out this playlist: https://youtube.com/playlist?list=PL8eNk_zTBST-EBv2LDSW9Wx_V4Gy5OPFT For further tutorials on advanced machine learning, check out this exclusive playlist: https://youtube.com/playlist?list=PL8eNk_zTBST_SS_czCz6Do1yrUowhKBHI -- At Data Science Dojo, we believe data science is for everyone. Our data science trainings have been attended by more than 10,000 employees from over 2,500 companies globally, including many leaders in tech like Microsoft, Google, and Facebook. For more information please visit: https://hubs.la/Q01Z-13k0 💼 Learn to build LLM-powered apps in just 40 hours with our Large Language Models bootcamp: https://hubs.la/Q01ZZGL-0 💼 Get started in the world of data with our top-rated data science bootcamp: https://hubs.la/Q01ZZDpt0 💼 Master Python for data science, analytics, machine learning, and data engineering: https://hubs.la/Q01ZZD-s0 💼 Explore, analyze, and visualize your data with Power BI desktop: https://hubs.la/Q01ZZF8B0 -- Unleash your data science potential for FREE! Dive into our tutorials, events & courses today! 📚 Learn the essentials of data science and analytics with our data science tutorials: https://hubs.la/Q01ZZJJK0 📚 Stay ahead of the curve with the latest data science content, subscribe to our newsletter now: https://hubs.la/Q01ZZBy10 📚 Connect with other data scientists and AI professionals at our community events: https://hubs.la/Q01ZZLd80 📚 Checkout our free data science courses: https://hubs.la/Q01ZZMcm0 📚 Get your daily dose of data science with our trending blogs: https://hubs.la/Q01ZZMWl0 -- 📱 Social media links Connect with us: https://www.linkedin.com/company/data-science-dojo Follow us: https://twitter.com/DataScienceDojo Keep up with us: https://www.instagram.com/data_science_dojo/ Like us: https://www.facebook.com/datasciencedojo Find us: https://www.threads.net/@data_science_dojo -- Also, join our communities: LinkedIn: https://www.linkedin.com/groups/13601597/ Twitter: https://twitter.com/i/communities/1677363761399865344 Facebook: https://www.facebook.com/groups/AIandMachineLearningforEveryone/ Vimeo: https://vimeo.com/datasciencedojo Discord: https://discord.com/invite/tj8ken4Err _ Want to share your data science knowledge? Boost your profile and share your knowledge with our community: https://hubs.la/Q01ZZNCn0 #deeplearning #resnets #convolutionalneuralnetworks #Deep learning #ResNet #Convolutional neural network #image recognition #neural network #convolutional neural network architectures #computer vision #image classification #object detection #image segmentation #neural networks
2023年01月05日
00:00:00 - 00:58:57
【Converter】NNCで作ったモデルをブラウザ上で動かしてみよう

【Converter】NNCで作ったモデルをブラウザ上で動かしてみよう

9月にONNX Runtime Webがリリースされました。 この動画ではNNCを使って作られたモデルをONNX Runtime Webを使ってブラウザ上で動かしてみたいと思います。 最初にLogistic Regressionで試し、次にpre-trained modelのresnet-50を使って動かしてみます。 この動画の中で使うファイルはこちらをご参照ください: https://github.com/sony/nnabla-examples/tree/master/format-converter/ORT-Web File Format Converterに関してはこちらもご参照ください。 【File Formatの概要と使い方】 https://nnabla.readthedocs.io/ja/latest/python/file_format_converter/file_format_converter.html 【Converterサポート状況】 https://nnabla.readthedocs.io/ja/latest/support_status.html BGM: Andrew Shin -- ソニーが提供するオープンソースのディープラーニング(深層学習)フレームワークソフトウェアのNeural Network Libraries( https://nnabla.org/, https://github.com/sony/nnabla/ )に関連する情報を紹介する動画チャンネルを開設しました( https://www.youtube.com/c/nnabla )。 Neural Network Librariesのチュートリアル・Tipsに加え、最先端のディープラーニングの技術情報(講義、最先端論文紹介)などを発信していきます。チャンネル登録と応援よろしくおねがいします! 同じくソニーが提供する直感的なGUIベースの深層学習開発環境のNeural Network Console ( https://dl.sony.com/ )が発信する大人気のYouTubeチャンネル ( https://www.youtube.com/c/NeuralNetwo... )でもディープラーニングの技術講座やツールのチュートリアルを多数公開しています。こちらもチャンネル登録と応援よろしくおねがいします。
2021年11月15日
00:00:00 - 00:20:44
【AI論文解説】バッチ正規化なしでResNetを学習させるための分析と提案 ICLR2021論文紹介(Part 2)

【AI論文解説】バッチ正規化なしでResNetを学習させるための分析と提案 ICLR2021論文紹介(Part 2)

【AI論文解説】はディープラーニング・機械学習に関する論文を紹介する動画シリーズです。(プレイリスト: https://www.youtube.com/playlist?list=PLbtqZvaoOVPCqfmnrBfo9Xv5mtDr0LjQZ ) 今回は、バッチ正規化を使用せずにResNetを学習させるための課題分析と、その課題を解決する提案手法に関して、ICLR2021で発表された論文を紹介します。 本動画はその後半パートで、実験結果について説明しています。 前半パートでは主な課題分析と提案手法について説明しています。 前半パート:https://youtu.be/4ZFzjbmddaA 【紹介論文】 ・Characterizing signal propagation to close the performance gap in unnormalized ResNets  【論文リンク】https://openreview.net/forum?id=IX3Nnir2omJ -- ソニーが提供するオープンソースのディープラーニング(深層学習)フレームワークソフトウェアのNeural Network Libraries( https://nnabla.org/​​, https://github.com/sony/nnabla/​​ )に関連する情報を紹介する動画チャンネルを開設しました( https://www.youtube.com/c/nnabla​ )。Neural Network Librariesのチュートリアル・Tipsに加え、最先端のディープラーニングの技術情報(講義、最先端論文紹介)などを発信していきます。チャンネル登録と応援よろしくおねがいします! 同じくソニーが提供する直感的なGUIベースの深層学習開発環境のNeural Network Console( https://dl.sony.com/​ )が発信する大人気のYouTubeチャンネル( https://www.youtube.com/channel/UCRTV5p4JsXV3YTdYpTJECRA )でもディープラーニングの技術講座やツールのチュートリアルを多数公開しています。こちらもチャンネル登録と応援よろしくおねがいします。
2021年04月19日
00:00:00 - 00:18:57
Deep Learning精度向上テクニック:様々なCNN #1

Deep Learning精度向上テクニック:様々なCNN #1

この動画では、Deep Learningで用いられる様々なConolutionのアーキテクチャを紹介します。 #1では、3x3、1x1(Pointwise)、Grouped、Separable(Depthwise + Pointwise)Convolutionについて解説しています。 次の動画(様々なCNN #2)はこちら https://www.youtube.com/watch?v=dqa2UGUH-48 前回の動画(様々な活性化関数)はこちら https://www.youtube.com/watch?v=cTvJ-jj63U4 ニューラルネットワーク設計の基礎 https://www.youtube.com/watch?v=O3qm6qZooP0 ニューラルネットワーク学習の仕組み https://www.youtube.com/watch?v=r8bbe273vEs 再生リスト「Deep Learning 精度向上テクニック」 https://www.youtube.com/playlist?list=PLg1wtJlhfh216rnmSv_oEDuchRjgUqxBi 再生リスト「Deep Learning入門」 https://www.youtube.com/playlist?list=PLg1wtJlhfh23pjdFv4p8kOBYyTRvzseZ3 Neural Network Console https://dl.sony.com/ja/ Neural Network Libraries https://nnabla.org/ja/ #Deep Learning #Neural Network #Neural Network Console #Neural Network Libraries #Sony #AI #深層学習 #ディープラーニング #ニュールネットワーク #ソニー #人工知能 #Convolution #3x3 #1x1 #Pointwise #Depthwise #Grouped #Separable #Inception-v4 #AlexNet #ResNet #ResNeXt #Xception #CNN #Convolutional Neural Networks #畳み込みニューラルネットワーク
2019年05月17日
00:00:00 - 00:10:03