社内で行った講演を再録した動画です。拡散モデル（diffusion models）と基盤モデル（foundation models）の関係について、特に以下の２つの視点から2023年の研究動向を概説します。 ・Diffusion models with foundation models: 基盤モデルによる拡散モデルの拡張 ・Diffusion models as foundation models: 基盤モデルとしての拡散モデルの活用 2022年版の動画は以下で視聴できます。 https://youtu.be/HfTD5__gZX4 参考文献は以下です。 ＜イントロ＞ Stable Diffusion: https://github.com/Stability-AI/stablediffusion DALL-E 3: https://openai.com/dall-e-3 “AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining,” arXiv, 2023. (https://arxiv.org/abs/2308.05734) “Planning with Diffusion for Flexible Behavior Synthesis,” ICML 2022. (https://proceedings.mlr.press/v162/janner22a.html) “On the Opportunities and Risks of Foundation Models,” arXiv 2021. (https://arxiv.org/abs/2108.07258) “Deep Unsupervised Learning using Nonequilibrium Thermodynamics,” ICML 2015. (http://proceedings.mlr.press/v37/sohl-dickstein15.html) “Denoising Diffusion Probabilistic Models,” NeurIPS 2020. (https://proceedings.neurips.cc/paper/2020/hash/4c5bcfec8584af0d967f1ab10179ca4b-Abstract.html) ＜With foundation models＞ “Improving Image Generation with Better Captions,” Technical Report, 2023. (https://cdn.openai.com/papers/dall-e-3.pdf) “Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models,” arXiv, 2023. (https://arxiv.org/abs/2303.04671) “TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs,” arXiv, 2023. (https://arxiv.org/abs/2303.16434) “NExT-GPT: Any-to-Any Multimodal LLM,” arXiv, 2023. (https://arxiv.org/abs/2309.05519) ＜As foundation models＞ “Adding Conditional Control to Text-to-Image Diffusion Models,” ICCV 2023. (https://openaccess.thecvf.com/content/ICCV2023/html/Zhang_Adding_Conditional_Control_to_Text-to-Image_Diffusion_Models_ICCV_2023_paper.html) “LoRA: Low-Rank Adaptation of Large Language Models,” ICLR 2022. (https://openreview.net/forum?id=nZeVKeeFYf9) “AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning,” arXiv, 2023. (https://arxiv.org/abs/2307.04725) “One Transformer Fits All Distributions in Multi-Modal Diffusion at Scale,” ICML 2023. (https://openreview.net/forum?id=Urp3atR1Z3) “MM-Diffusion: Learning Multi-Modal Diffusion Models for Joint Audio and Video Generation,” CVPR 2023. (https://openaccess.thecvf.com/content/CVPR2023/papers/Ruan_MM-Diffusion_Learning_Multi-Modal_Diffusion_Models_for_Joint_Audio_and_Video_CVPR_2023_paper.pdf) “CoDi: Any-to-Any Generation via Composable Diffusion,” NeurIPS 2023. (https://openreview.net/forum?id=2EDqbSCnmF) -- ソニーが提供するオープンソースのディープラーニング（深層学習）フレームワークソフトウェアのNeural Network Libraries（ https://nnabla.org/, https://github.com/sony/nnabla/ ）に関連する情報を紹介する動画チャンネルを開設しました（ https://www.youtube.com/c/nnabla ）。Neural Network Librariesのチュートリアル・Tipsに加え、最先端のディープラーニングの技術情報（講義、最先端論文紹介）などを発信していきます。チャンネル登録と応援よろしくおねがいします！ 同じくソニーが提供する直感的なGUIベースの深層学習開発環境のNeural Network Console（ https://dl.sony.com/ ）が発信する大人気のYouTubeチャンネル（ https://www.youtube.com/channel/UCRTV5p4JsXV3YTdYpTJECRA ）でもディープラーニングの技術講座やツールのチュートリアルを多数公開しています。こちらもチャンネル登録と応援よろしくおねがいします。

本編: https://youtu.be/_AhE4VXOjL8 Sony's Research Mindsは、優れた研究を行っている方をお呼びして、その魅力を引き出す対談番組です 今回はICML2022採択論文"SQVAE"についての対談です Yuhta Takida, Takashi Shibuya, WeiHsiang Liao, Chieh-Hsin Lai, Junki Ohmura, Toshimitsu Uesaka, Naoki Murata, Shusuke Takahashi, Toshiyuki Kumakura, Yuki Mitsufuji, SQ-VAE: Variational Bayes on Discrete Representation with Self-annealed Stochastic Quantization, In ICML2022 paper: https://proceedings.mlr.press/v162/takida22a/takida22a.pdf code: https://github.com/sony/sqvae - VIDEO - Creative Direction & Cinematographer: Yuki Asukabe 1st Assistant Camera: Katsuya Sakoyama Special Thanks: Backcasters -- ソニーが提供するオープンソースのディープラーニング（深層学習）フレームワークソフトウェアのNeural Network Libraries（ https://nnabla.org/, https://github.com/sony/nnabla/ ）に関連する情報を紹介する動画チャンネルを開設しました（ https://www.youtube.com/c/nnabla ）。Neural Network Librariesのチュートリアル・Tipsに加え、最先端のディープラーニングの技術情報（講義、最先端論文紹介）などを発信していきます。チャンネル登録と応援よろしくおねがいします！ 同じくソニーが提供する直感的なGUIベースの深層学習開発環境のNeural Network Console（ https://dl.sony.com/ ）が発信する大人気のYouTubeチャンネル（ https://www.youtube.com/channel/UCRTV5p4JsXV3YTdYpTJECRA ）でもディープラーニングの技術講座やツールのチュートリアルを多数公開しています。こちらもチャンネル登録と応援よろしくおねがいします。

本編: https://youtu.be/gt4YZK56nrg Sony's Research Mindsは、優れた研究を行っている方をお呼びして、その魅力を引き出す対談番組です 今回はICML2023採択論文"GibbsDDRM"についての対談です Naoki Murata, Koichi Saito, Chieh-Hsin Lai, Yuhta Takida, Toshimitsu Uesaka, Yuki Mitsufuji, Stefano Ermon, Gibbsddrm: A partially collapsed gibbs sampler for solving blind inverse problems with denoising diffusion restoration, In ICML2023 paper: https://proceedings.mlr.press/v202/murata23a.html code: https://github.com/sony/gibbsddrm - VIDEO - Creative Direction & Cinematographer: Yuki Asukabe 1st Assistant Camera: Katsuya Sakoyama Special Thanks: Backcasters -- ソニーが提供するオープンソースのディープラーニング（深層学習）フレームワークソフトウェアのNeural Network Libraries（ https://nnabla.org/, https://github.com/sony/nnabla/ ）に関連する情報を紹介する動画チャンネルを開設しました（ https://www.youtube.com/c/nnabla ）。Neural Network Librariesのチュートリアル・Tipsに加え、最先端のディープラーニングの技術情報（講義、最先端論文紹介）などを発信していきます。チャンネル登録と応援よろしくおねがいします！ 同じくソニーが提供する直感的なGUIベースの深層学習開発環境のNeural Network Console（ https://dl.sony.com/ ）が発信する大人気のYouTubeチャンネル（ https://www.youtube.com/channel/UCRTV5p4JsXV3YTdYpTJECRA ）でもディープラーニングの技術講座やツールのチュートリアルを多数公開しています。こちらもチャンネル登録と応援よろしくおねがいします。

Sony's Research Mindsは、優れた研究を行っている方をお呼びして、その魅力を引き出す対談番組です 今回はICML2022採択論文"SQVAE"についての対談です Yuhta Takida, Takashi Shibuya, WeiHsiang Liao, Chieh-Hsin Lai, Junki Ohmura, Toshimitsu Uesaka, Naoki Murata, Shusuke Takahashi, Toshiyuki Kumakura, Yuki Mitsufuji, SQ-VAE: Variational Bayes on Discrete Representation with Self-annealed Stochastic Quantization, In ICML2022 paper: https://proceedings.mlr.press/v162/takida22a/takida22a.pdf code: https://github.com/sony/sqvae 【目次】 00:00 - Intro 01:46 - SQVAEの紹介 37:31 - Outro - VIDEO - Creative Direction & Cinematographer: Yuki Asukabe 1st Assistant Camera: Katsuya Sakoyama Special Thanks: Backcasters -- ソニーが提供するオープンソースのディープラーニング（深層学習）フレームワークソフトウェアのNeural Network Libraries（ https://nnabla.org/, https://github.com/sony/nnabla/ ）に関連する情報を紹介する動画チャンネルを開設しました（ https://www.youtube.com/c/nnabla ）。Neural Network Librariesのチュートリアル・Tipsに加え、最先端のディープラーニングの技術情報（講義、最先端論文紹介）などを発信していきます。チャンネル登録と応援よろしくおねがいします！ 同じくソニーが提供する直感的なGUIベースの深層学習開発環境のNeural Network Console（ https://dl.sony.com/ ）が発信する大人気のYouTubeチャンネル（ https://www.youtube.com/channel/UCRTV5p4JsXV3YTdYpTJECRA ）でもディープラーニングの技術講座やツールのチュートリアルを多数公開しています。こちらもチャンネル登録と応援よろしくおねがいします。

Sony's Research Mindsは、優れた研究を行っている方をお呼びして、その魅力を引き出す対談番組です 今回はICML2023採択論文"GibbsDDRM"についての対談です Naoki Murata, Koichi Saito, Chieh-Hsin Lai, Yuhta Takida, Toshimitsu Uesaka, Yuki Mitsufuji, Stefano Ermon, Gibbsddrm: A partially collapsed gibbs sampler for solving blind inverse problems with denoising diffusion restoration, In ICML2023 paper: https://proceedings.mlr.press/v202/murata23a.html code: https://github.com/sony/gibbsddrm 【目次】 00:00 - Intro 02:16 - GibbsDDRMの紹介 28:19 - Outro - VIDEO - Creative Direction & Cinematographer: Yuki Asukabe 1st Assistant Camera: Katsuya Sakoyama Special Thanks: Backcasters -- ソニーが提供するオープンソースのディープラーニング（深層学習）フレームワークソフトウェアのNeural Network Libraries（ https://nnabla.org/, https://github.com/sony/nnabla/ ）に関連する情報を紹介する動画チャンネルを開設しました（ https://www.youtube.com/c/nnabla ）。Neural Network Librariesのチュートリアル・Tipsに加え、最先端のディープラーニングの技術情報（講義、最先端論文紹介）などを発信していきます。チャンネル登録と応援よろしくおねがいします！ 同じくソニーが提供する直感的なGUIベースの深層学習開発環境のNeural Network Console（ https://dl.sony.com/ ）が発信する大人気のYouTubeチャンネル（ https://www.youtube.com/channel/UCRTV5p4JsXV3YTdYpTJECRA ）でもディープラーニングの技術講座やツールのチュートリアルを多数公開しています。こちらもチャンネル登録と応援よろしくおねがいします。

This is the paper explanation lecture of "StyleAvatar: Real-time Photo-realistic Portrait Avatar from a Single Video" by Tsinghua University and NNKOSMOS Technology. This paper was published in SIGGRAPH 2023 and proposes a real-time high fidelity portrait avatar reconstruction method. Arxiv: https://arxiv.org/abs/2305.00942 Project Page: https://www.liuyebin.com/styleavatar/styleavatar.html Video: https://www.liuyebin.com/styleavatar/assets/Styleavatar.mp4 Code: https://github.com/LizhenWangT/StyleAvatar Image & Equation References: Equations on slide 17 are taken from StyleAvatar paper. Equations on slide 28 are for demonstration purpose only, taken from various web sources. All the other images or videos are taken from the project page / paper of StyleAvatar Sony has launched a video channel to introduce information related to Neural Network Libraries (https://nnabla.org/, https://github.com/sony/nnabla/), an open source deep learning framework software provided by Sony (https://nnabla.org/). In addition to tutorials and tips on Neural Network Libraries, we will be providing information on the latest deep learning technologies (lectures, introduction of cutting-edge papers). Please subscribe to our channel and support us! The Neural Network Console (https://dl.sony.com/), an intuitive GUI-based deep learning development environment also provided by Sony, has a very popular YouTube channel (https://www.youtube.com/channel/UCRTV5p4JsXV3YTdYpTJECRA). Do check that out as well!

【AI論文解説】はディープラーニング・機械学習に関する論文を紹介する動画シリーズです。（プレイリスト： https://www.youtube.com/playlist?list=PLbtqZvaoOVPCqfmnrBfo9Xv5mtDr0LjQZ ） 今回は、CVPR2023で発表された、GRES (Generalized Referring Expression Segmentation) を紹介します。 　【論文リンク】https://openaccess.thecvf.com/content/CVPR2023/html/Liu_GRES_Generalized_Referring_Expression_Segmentation_CVPR_2023_paper.html 　【プロジェクトページ】 https://henghuiding.github.io/GRES/ スライド内の画像は紹介論文より引用しています。 一部、以下の論文からも引用しています。 - PhraseCut: Language-Based Image Segmentation in the Wild (CVPR2020) - Multimodal Diffusion Segmentation Model for Object Segmentation from Manipulation Instructions (IROS2023) -- ソニーが提供するオープンソースのディープラーニング（深層学習）フレームワークソフトウェアのNeural Network Libraries（ https://nnabla.org/, https://github.com/sony/nnabla/ ）に関連する情報を紹介する動画チャンネルを開設しました（ https://www.youtube.com/c/nnabla ）。Neural Network Librariesのチュートリアル・Tipsに加え、最先端のディープラーニングの技術情報（講義、最先端論文紹介）などを発信していきます。チャンネル登録と応援よろしくおねがいします！ 同じくソニーが提供する直感的なGUIベースの深層学習開発環境のNeural Network Console（ https://dl.sony.com/ ）が発信する大人気のYouTubeチャンネル（ https://www.youtube.com/channel/UCRTV5p4JsXV3YTdYpTJECRA ）でもディープラーニングの技術講座やツールのチュートリアルを多数公開しています。こちらもチャンネル登録と応援よろしくおねがいします。

【AI論文解説】はディープラーニング・機械学習に関する論文を紹介する動画シリーズです。（プレイリスト： https://www.youtube.com/playlist?list=PLbtqZvaoOVPCqfmnrBfo9Xv5mtDr0LjQZ ） 今回は、CVPR2023で発表された、UNINEXT (Universal Instance Perception as Object Discovery and Retrieval) を紹介します。 　【論文リンク】https://openaccess.thecvf.com/content/CVPR2023/papers/Yan_Universal_Instance_Perception_As_Object_Discovery_and_Retrieval_CVPR_2023_paper.pdf 　【githubページ】 https://github.com/MasterBin-IIAU/UNINEXT スライド内の画像は紹介論文、またはスライド内に記載した論文より引用しています。 -- ソニーが提供するオープンソースのディープラーニング（深層学習）フレームワークソフトウェアのNeural Network Libraries（ https://nnabla.org/, https://github.com/sony/nnabla/ ）に関連する情報を紹介する動画チャンネルを開設しました（ https://www.youtube.com/c/nnabla ）。Neural Network Librariesのチュートリアル・Tipsに加え、最先端のディープラーニングの技術情報（講義、最先端論文紹介）などを発信していきます。チャンネル登録と応援よろしくおねがいします！ 同じくソニーが提供する直感的なGUIベースの深層学習開発環境のNeural Network Console（ https://dl.sony.com/ ）が発信する大人気のYouTubeチャンネル（ https://www.youtube.com/channel/UCRTV5p4JsXV3YTdYpTJECRA ）でもディープラーニングの技術講座やツールのチュートリアルを多数公開しています。こちらもチャンネル登録と応援よろしくおねがいします。

Sony's Research Mindsは、優れた研究を行っている方をお呼びしてその魅力を引き出す対談番組です 今回はCVPR2022採択論文"Rawgment"についての対談です Masakazu Yoshimura Junji Otsuka Atsushi Irie Takeshi Ohashi, Rawgment: Noise-Accounted RAW Augmentation Enables Recognition in a Wide Variety of Environments, In CVPR2023. https://arxiv.org/abs/2210.16046 【目次】 00:00 - Intro 01:10 - Rawgmentの紹介 27:26 - Outro - VIDEO - Creative Direction & Cinematographer: Yuki Asukabe 1st Assistant Camera: Katsuya Sakoyama Special Thanks: Backcasters -- ソニーが提供するオープンソースのディープラーニング（深層学習）フレームワークソフトウェアのNeural Network Libraries（ https://nnabla.org/, https://github.com/sony/nnabla/ ）に関連する情報を紹介する動画チャンネルを開設しました（ https://www.youtube.com/c/nnabla ）。Neural Network Librariesのチュートリアル・Tipsに加え、最先端のディープラーニングの技術情報（講義、最先端論文紹介）などを発信していきます。チャンネル登録と応援よろしくおねがいします！ 同じくソニーが提供する直感的なGUIベースの深層学習開発環境のNeural Network Console（ https://dl.sony.com/ ）が発信する大人気のYouTubeチャンネル（ https://www.youtube.com/channel/UCRTV5p4JsXV3YTdYpTJECRA ）でもディープラーニングの技術講座やツールのチュートリアルを多数公開しています。こちらもチャンネル登録と応援よろしくおねがいします。

【AI論文解説】はディープラーニング・機械学習に関する論文を紹介する動画シリーズです。（プレイリスト： https://www.youtube.com/playlist?list=PLbtqZvaoOVPCqfmnrBfo9Xv5mtDr0LjQZ ） 今回は、以下の論文について紹介いたします。 【紹介論文】 ・Retentive Network: A Successor to Transformer for Large Language Models 　【論文リンク】https://arxiv.org/pdf/2307.08621.pdf こちらの論文では、Transformerの計算量の問題を解決するための効率の良い系列モデルを提案しています。 -- ソニーが提供するオープンソースのディープラーニング（深層学習）フレームワークソフトウェアのNeural Network Libraries（ https://nnabla.org/, https://github.com/sony/nnabla/ ）に関連する情報を紹介する動画チャンネルを開設しました（ https://www.youtube.com/c/nnabla ）。Neural Network Librariesのチュートリアル・Tipsに加え、最先端のディープラーニングの技術情報（講義、最先端論文紹介）などを発信していきます。チャンネル登録と応援よろしくおねがいします！ 同じくソニーが提供する直感的なGUIベースの深層学習開発環境のNeural Network Console（ https://dl.sony.com/ ）が発信する大人気のYouTubeチャンネル（ https://www.youtube.com/channel/UCRTV5p4JsXV3YTdYpTJECRA ）でもディープラーニングの技術講座やツールのチュートリアルを多数公開しています。こちらもチャンネル登録と応援よろしくおねがいします。