構造設計のための3D生成AI－最新の取り組みと今後の展開－

2024年7月4日(木) ADVENTUREClusterユーザー会2024
基調講演「構造設計のための3D生成AI：最新の取り組みと今後の展開」
https://www.scsk.jp/event/2024/202407advcuser.html

2022年以降、Dream Fusion（Google）、Magic 3D（NVIDIA）、Point-E（OpenAI）をはじめとする3D生成AI（text-to-3Dモデル）が続々と登場しています。ただし、自然言語・画像・動画に比べ3D形状のデータセット数は少なく、構造力学的情報が含まれたデータセットは提案されていません。名古屋大学様では、構造最適設計が難しいギガキャスト構造等への応用を目指し、スーパーコンピュータ「富岳」による超多ケース弾塑性解析で作成したデータセットに基づく3D生成AI（parameter-to-3Dモデル）の研究を進められています。本基調講演では、その現況と今後の展開について、また日米欧で活発化している科学研究向けAI基盤モデルの開発、シミュレーションとAIを組み合わせた計算の高度化等のAI for Scienceの最新動向についてもご講演いただきます。

Transcript

1. 構造設計のための3D生成AI －最新の取り組みと今後の展開－ 西口 浩司 名古屋大学 大学院工学研究科 准教授 理化学研究所 計算科学研究センター 客員研究員 ADVENTUREClusterユーザー会2024，2024年7月4日(木) 1/68
2. 西口 浩司（にしぐち こうじ） • 専門分野：計算力学（非線形構造解析，構造-流体連成問題，高性能計算） • 経歴： ―1985年：広島県広島市生まれ ―2004年～2010年：広島大学 工学部（建設・環境系）と修士課程 ―2011年～2015年：広島大学 博士課程 ―2010年～2016年：日東電工株式会社 研究開発本部  工場実習0.5年，CAEに関わる研究開発（3.5年），新規事業開発（２年） ―2016年～2020年：理化学研究所 計算科学研究センター 特別研究員，スパコン「京」PJ，スパコン「富岳」PJの研究 ―2020年～2023年：名古屋大学 大学院工学研究科 土木工学専攻 講師 ―2023年～現在：名古屋大学 大学院工学研究科 土木工学専攻 准教授 客員：理化学研究所，神戸大学，山梨大学 2/68
3. Outline 1. 近年の生成AIの概観 2. なぜ生成AIの開発は急速に進んでいるのか 3. “AI for Science”の動向 4. 構造設計のための3D生成AIの概要 5. 3Dデータセット生成：オイラー型構造解析による超多ケース計算 6. 構造力学を組み込んだ3D生成AI 7. 3D生成AIの性能検証 8. 今後の展望：構造設計の「民主化」と「自動化」 3/68
4. Recent progress in generative AI • 2019/06/22 Microsoft invested $1 billion (≒1100億円 at the time) in OpenAI • 2020/01/23 OpenAI published Scaling Law paper on language generative model • 2021/01/05 OpenAI published CLIP and image generative model DALL-E • 2022/05/23 Google published image generative model Imagen • 2022/07/22 Big Science (HuggingFace, CNRS, GENCI) published multilingual model Bloom • 2022/08/04 Tsinghua University published GLM-130B • 2022/08/22 Stability AI published image generative model Stable Diffusion • 2022/09/29 Google published 3D generative model DreamFusion • 2022/11/18 NVIDIA published 3D generative model Magic3D • 2022/11/30 OpenAI published ChatGPT • 2022/12/16 Open AI published 3D generative model Point-E • 2023/02/02 Over 100 million users in about 2 months after release • 2023/02/03 Liberal Democratic Party (自民党) AI evolution and implementation project team 4/68
5. Recent progress in generative AI • 2023/03/14 GPT-4 available on ChatGPT Plus • 2023/03/16 Microsoft 365 Copilot allows to use AI assistant from Word, Teams, etc. • 2023/05/03 Open AI 3D generation model Shap-E announced • 2023/06/01 Start of Fugaku-LLM project • 2023/07/18 Meta published LLaMA2 • 2024/02/15 Google published Gemini Pro 1.5 • 2024/03/04 Anthropic published Claude3 • 2024/04/18 Meta published LLaMA3 • 2024/05/10 Fugaku-LLM released • 2024/05/13 GPT-4o released • 2024/05/16 Major update to Google Gemini family • 2024/06/21 Claude 3.5 Sonnet released 5/68
6. Fugaku-LLM（2024/05/10） • Large language model with enhanced Japanese language ability was developed using Japanese supercomputing technology • Distributed parallel learning by maximizing the performance of the supercomputer "Fugaku" • Commercial use is permitted, which will lead to innovative research and business applications such as AI for Science • Research Team ―Tokyo Institute of Technology: Prof. Rio Yokota ―Tohoku University: Prof. Keisuke Sakaguchi ―Fujitsu:Dr. Koichi Shirahata ―RIKEN: Dr. Kento Sato ―Nagoya University: Prof. Koji Nishiguchi ―Cyber Agent: Dr. Shota Sasaki ―Kotoba Technologies: Dr. Noriyuki Kojima 2024/05/10 Press release Source：Yomiuri Shimbun, 2024/05/10 https://www.yomiuri.co.jp/pluralphoto/20240510-OYT1I50090/ 6/68
7. Fugaku-LLM（2024/05/10） Source：Live News, Fuji Television Network, Inc, 2024/05/10 7/68
8. Outline 1. 近年の生成AIの概観 2. なぜ生成AIの開発は急速に進んでいるのか 3. “AI for Science”の動向 4. 構造設計のための3D生成AIの概要 5. 3Dデータセット生成：オイラー型構造解析による超多ケース計算 6. 構造力学を組み込んだ3D生成AI 7. 3D生成AIの性能検証 8. 今後の展望：構造設計の「民主化」と「自動化」 8/68
9. Moore's Law (double every 2 years) • It has been said many times in the past that Moore's Law has come to an end. • Moore's law is likely to continue at least until the 2030s, although the rate of change is slowing. 9/68
10. 10/68
11. iPhone (2020) ≒ World's fastest supercomputer (2001) • Exponential change is difficult to understand intuitively. • From the perspective of technological history, exponential performance improvement is different. • The recent rapid development of generative AI is the result of exponential improvements in computer performance. *https://blog.adobe.com/en/publish/2022/11/ 08/fast-forward-comparing-1980s- supercomputer-to-modern-smartphone Theoretical performance: about 11 TFlop/s* Supercomputer “ASCI White” (US) **https://www.top500.org/lists/top500/2001/11/ https://en.wikipedia.org/wiki/ASCI_White Theoretical performance: about 12 TFlop/s** 11/68
12. Scaling law of generative AI (10x every year) • This scaling law owes its origin to the invention of Transformer, a deep neural network suitable for massively parallel computing. https://hanlab.mit.edu/projects/efficientnlp_old/assets/nlp_trend.jpg 12/68
13. Transformer: DNN suitable for massively parallel computing • Self-attention mechanism ―does not need to depend on the previous state like RNN or CNN. ―considers the relationship between all positions of the input . • CNNs are also good at processing input data in parallel but they are not as good as Transformers at processing sequential data with long- range dependencies ―https://arxiv.org/abs/2207.11347 13/68
14. Performance limits of generative AI are still unknown • Scaling law for generative AI based on Transformer: the performance improves as ① the amount of calculation increases. ② the dataset size increases. ③ the number of parameters increases. • GAFAM and Tesla are making huge investments because the returns (improved performance of generated AI) are almost foreseeable. Scaling Laws for Neural Language Models，23 Jan 2020， https://arxiv.org/abs/2001.08361 March 29, 2024 https://www.theinformation.com/articles/microsoft-and- openai-plot-100-billion-stargate-ai-supercomputer 約15兆円 14/68
15. Emergent Abilities at 1022-1024 FLOPs • Scaling up large language models (LLMs) has been shown to predictably improve performance at 1022-1024 FLOPs Emergent Abilities of Large Language Models, https://arxiv.org/abs/2206.07682 15/68
16. • In a highly digitalized society, society also changes exponentially. • The true future does not exist as a linear extension of the current situation. Let’s imagine a future that has changed exponentially Future Current Extension of present image Real future 10 years later 20 years later Disruptive technologies with exponential growth Social change 16/68
17. Outline 1. 近年の生成AIの概観 2. なぜ生成AIの開発は急速に進んでいるのか 3. “AI for Science”の動向 4. 構造設計のための3D生成AIの概要 5. 3Dデータセット生成：オイラー型構造解析による超多ケース計算 6. 構造力学を組み込んだ3D生成AI 7. 3D生成AIの性能検証 8. 今後の展望：構造設計の「民主化」と「自動化」 17/68
18. International Post-Exascale Project WS • 日米欧のスパコンセンター関連の研究者が参加する国際会議． ―2024年6月17-19日＠スペイン・シッチェス • AI for Science：今年の主要なトピックのひとつ． 18/68 https://inpex.science/workshop/the-2024-inpex-workshop/
19. AI for Scienceに関する議論まとめ • 7件の研究報告：科学におけるAIの応用や課題について幅広くカバー ―基盤モデルの構築/専門化 科学データのオープン・再現可能なモデル 評価ドメイン ―特化モデル 物理やアプリケーションに基づくモデル ―HPC4AI LLM/基盤モデルのトレーニングをより高速・高品質・低コスト で行うためのソフトウェアスタック改善 19/68
20. AI for Scienceに関する議論まとめ • ポストエクサスケールの課題 ―ビッグ・テックとの競争と協力 ビッグ・テックとの競争は困難 新しい協力の形態を模索する必要性 • アカデミアと産業界が計算リソースや技術で協力し，独自の 価値を提供できるニッチなテーマを見つけることの重要性 ―AIガバナンス 科学向けAIのガバナンスと規制の役割を模索することは，倫理 的かつ安全なAIの利用を促進するために重要 科学研究におけるAIのリスク評価と規制 20/68
21. AI for Scienceに関する議論まとめ • 今後のアカデミアの生成AI研究の方向性 ―AI4Scienceのインパクトの理解 ポストエクサスケール・スパコン時代のR＆D戦略の検討 において，生成AIがもたらす影響を継続的に注視するこ とは必要不可欠 ―AIモデルの透明性と再現性の確保 AIモデルの科学的な性能評価を共有することで，研究の 透明性と再現性を高める取り組みが必要 21/68
22. Outline 1. 近年の生成AIの概観 2. なぜ生成AIの開発は急速に進んでいるのか 3. “AI for Science”の動向 4. 構造設計のための3D生成AIの概要 5. 3Dデータセット生成：オイラー型構造解析による超多ケース計算 6. 構造力学を組み込んだ3D生成AI 7. 3D生成AIの性能検証 8. 今後の展望：構造設計の「民主化」と「自動化」 22/68
23. NHK “Science View” The Dream of Generative AI Engineering - Koji Nishiguchi, Nagoya University • https://www3.nhk.or.jp/nhkworld/en/ondemand/video/2015315/ • Broadcasted in 160 countries around the world on March 12, 2024 • 現在も上記リンクで無料でご覧いただけます． 23/68
24. Motivation for starting 3D generative AI Gigapress (Tesla) Weight: 30% reduced Manufacturing cost: 40% reduced Is it possible to optimally design gigacast structures using 3D generative AI (Parameter-to-3D model)? Magic3D （NVIDIA， 2022年11月） Shap-E （OpenAI， 2023年5月） Rapid performance improvement of generative AI based on Transformer Innovating vehicle structure with a giant aluminum die-casting machine 24/68
25. Main members of this study 2nd year master's student Issei Toida Assistant Professor Naoya Chiba Associate Professor Koji Nishiguchi Assistant Professor Yuji Wada 25/68
26. Acknowledgment • Supercomputer “Fugaku” research project (hp220249): ―Capacity computing of elasto-plastic dynamics of component structures for next- generation automobile design and its probabilistic deep generative models ―2022/10/01 – present ―Research representative: Koji Nishiguchi, Nagoya University ―Participating institutions: 26/68
27. Industrial impact of giant die casts • In 2020 ―Tesla started using gigapress for "Model Y“ of the rear body structure. ―Weight reduced by 30%, manufacturing cost reduced by 40% ―Capable of designing structures with a high degree of geometric freedom • In 2022 ―Chinese BEV companies (NIO and Xpeng) and Volvo has also decided to adopt it. • In 2023 ―Toyota Motor Corporation has also decided to adopt it. giant die cast structure (Tesla) Gigapress (Tesla) https://thelastdriverlicenseholder.c om/2022/04/20/tesla-revenue- grows-81-percent-in-q1-2022/ https://lowcarb.style/2022/08/23/t esla-gigapress-giga-texas/ 27/68
28. Difficulties in crash-worthiness analysis • Optimal structure design ―No optimal structural design method for elastoplastic problems with large deformations caused by a crash has been established yet. • Uncertainty in material properties ―Stress-strain curves, rupture strain ―Caused by randomly occurring porosity (casting hole) Gigacast structure (Tesla) 28/68
29. Recent studies of 3D generative AI • From 2022 onwards, not only image generation AI such as Stable Diffusion, but also 3D generative AI have been emerging one after another. ―The number of datasets for 3D shapes is much smaller than that for natural language and images. ―No dataset that can be applied to structural design has been proposed yet. Model name Release date Research group 3D shape representation Model architecture Data set Number of 3D data Shap-E May 2023 OpenAI Neural Field Transformer-based diffusion model ShapeNet（3D）， WebImageText（2D） Several millions Point-E December 2022 OpenAI 3D point cloud Transformer-based diffusion model ShapeNet（3D）， WebImageText（2D） Several millions Magic3D November 2022 NVIDIA 3D mesh NeRF, diffusion model COCO（2D）, ImageNet（2D） None DreamFusion September 2022 Google, UC Berkeley Neural Field NeRF, diffusion model COCO（2D）, ImageNet（2D） None Shap-E Magic3D 29/68
30. Lack of 3D datasets • CLIP is used to compensate for the lack of 3D datasets. ―Point-E (OpenAI, December 2022) https://arxiv.org/pdf/2212.08751.pdf 30/68
31. ShapeNet • Largest dataset of 3D shapes (approximately 9.22 million) ―Mainly used for research related to computer graphics and computer vision ―Does not incorporate structural dynamics information https://shapenet.org/taxonomy-viewer 31/68
32. メッシュによる3Dデータ表現 • CAEなどで広く使用され，メモリ消費は比較的少ない． • 高品質なメッシュ生成にはノウハウや労力が必要な場合が多く， 大量のデータセット作成は難しい． • 深層学習でメッシュのグラフ構造を扱うのは容易ではない． https://www.gradientspace.com/tutorials/2017/8/30/mesh-simplification 32/68
33. ボクセルによる3Dデータ表現 • 画像を認識‧⽣成する⽅法論 (CNN等) を活用しやすい． • メモリ消費量が非常に大きい． ―GPUスパコンで超並列分散学習を行えば扱えないこともな いが，現在の3D生成AIでは主流のアプローチではない． http://www.bilderzucht.de/blog/3d-pixel-voxel/ 33/68
34. 点群による3Dデータ表現 • ボクセルよりメモリ消費量は少ない • 面を表現できない →界面の物理量を反映しにくい． • 深層学習で扱うのがやや難しい． https://laempy.github.io/pyoints/tutorials/icp.html 34/68
35. Neural Fieldによる3Dデータ表現 • 3D形状自体をニューラルネットワークで表現するアプローチ • メモリ消費量が少ない • 3D表現の柔軟性 ―任意の解像度，トポロジーが表現できる ―表現できる3D形状の複雑さ ∝ ニューラルネットワークの表現⼒ ≒ パラメータ数 • 深層学習で取り扱いやすい ―3D形状を含めて，すべてニューラルネットワークで生成AIを構成できる Neural Field メッシュ 点群 ボクセル https://arxiv.org/pdf/1812.03828 35/68
36. Approximating Reflectance Functions using Neural Networks Occupancy Networks, IM-NET DeepSDF PIFu AtlasNet NeRF Neural Fieldによる3Dデータ表現 • 近年，コンピュータ・ビジョンやコンピューター グラフィックスの領域では 主流の手法の一つになっている • Neural Concept Shape 36/68
37. Outline 1. 近年の生成AIの概観 2. なぜ生成AIの開発は急速に進んでいるのか 3. “AI for Science”の動向 4. 構造設計のための3D生成AIの概要 5. 3Dデータセット生成：オイラー型構造解析による超多ケース計算 6. 構造力学を組み込んだ3D生成AI 7. 3D生成AIの性能検証 8. 今後の展望：構造設計の「民主化」と「自動化」 37/68
38. 3D dataset generation • Structure for feasibility study: crash box • Generate a dataset that pairs 3D shapes with structural dynamics parameters (strain energy, load direction vector, shape dimensions). ―3D shape: Linear topology optimization ―Structural dynamics parameters: Scalable Eulerian method 出典： https://www3.nhk.or.jp/nhkworld/en/ondemand/video/2015315/ 38/68
39. Topology optimization for linear problem • Methods of finding the best distribution of material for a given domain and loading condition • Methods for static small deformation problems of linear elastic bodies have been established • Methods for dynamic large deformation problems of nonlinear materials (such as elastoplasticity) have not been established yet. Size optimization Shape optimization Topology optimization ＞ ＞ Low High Design variables/computational cost Exhaustive search ・Design of experiments ・ Gradient using difference method ・ Genetic algorithms etc. Constrained optimization using theoretical gradients Different topologies can be obtained by changing volume constraints and boundary conditions. (Yuji Wada, 2023) 39/68
40. オイラー型構造解析とは オイラー型解法 ラグランジュ型解法 構造解析で一般的． 基礎方程式はラグランジュ表記  移流項を計算する必要はない． メッシュ生成に労力を要する 大変形ではメッシュ破綻のケアが必要 流体解析で一般的． 基礎方程式はオイラー表記  移流項を計算する必要がある． メッシュ生成が自動かつ高速 大変形でもロバストな計算が可能 Deformed Deformed Initial Initial 40/68
41. オイラー型構造解析の歴史 • オイラー型構造解析の起源 ―Hydrocode（超音速衝撃解析コード） • 1950年代 ―PIC code (オイラー型有限差分法＋マーカー 粒子) byローレンスリバモア国立研究所 ―HELP (オイラー型有限差分法) by 米陸軍 • 1960-1970年代 ―複数のHydrocodeが軍事目的で開発された． ―その詳細が記載された米国政府文書の多く は，未だに公表されていない． ―研究の焦点 移流スキーム 衝撃捕捉手法 分離演算手法 状態方程式 Taylor test on steel https://youtu.be/R7c1V4heDrc?si=yBtWyxvwtvUJpFlp 出典： • Johnson, W. E., & Anderson Jr, C. E. (1987). History and application of hydrocodes in hypervelocity impact. International Journal of Impact Engineering, 5(1-4), 423-439. • Benson, D. J. (1992). Computational methods in Lagrangian and Eulerian hydrocodes. Computer methods in Applied mechanics and Engineering, 99(2-3), 235-394. 41/68
42. オイラー型構造解析の歴史 • 1990年代 ―オイラー型有限要素法の研究 by UC San Diego (Prof. D.J. Benson) ―日本におけるオイラー型構造解析の先駆者：岡澤 重信先生 高い計算コストのため，２次元解析に基づく研 究がほとんど． ―研究の焦点 分離演算手法 • ラグランジュ的計算にラグランジュ型FEM コードを活用 高精度の界面補足法 • VOF法，SLIC法，PLIC法など CFDコミュニティの移流スキームの導入 • MUSCLE法など アダプティブ・メッシュ法 出典：計算工学 (Vol.28 No.1 2023) 岡澤先生（左）とBenson先生（右），2000年 42/68
43. オイラー型構造解析の歴史 • 2000年代～2010年代 ―研究の焦点 超音速衝撃問題以外への適用 • 流体-構造連成解析 • 粘弾性体の大変形解析 • 静的陰解法 安定化有限要素法の導入 高精度の界面補足法 • 3次元PLIC法の導入 • マーカー粒子の導入 超並列計算に適したアルゴリズム* • ビルディング・キューブ法 • セル中心有限体積法による空間離散化 岡澤先生（左）と西口（右）, 2006年 Nishiguchi, Koji, et al. "Full Eulerian deformable solid‐fluid interaction scheme based on building‐cube method for large‐scale parallel computing." International Journal for Numerical Methods in Engineering 117.2 (2019): 221-248. 43/68
44. 超並列計算に適したオイラー型解法 Eulerian finite volume method 1) • Automatic and quick mesh generation • Robust computation for large deformation Building-cube method 2) • Hierarchical Cartesian mesh method • High parallel efficiency 3) ―A scaling of 91.1% was obtained for a computation of 27,648 nodes of Fugaku. 1) Nishiguchi K et al., Multimaterial Eulerian finite element formulation for pressure-sensitive adhesives, Int J Numer Methods Eng. 2018; 114(13):1368-1388. 2) Nakahashi K et al., Building-cube method for flow problems with broadband characteristic length, Compt Fluid Dynamics, 2002;Springer:77-81. 3) Ando K, et al., Digital transformation of droplet/aerosol infection risk assessment realized on “Fugaku” for the fight against COVID-19, Int J High Perform Compt Appl. 2022; 36(5-6):568-586. 44/68
45. Overview of numerical method: MPM-like approach Fixed mesh  Continuity equation  Equation of motion  Velocity gradient tensor  Divergence of the solid stress tenor Marker particle  Constitutive equation of solid Interpolation from fixed mesh to particles  Velocity vector  Velocity gradient tensor Interpolation from marker particles to fixed mesh  Cauchy stress tensor Definition point of each physical quantity Spatially fixed cartesian mesh and marker particles 6) Nishiguchi K et al., Eulerian finite volume formulation using Lagrangian marker particles for incompressible fluid–structure interaction problems, Int J Numer Methods Eng. 2022;123(5):1294- 1328. 45/68
46. Crash simulation by Eulerian method • Number of cubes: 2,560 • Number of cells: 10,485,760 • Minimum cell size: 0.234 mm（8.5 cells in thickness direction） • Hardware: Supercomputer Fugaku • Node: 696 • MPI Rank: 2,784 • OpenMP thread: 4 • Total cores: 11,136 46/68
47. 参照解との比較：変形 LS-DYNA オイラー型解法 47/21 47/68
48. 参照解との比較：荷重変位曲線 48/21 -18 -16 -14 -12 -10 -8 -6 -4 -2 0 0 2 4 6 8 10 12 14 16 18 20 鉛直方向の荷重（kN） 剛体による押し込み量（ｍｍ） Ls-Dyna固着 オイラー型解法固着 LS-DYNA オイラー型解法 座屈開始 48/68
49. Crash simulation by Eulerian method https://youtu.be/wA-H3x9viyk?si=7mioE2AmHuNbzT9s 49/68
50. Linear topology optimization • By changing the direction of loading, we generated 10114 cases of structural topology. 50/68
51. Linear topology optimization • Effect of load direction on structural topology. 51/68
52. Many-case crash simulation • By performing an elastoplastic crash simulation on 10114 cases, we obtained the shock-absorbing energy of each case. ―4,194,304 cell mesh ―32 nodes of Fugaku (128 rank×8 threads) ―2.5 hour for each case 52/68
53. Histogram of shock-absorbing energy Number of data Shock-absorbing energy [J] 53/68
54. Outline 1. 近年の生成AIの概観 2. なぜ生成AIの開発は急速に進んでいるのか 3. “AI for Science”の動向 4. 構造設計のための3D生成AIの概要 5. 3Dデータセット生成：オイラー型構造解析による超多ケース計算 6. 構造力学を組み込んだ3D生成AI 7. 3D生成AIの性能検証 8. 今後の展望：構造設計の「民主化」と「自動化」 54/68
55. DeepSDF • 3D shape is implicitly represented using deep neural networks ―Less memory than voxels, 3D point clouds, and meshes ―Allows smooth shape reconstruction • Probabilistic auto-decoder model Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, Steven Lovegrove; Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, pp. 165-174 SDF (Signed Distance Function) 𝑓𝑓 𝑥𝑥 =? 𝑥𝑥2 + 𝑦𝑦2 = 𝑟𝑟2 55/68
56. DeepSDF • Define the SDF value (shortest distance from the surface) at sample points in space. • Represent a 3D shape as a vector using the coordinates of sample points and SDF values. Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, Steven Lovegrove; Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, pp. 165-174 Sampling point 1 +2.0 𝑥𝑥1 𝑦𝑦𝑦 𝑧𝑧𝑧 +2.0 +1.0 +1.5 -1.5 2 +1.0 𝑥𝑥2 𝑦𝑦𝑦 𝑧𝑧𝑧 3 +1.5 𝑥𝑥3 𝑦𝑦𝑦 𝑧𝑧𝑧 4 +2.0 𝑥𝑥4 𝑦𝑦𝑦 𝑧𝑧𝑧 No. SDF Coordinates of sample point Surface 56/68
57. DeepSDF incorporating structural dynamics 57/68
58. Positional Encoding • We introduced positional encoding to improve the reconstruction accuracy for complex shapes. Decoder With positional encoding Original 3D shapes for training 58/68
59. Outline 1. 近年の生成AIの概観 2. なぜ生成AIの開発は急速に進んでいるのか 3. “AI for Science”の動向 4. 構造設計のための3D生成AIの概要 5. 3Dデータセット生成：オイラー型構造解析による超多ケース計算 6. 構造力学を組み込んだ3D生成AI 7. 3D生成AIの性能検証 8. 今後の展望：構造設計の「民主化」と「自動化」 59/68
60. 12.7J （98.0%） 12.2J （98.5%） Input parameters （Strain energy, load direction, volume, height） （12.6J, X:0.0, Y:0.0, Z:-1.0, 16.9cm3, 15.0cm） 13.1J （95.4%） 13.8J （90.6%） 13.0J （93.0%） Accuracy Accuracy verification of parameter-to-3D tasks • We succeeded in randomly generating 3D shapes with various pattern topologies that generally satisfy the specified strain energy value. • This is a feature not found in topology optimization, which calculates only one optimal shape (there is no guarantee of an overall optimal solution). Trained 3D AI 60/68
61. Accuracy verification of parameter-to-3D tasks • Generated 340 shapes ―17 cases with strain energy ranging from 12.6J to 33.7J ―Generated 20 shapes each ―Computed the strain energy of the generated shape using Eulerian method Number of data 340 Average accuracy 95.7% Median accuracy 96.5% Average error 0.68J Median error 0.74J 100% 90% 80% 70% 61/68
62. Summary • We have proposed 3D generative AI incorporating structural dynamics, based on DeepSDF. • We generated 10114 datasets of paired 3D shapes and structural dynamics parameters using the supercomputer “Fugaku” with linear topology optimization and Eulerian method. • We confirmed that the trained 3D generative AI can generate 3D shapes that satisfy the specified strain energy with a median accuracy of 96.5%. 62/68
63. Outline 1. 近年の生成AIの概観 2. なぜ生成AIの開発は急速に進んでいるのか 3. “AI for Science”の動向 4. 構造設計のための3D生成AIの概要 5. 3Dデータセット生成：オイラー型構造解析による超多ケース計算 6. 構造力学を組み込んだ3D生成AI 7. 3D生成AIの性能検証 8. 今後の展望：構造設計の「民主化」と「自動化」 63/68
64. 生成AI for ものづくり：日本の勝ち筋は？ • 生成AIを「ユーザとして使う」だけでなく「つくる側」の取り組みが急務 ―Transformerが登場した2017年以降，GAFAMやTesla等のビッグテックがスパコンの 計算資源を大量投入した結果，「１年で10倍」という驚異的ペースで，生成AIの性 能向上は今も続いており，未だその性能限界が見えていない． ―「つかう側」の議論も大事だが，我が国も産官学で，生成AIを「つくる側」の取組 みを，できることから今すぐ始めるべき． • ものづくりの3D生成AIは世界的にも進んでいない ―ChatGPT等の生成AIはまだ序章にすぎず，現在，AGIと呼ばれる汎用的AIに加えて， 各領域に特化した生成AIの研究開発が進んでいる．特に創薬・医療・マテリアル・イ ンフォマティクスなどデータセットが豊富にある領域． ―機械/土木/建築分野は大規模データセットが整備されていない領域であり，3D生成AI の研究は世界的にも進んでいない． • 日本の勝ち筋は ―機械/土木/建築分野領域では，スパコンでデータセット自体を作り出すことに加えて， 競争領域と協調領域を線引きした上で，各社が協調してデータセット整備（各社ご とにデータはバラバラ）を進めることが欧米勢に勝つためには必要． ―日本の法規制は他国に比べて生成AI開発に有利． 64/68
65. 連合学習（Federated learning） • データを集約せず分散した状態のまま（社外にデータを出すことなく），学習を 行う機械学習の手法 • 機密性の高いデータを扱う産業界ではデータの共有が難しいことから，連合学習 を活用しデータのプライバシーやセキュリティを守る手法が注目されている 画像出典：https://www.elix-inc.com/jp/news/newsrelease/1412/ 65/68
66. 第４のユーザ・インターフェースとしての 大規模言語モデル CUI Character User Interface GUI Graphical User Interface By Timothy Colegrove - Own work, CC BY-SA 4.0, https://commons.wikimedia.org/w/index.php?curid=123322968 https://en.wikipedia.org/wiki/Command- line_interface#/media/File:RT-11_help.jpg https://www.pinterest.jp/pin/touch-user-interface-tui-is-a- computerpointing-technology-based-upon-the-sense-of-touch-- 466826317619085592/ TUI Touch User Interface LUI Natural Language User Interface https://www.cloud-contactcenter.jp/blog/chatgpt- possibilities-and-use.html 66/68
67. 構造設計の「民主化」 https://arxiv.org/pdf/2305.15808.pdf LLMs to understand 3D Point Clouds, 2023 https://arxiv.org/pdf/2308.16911.pdf LLMs as Layout Interpreter, 2023 • I would like to develop 3D generative AI that can be used appropriately even by non-experts in structural mechanics (designers, marketers, artists, etc.). ―Control of mechanical parameters using natural language. ―Interpretation of calculation results (3D data) in natural language. 67/68
68. 構造設計の「自動化」 • Nature Communications, 21 May 2024: Researchers from Boston University and the US Army have discovered the best shock-absorbing shape through 25,000 physical experiments with automated robots using Bayesian optimization. 68/68