논문 출처 ➡️ https://hcie.csail.mit.edu/research/style2fab/style2fab.html
Style2Fab: Functionality-Aware Segmentation for Fabricating Personalized 3D Models with Generative AI
With recent advances in Generative AI, it is becoming easier to automatically manipulate 3D models. However, current methods tend to apply edits to models globally, which risks compromising the intended functionality of the 3D model when fabricated in the
hcie.csail.mit.edu
Abstract
Generative AI의 발전으로 3D 모델을 자동으로 조작하는 것이 더욱 쉬워짐. 그러나 현재 방법은 edits를 모델 전체에 적용하는 경향이 있음. 예를 들어 꽃병 바닥과 같은 기능 세그먼트를 수정하면 모델의 원래 기능이 손상될 가능성이 있음. 3D 모델을 기능적, 미적 요소로 자동 분할하는 방법을 소개함. 3D 모델의 기능 분류 체계를 만들어서, 3D 모델을 functional and aesthetic elements로 나누는 반자동 분류 방법을 개발함.
Introduction
maker들에게 Key challenge는 stylizing하는 것. 이 플랫폼들은 바로 인쇄할 수 있는 다양한 3D 모델 을 제공하지만 사용자 정의는 미리 정의된 매개변수를 변경하는 것으로 제한됨. 스타일을 선택적으로 적용할 수 있지만 이를 위해서는 제작자가 3D 모델의 어떤 부분이 기능에 영향을 미치는지, 어떤 부분이 순전히 미적인지 식별해야 함. 3D 메쉬를 기능적, 미적 부분을 기반으로 구성 요소로 자동 분해하는 방법을 제시함. 이 방법을 사용하면 제작자는 원하는 원래 기능을 유지하면서 3D 모델을 선택적으로 스타일화할 수 있음.
Functionality aware segmentation
메쉬 형상을 활용하여 메쉬별 세그먼트 수를 예측하는 스펙트럼 분할을 기반으로 한 비지도 분할 방법을 사용함. 이 방법을 사용하면 다양한 기능을 갖춘 3D 인쇄 가능 모델을 일반화할 수 있음. Thingiverse 데이터 세트를 사용하여 기능 세그먼트 수를 예측하는 정확성 과 광범위한 메시 해상도를 처리하는 능력에 대해 이 방법을 평가함. Style2Fab은 오픈 소스 3D 디자인 소프트웨어 도구용 플러그인. 분할 및 스타일화를 위해 모델을 사전 처리, 분할, 각 세그먼트의 기능 분류, 선택적으로 적용하고 검토.
Finding
automatic과 manual conditions의 차이점을 이해하기 위해 모델을 처리하는 데 걸리는 시간을 비교. 7 자유도를 갖는 a paired one-tailed t-test를 수행. 모델이 복잡할수록 기능 세그먼트 의 자동 분류를 사용하여 사용자가 시간을 절약.
Demonstrations
HomeInterior Design, Medical/Assistive Applications, Personalizing Accessories 등의 분야에서 Style2Fab의 기능 인식 스타일화를 시연함. 이 분류법은 외부 및 내부 컨텍스트와 상호 작용하기 위한 높은 수준의 어포던스 세트를 제공함. 그러나 보다 폭넓은 여유도별 라벨 세트를 생성하는 것은 절충안을 제시함. 일부 어포던스는 드물며 대부분의 분류 방법은 드문 이벤트에 레이블을 지정하는데 어려움이 있음. 이를 위해서는 외부 및 내부 기능 분류를 넘어서 더 광범위한 기능 라벨 세트가 필요
Conclusion
본 논문에서는 사용자가 기능을 유지하면서 3D 모델을 수정하고 스타일화할 수 있는 3D 프린팅을 위한 3D 모델의 기능 인식 분할 및 분류에 대한 새로운 접근 방식을 제안함.
Abstract
Generative AI advancements make manipulating 3D models easier, yet current methods tend to apply edits globally, risking original features. Introduce a method to automatically segment 3D models into functional and aesthetic elements, enabling selective styling while preserving original features.
Introduction
Key challenge for makers is stylizing. Existing platforms offer various 3D models but limit customization to predefined parameters. Identifying functional vs. aesthetic parts of a 3D model is crucial for selective styling. Propose a method to automatically decompose 3D meshes into functional and aesthetic components, allowing creators to style 3D models while maintaining desired features.
Functionality aware segmentation
Utilize mesh shape to predict segment counts via spectrum-based unsupervised segmentation. This method generalizes to diverse 3D printable models. Evaluated on Thingiverse dataset for accuracy and handling extensive mesh resolutions. Style2Fab, an open-source plugin for 3D design software, preprocesses models, segments, classifies functional elements, applies styles selectively, and reviews.
Findings
Compare processing times under automatic and manual conditions to understand differences. Conduct paired one-tailed t-test with 7 degrees of freedom. As models become complex, using automatic functional segment classification saves user time.
Demonstrations
Demonstrate functionality-aware stylization with Style2Fab in fields like Home Interior Design, Medical/Assistive Applications, Personalizing Accessories. Our classification method offers a high level of affordance interaction with external and internal contexts. However, proposing compromises for generating broader label sets based on varying degrees of affordances. Some affordances are rare, making labeling challenging. A wider range of functional label sets beyond external and internal functional classification is necessary.
Conclusion
Propose a novel approach to functionality-aware segmentation and classification of 3D models for 3D printing, enabling users to modify and stylize models while preserving functionality.
