TripoSplat là một nghiên cứu mới của Tripo, được công bố ngày 7/5/2026, tập trung vào việc chuyển một hình ảnh 2D duy nhất thành 3D Gaussian chất lượng cao. Công nghệ này có thể ứng dụng trong asset creation, AR/VR, game development, simulation và nhiều quy trình 3D khác. Đặc biệt, TripoSplat cho thấy khả năng xử lý rất tốt các stylized objects.
3DGS nổi bật nhờ khả năng thể hiện các chi tiết phức tạp tốt hơn polygon mesh, đồng thời có hiệu suất fitting và rendering cao hơn một số phương pháp neural representation như Neural Radiance Fields (NeRFs).
Một yếu tố quan trọng quyết định chất lượng là density control – cách phân bổ số lượng Gaussian trong không gian 3D. Phương pháp Gaussian Splatting truyền thống sử dụng hai thao tác chính là splitting và pruning: những khu vực phức tạp sẽ được tăng số Gaussian, trong khi các vùng đơn giản sẽ giảm bớt.
Tuy nhiên, khi chuyển sang generative modeling, cách làm này trở nên khó áp dụng. Các mô hình diffusion và flow-matching cần dữ liệu có kích thước cố định và xử lý lượng lớn phép tính song song trên Transformer, khiến việc splitting và pruning trong quá trình training trở nên phức tạp.
Thay vì dự đoán trực tiếp tọa độ của từng Gaussian, TripoSplat xây dựng một 3D density distribution và lấy các Gaussian center từ một cấu trúc density phân cấp dạng octree.
Nói đơn giản, hệ thống có thể tự học xem khu vực nào cần nhiều Gaussian để tái hiện chi tiết và khu vực nào chỉ cần ít Gaussian. Những vùng render chưa tốt sẽ được bổ sung Gaussian, tương tự thao tác splitting; những vùng đã đủ chính xác sẽ được giảm Gaussian, tương tự pruning.
TripoSplat sử dụng ý tưởng từ reinforcement learning và policy-gradient để tối ưu quá trình này dựa trên rendering error. Nhờ đó, density control có thể được tích hợp trực tiếp vào quá trình generative modeling.
Pipeline của TripoSplat gồm hai giai đoạn chính:
Người dùng có thể chủ động quyết định số lượng Gaussian tùy theo mục đích sử dụng:
Điều này đặc biệt hữu ích trong production pipeline, bởi 3D Gaussian vẫn có thể tốn tài nguyên rendering hơn polygon mesh truyền thống.
Kết quả được công bố:
Theo nghiên cứu, TripoSplat đạt mức Elo cao hơn đáng kể so với các baseline được thử nghiệm.
Đáng chú ý, TripoSplat cũng có Day-0 support trong ComfyUI, trở thành một trong những 3D Gaussian generator được hỗ trợ chính thức trong hệ sinh thái này.
Với Density-Sampled Gaussians (DeG), người dùng có thể kiểm soát số lượng Gaussian tùy theo nhu cầu về chất lượng, dung lượng và hiệu suất rendering. Đây là hướng tiếp cận đáng chú ý cho các workflow 3D asset creation, game, AR/VR và generative 3D.
Hạn chế của 3D Gaussian hiện nay
3D Gaussian Splatting (3DGS) ban đầu được phát triển cho novel view synthesis. Thay vì tạo một mô hình 3D polygon thông thường, hệ thống sử dụng rất nhiều Gaussian particles để tái tạo vật thể hoặc không gian và cho phép xem từ nhiều góc khác nhau.3DGS nổi bật nhờ khả năng thể hiện các chi tiết phức tạp tốt hơn polygon mesh, đồng thời có hiệu suất fitting và rendering cao hơn một số phương pháp neural representation như Neural Radiance Fields (NeRFs).
Một yếu tố quan trọng quyết định chất lượng là density control – cách phân bổ số lượng Gaussian trong không gian 3D. Phương pháp Gaussian Splatting truyền thống sử dụng hai thao tác chính là splitting và pruning: những khu vực phức tạp sẽ được tăng số Gaussian, trong khi các vùng đơn giản sẽ giảm bớt.
Tuy nhiên, khi chuyển sang generative modeling, cách làm này trở nên khó áp dụng. Các mô hình diffusion và flow-matching cần dữ liệu có kích thước cố định và xử lý lượng lớn phép tính song song trên Transformer, khiến việc splitting và pruning trong quá trình training trở nên phức tạp.
TripoSplat và Density-Sampled Gaussians
Để giải quyết vấn đề này, TripoSplat giới thiệu một representation mới mang tên Density-Sampled Gaussians (DeG).Thay vì dự đoán trực tiếp tọa độ của từng Gaussian, TripoSplat xây dựng một 3D density distribution và lấy các Gaussian center từ một cấu trúc density phân cấp dạng octree.
Nói đơn giản, hệ thống có thể tự học xem khu vực nào cần nhiều Gaussian để tái hiện chi tiết và khu vực nào chỉ cần ít Gaussian. Những vùng render chưa tốt sẽ được bổ sung Gaussian, tương tự thao tác splitting; những vùng đã đủ chính xác sẽ được giảm Gaussian, tương tự pruning.
TripoSplat sử dụng ý tưởng từ reinforcement learning và policy-gradient để tối ưu quá trình này dựa trên rendering error. Nhờ đó, density control có thể được tích hợp trực tiếp vào quá trình generative modeling.
Quy trình hoạt động
Pipeline của TripoSplat gồm hai giai đoạn chính:
- Autoencoder nén các 3D object được biểu diễn bằng DeG thành các fixed-size latent vectors.
- Flow-matching model sử dụng một hình ảnh đầu vào để tạo ra các latent tương ứng.
Chất lượng cao và kiểm soát số lượng Gaussian
Một điểm đáng chú ý của TripoSplat là khả năng controllable budget ngay tại thời điểm inference.Người dùng có thể chủ động quyết định số lượng Gaussian tùy theo mục đích sử dụng:
- Background elements / geometry đơn giản: dùng ít Gaussian để giảm dung lượng và tăng rendering frame rate.
- Hero assets: tăng số Gaussian để giữ lại các chi tiết phức tạp và high-fidelity.
- Multi-platform deployment: tạo nhiều phiên bản asset với độ phân giải khác nhau để xây dựng hệ thống Level of Detail (LoD).
Điều này đặc biệt hữu ích trong production pipeline, bởi 3D Gaussian vẫn có thể tốn tài nguyên rendering hơn polygon mesh truyền thống.
Kết quả thử nghiệm
TripoSplat được đánh giá qua 94 hình ảnh đầu vào với nhiều phong cách nghệ thuật và mức độ phức tạp hình học khác nhau. Nghiên cứu thu thập 399 lượt lựa chọn so sánh từ 32 người tham gia để tính Elo rating về visual fidelity và độ chính xác của asset.Kết quả được công bố:
| Model | Elo |
|---|---|
| TripoSplat | 1137 |
| TRELLIS | 975 |
| TRELLIS.2 | 992 |
| UniLat3D | 900 |
| Hunyuan3D 2.1 | 996 |
Open-source và ComfyUI
TripoSplat được open-source với weights và inference code phát hành theo MIT license. Codebase được thiết kế khá gọn, khoảng 2.000 dòng code và chủ yếu dựa trên native PyTorch, hạn chế phụ thuộc vào các framework nặng như transformers hoặc diffusers.Đáng chú ý, TripoSplat cũng có Day-0 support trong ComfyUI, trở thành một trong những 3D Gaussian generator được hỗ trợ chính thức trong hệ sinh thái này.
Tóm lại
Điểm đáng chú ý nhất của TripoSplat không chỉ nằm ở việc biến một ảnh 2D thành 3D Gaussian, mà còn ở khả năng tự điều chỉnh mật độ Gaussian theo độ phức tạp của từng khu vực.Với Density-Sampled Gaussians (DeG), người dùng có thể kiểm soát số lượng Gaussian tùy theo nhu cầu về chất lượng, dung lượng và hiệu suất rendering. Đây là hướng tiếp cận đáng chú ý cho các workflow 3D asset creation, game, AR/VR và generative 3D.
