NVIDIA đã tiết lộ fVDB , một khung học sâu mới để “xây dựng các thuật toán AI có quy mô phù hợp với thực tế”.
Công nghệ này được triển khai như một phần mở rộng cho PyTorch, xây dựng các hoạt động AI dựa trên OpenVDB, tiêu chuẩn mở để biểu diễn dữ liệu thể tích.
Các ứng dụng tiềm năng bao gồm tạo ra các cặp song sinh kỹ thuật số “quy mô thực tế”, AI tạo ra 3D ở “quy mô các khối thành phố” và nâng cấp các mô phỏng hiện có.
fVDB là một phần trong các thông báo của NVIDIA từ SIGGRAPH 2024 , cùng với các mô hình AI thế hệ mới để phát triển OpenUSD .
Khung AI không gian hiệu suất cao được xây dựng trên OpenVDB và NanoVDB
NVIDIA mô tả fVDB là khung học sâu dành cho “trí tuệ không gian thưa thớt, quy mô lớn, hiệu suất cao”, cho phép các nhà phát triển phần mềm xây dựng “kiến trúc và thuật toán AI có quy mô lớn”. của thực tế”.
Là một cách hiệu quả để biểu diễn các tập dữ liệu ở quy mô đó, nó sử dụng OpenVDB , tiêu chuẩn mở cho dữ liệu thể tích thưa thớt và NanoVDB , cách trình bày dữ liệu đó được đơn giản hóa thân thiện với GPU của NVIDIA.
Sau đó, fVDB xây dựng các toán tử AI trên NanoVDB, giúp có thể thực hiện các tác vụ phổ biến như tích chập, gộp, chú ý và chia lưới.
Các trường hợp sử dụng tiềm năng cho fVDB bao gồm từ việc tạo các mô hình AI tổng hợp quy mô lớn và bản sao kỹ thuật số cho đến nâng cấp các mô phỏng hiện có.
Chủ yếu dành cho các bản sao kỹ thuật số, nhưng có thể được sử dụng cho công việc giải trí.
Trường hợp sử dụng thực tế chính của fVDB dường như là tạo ra các bản sao kỹ thuật số quy mô lớn của thế giới thực, cho các nhiệm vụ như quy hoạch thị trấn và mô phỏng công nghiệp.
Tuy nhiên, có những ứng dụng tiềm năng rõ ràng cho công việc giải trí, chẳng hạn như tạo ra các thành phố CG cho hiệu ứng hình ảnh hoặc phát triển trò chơi.
Video ở đầu câu chuyện hiển thị một số bản demo thú vị được xây dựng bằng fVDB, bao gồm mô hình AI tổng quát để tạo các hình ảnh đại diện dựa trên voxel có độ phân giải thấp cho toàn bộ các khối thành phố, hoàn chỉnh với nhà cửa, đường sá và cây cối.
Một bản demo khác cho thấy fVDB được sử dụng để nâng cấp mô phỏng khuôn mặt hiện có.
NVIDIA nói với CG Channel rằng fVDB là một "công nghệ rất chung" và "chúng tôi hy vọng nó sẽ được sử dụng cho mọi thứ".
Có sẵn dưới dạng tiện ích mở rộng PyTorch và được tích hợp với các công nghệ hiện có
NVIDIA quảng cáo fVDB mạnh hơn các công nghệ tương tự hiện có, có khả năng xử lý dữ liệu trên “quy mô không gian 4x và nhanh hơn 3,5 lần so với các khung trước đó”.
Nó cũng nhằm mục đích dễ triển khai hơn, cung cấp “các API dễ sử dụng để bạn không cần phải ghép các thư viện khác nhau lại với nhau”.
fVDB có sẵn dưới dạng tiện ích mở rộng PyTorch , có thể đọc và ghi các bộ dữ liệu VDB hiện có ngay lập tức và tích hợp với các công nghệ NVIDIA hiện có như Warp và Kaolin .
Làm thế nào các nhà phát triển phần mềm có thể truy cập vào fVDB?
Mã nguồn cho fVDB sẽ được cung cấp như một phần của kho lưu trữ GitHub do Tổ chức Phần mềm Học viện duy trì cho chính OpenVDB.
Chức năng fVDB cũng sẽ có sẵn thông qua NIM , hệ thống bộ chứa của NVIDIA để lưu trữ các vi dịch vụ AI được tăng tốc GPU.
NVIDIA có kế hoạch tung ra ba dịch vụ vi mô fVDB để tạo lưới, tạo ra NeRF quy mô lớn bằng USD và nâng cấp mô phỏng vật lý.
Yêu cầu hệ thống: cần phần cứng NVIDIA
Mọi ứng dụng được xây dựng trên fVDB sẽ cần chạy trên phần cứng NVIDIA.
Khung này “được xây dựng từ đầu trên công nghệ cốt lõi của NVIDIA”, bao gồm CUDA, API tính toán GPU độc quyền của nó và lõi Tensor trong GPU NVIDIA hiện tại.
Các điều kiện cấp phép và ngày phát hành
fVDB sắp được sáp nhập vào kho lưu trữ OpenVDB GitHub “trong thời gian ngắn”. Mã nguồn trong kho lưu trữ có sẵn theo giấy phép MPL 2.0 nguồn mở .
Các nhà phát triển phần mềm cũng có thể đăng ký quyền truy cập sớm vào tiện ích mở rộng fVDB PyTorch.
NVIDIA chưa công bố ngày phát hành vi dịch vụ fVDB NIM.
by Jim Thacker
