POINT-E

OpenAI представила новую нейросеть POINT-E, которая по текстовому описанию создаёт 3D-модели

Ну что, вот и пришла пора 3D моделирования с помощью нейросетей, быть может, через пару годиков она будет выдавать такие же шедевры как нейроарты.

OpenAI, уже прославившаяся благодаря генератору DALL-E, способному генерировать изображения по текстовым описаниям, выпустила новый революционный продукт. Компания сообщила о новейшей разработке POINT-E, готовой создавать 3D-фигуры из «облака» точек — тоже с помощью текстовых описаний. В то время, как у существующих систем вроде Google DreamFusion уходит на каждую попытку по несколько часов и огромные ресурсы GPU, POINT-E нужен минимум аппаратных ресурсов и минута-две времени.

Как сообщают в OpenAI, для создания трёхмерного объекта по описанию сначала создаётся по тексту обычное изображение, после чего на его основе создаётся 3D-облако точек. Всё происходит в течение секунд и не требует дорогостоящих процедур. Например, при вводе описания «кот, поедающий буррито» (a cat eating a burrito), POINT-E сначала сгенерирует синтетический 3D-рендер кота, после чего начнёт комбинировать серию моделей для создания трёхмерного объекта, сначала — из 1024 точек, потом из 4096. При этом сам объект непосредственно по описанию не создаётся.

Созданию 3D-объектов нейросеть обучена на основе анализа «миллионов» трёхмерных изображений. Разработчики заявляют, что, хотя по качеству готовые работы уступают некоторым конкурирующим технологиям, но образцы можно создавать очень быстро, причём желающие и имеющие необходимый опыт могут оценить предложенный код модели, посетив GitHub.

И Гитхаб для попробовать самому: https://github.com/openai/point-e