Всем привет! Меня зовут Илья и я являюсь одним из разработчиков в команде in3D. С 2019 года мы развиваем технологию, которая позволяет создавать трёхмерные модели человека с помощью обычного смартфона. С тех пор мы сильно продвинулись вперед, а наши модели стали более естественными и реалистичными. Давайте вместе посмотрим на прогресс нашей команды и основные этапы усовершенствования применяемой нами методики 3D-моделирования.
Разработчики приложения для 3D-моделирования in3D рассказали, как добились фотореалистичности от своих аватаров
Спойлер для самых нетерпеливых: тут можно посмотреть как выглядит наше приложение и результат, а так же сравнение с некоторыми другими приложениями для сканирования:
Как сделать 3D-аватар
Сначала был взрыв
Самые первые эксперименты от основателя in3d (скачать) были сделаны на основе пары облаков точек, сделанных с помощью Kinect. Затем мы совмещали их и пытались симулировать пару кусков ткани — их движения, складки и т.д.
Сначала 3D-модель ткани выглядела вот так
Вот так выглядел первый зародыш виртуальной примерочной, в будущем сделанной нашей командой в несомненно лучшем качестве:
На следующем этапе 3D-модель стала выглядеть лучше
Было принято стратегическое решение — сделать продукт, который позволит каждому человеку сделать свою фотореалистичную 3D-модель. Так сказать, начало Metaverse.
Одна из основных проблем, с которой мы столкнулись в самом начале, была связана с качеством работы датчика глубины на телефоне. Он давал слишком много шума. Для создания хорошей модели нужно уметь соединять облака точек с разных кадров, убирать шум и оставлять максимально много деталей, что оказалось не так-то просто. Первые аватары не имели чёткой текстуры, и основная работа заключалась в создании правильной формы.
Сделать правильную форму объекта было довольно сложно
Правильная 3D-форма
Потом наши 3D-модели обрели нормальную форму
Нам удалось побороть шум и склеить много кадров во что-то похожее на тело человека. Затем началось большое количество итеративных улучшений, решений технологических проблем и создания расширяемой инфраструктуры для приложения. Так как наша технология действительно сложная, на всем протяжении обработки данных используются видеокарты, и часть команды сфокусировалась на ускорении, другая продолжала улучшать качество моделей.
В какой-то момент это дало свои плоды — мы начали очень хорошо и консистентно понимать все про форму человека из данных. Дело осталось за малым — убедить мир, что мы делаем это лучше всех на таких шумных данных.
Основной майлстоун в 2020 году это запуск приложения, нам удалось довести все до финального продукта, попасть в App Store и начать тестировать технологию на разных юзерах. Выходило все лучше и лучше, но все еще были разные случаи, когда алгоритм не справлялся и модель не собиралась. Мы набирались данных и опыта решения множества граничных случаев. Так же из основного — у нас выделился в отдельный этап процесс сканирования головы и визуальный результат сильно улучшился.
В этом же году начались первые реальные применения нашей технологии — аватары стали насколько точными (ошибка до 1 см), что стартап Unspun начал с помощью наших моделей снимать мерки людей для пошива джинсов, ведь началась пандемия — сложно приехать в офис в Калифорнии, особенно если ты не в Калифорнии.
Наши 3D-модели отлично чувствуют себя в играх
Так же мы старались найти другие интересные применения, экспорт в игры:
- Second Life
- VRChar
- GTA V
Фотореалистичный аватар
Добиться от аватаров фотореалистичности было сложнее всего
У наших аватаров теперь есть отличная форма, сильно улучшенная за предыдущий год — с это формы можно снимать мерки тела, много работы проводилось над визуальным улучшением аватаров и их текстуры.
Основной вехой прогресса в 2021 году на данный момент стало создание виртуальной примерочной — как по мне, так это что-то вроде проекта, о котором сотни стартапов говорило, но ни у кого не получилось распространенного продукта. Сделали мы это вместе с командой digital дизайнеров Replicant.
Скачать in3D
Нам удалось реализовать автоматизированную примерку одежды на персональные аватары и оформить это в весьма приятный опыт для пользователя (тут я предлагаю взять и оценить самому).
App StoreРазработка приложений для iOSСмартфоны Apple
 | Купить игровой ноутбук ZERO RTX3070, i7-11800H, 165 Гц, 16 дюймов, 2,5 K, 16:10, WiFi6, ноутбук, компьютер, ноутбук, игровой, 2 года гарантии |
Быстрый поиск покажет, что существует множество мобильных приложений, созданных для 3D-моделирования. Все становится сложнее, когда вы понимаете, что большинство приложений для 3D-дизайна нацелены на визуализацию или развлечения, а не на разработку моделей для 3D-печати. К счастью, нам удалось найти некоторые из лучших приложений для 3D-дизайна на мобильных устройств. В дополнение к этому мы выбрали только те, которые подходят для повседневного использования для 3D-печати.
Shapr3D: лучший параметрический инструмент
- Платформа: iOS
- Доступна бесплатная версия: Нет, только пробная версия (технически бесплатно навсегда, но версия ограничена)
- Стоимость: $ 19,99 / месяц
Начнем с тяжеловеса: электростанция параметрического моделирования, Shapr3D. Это приложение, имеющее почти четыреста отзывов в App Store и 4,5-звездочный средний показатель, работает на том же движке моделирования, что и профессиональное программное обеспечение для моделирования Solidworks.
Не нужно много просматривать его пользовательский интерфейс и набор функций, чтобы увидеть, что это приложение предназначено для профессиональных инженеров и промышленных дизайнеров. Shapr3D позволяет создавать концепции на ходу, концепции, которые можно экспортировать в настольное программное обеспечение для более детального редактирования в любое время.
Короче говоря, если вы ищете приложение для полупрофессионального варианта использования, не смотрите дальше. Shapr3D — одно из самых функциональных и надежных мобильных приложений для параметрического моделирования.
Sculptura: великолепный инструмент для 3d скульптинга
- Платформы: iOS, Android, Mac
- Доступна бесплатная версия: Нет
- Стоимость: 9,99 $
Это довольно интуитивно понятный инструмент для скульптинга, похожий на Sculptris, настольное программное обеспечение, которое обычно называют «облегченной версией ZBrush». Простой набор инструментов, доступных в Sculptura, делает его наиболее подходящим для создания базовых сеток, которые затем экспортируются в программное обеспечение для настольного моделирования для более детального редактирования.
Интерфейс чистый, а производительность плавная. Это опыт моделирования, явно оптимизированный для мобильных устройств, поэтому, если функциональность соответствует вашему рабочему процессу, вы не будете разочарованы. И если ценник пугает вас, мы предоставляем вам следующее приложение.
Putty 3D: Бюджетная скульптура
- Платформа: iOS
- Доступна бесплатная версия: Нет
- Стоимость: 4,99 $
Лучший способ подвести итог Putty3D — это «более дешевая скульптура». Конечно, у него не так много оценок, но он выполняет свою работу примерно за половину цены Sculptura. Имейте в виду, что его инструменты моделирования более ограничены. Таким образом, если вы относительно продвинутый скульптор, вы можете перейти сразу к Sculptura. С Putty3D вы по-прежнему получаете оптимизированное для мобильных устройств моделирование, экспорт файлов в настольные приложения и чистый пользовательский интерфейс, который вам понравился бы в Sculptura, поэтому, если вам важен бюджет, у вас есть шанс поработать над базовыми сетками.
uMake: Модный выбор
- Платформа: iOS
- Доступна бесплатная версия: Да
UMake — это одно из приложений, которое всегда появляется в списке приложений 3D-дизайна . Это знаковое приложение использует уникальный подход к моделированию благодаря сенсорному вводу. Вы в основном используете 2D-эскизы для формирования 3D-фигур, но опыт почему-то больше напоминает 2D-рисование с добавленной размерной переменной, а не традиционное параметрическое моделирование с плоскостями и эскизами. Это сложно объяснить словами, просто попробуйте сами.
Приятным бонусом uMake является возможность просматривать ваши 3D-проекты в дополненной реальности. Вы можете буквально спроецировать концепцию своего суперкара на видео в реальном времени на ваш гараж, чтобы увидеть, подойдет ли он (рядом с вашим воображаемым Porsche 911).
Совет:
Возможно, именно так разработан интерфейс, но uMake естественным образом предлагает создавать органические формы, хотя сам по себе это не инструмент для скульптинга. Это подводит нас к важному аспекту, который следует учитывать при рассмотрении этого приложения: оно больше подходит для концептуальной работы и визуализации, чем для использования с 3D-печатью.
Конечно, вы можете экспортировать 3D-файлы, которые вы разрабатываете с помощью uMake, в более продвинутое программное обеспечение для 3D-моделирования, такое как Fusion 360 и Meshmixer, но параметры импорта намекают на более ориентированную на дизайн (а не на производственную) цель.
Photoshop, Procreate, Autodesk Sketchbook и другие популярные 2D-приложения для рисования входят в число поддерживаемых источников импорта. Это может указывать на намерение разработчиков сделать приложение uMake для художников-концептов, работающих в основном с 2D-набросками и визуализациями.
AutoCAD: исключительный
- Платформы: iOS, Android, Windows
- Доступна бесплатная версия: Да
Этот популярный DWG-просмотрщик и редактор — довольно солидный вариант для архитектуры или функций, связанных с BIM, но имейте в виду, что вы не будете использовать его, если вам интересно сделать что-то для 3D-принтера. Мобильное приложение AutoCAD предназначено для просмотра и легкого редактирования файлов DWG, распространенного формата файлов в строительной отрасли. Это довольно хорошо для его предназначенной функции, но эта функция не 3D-печать.
По правде говоря, мы не хотели упоминать AutoCAD из-за его дурной славы в области 3D-дизайна. Он находится в совершенно другой категории, чем другие приложения, упомянутые здесь, но по крайней мере, теперь вы не примете его в качестве опции 3D-моделирования для ваших нужд печати.
Luna Display: другой подход
- Платформа : iOS
- Доступна бесплатная версия : нет (требуется покупка оборудования)
- Стоимость: $ 79,99
А сейчас нечто совершенно другое.
Представьте себе: ваш блестящий iPad с его чувствительностью к нажатию и впечатляющей поддержкой стилуса, с программным обеспечением для настольного моделирования. Это описывает реальность, созданную Luna Display , решением, которое позволяет вашему iPad функционировать в качестве второго дисплея и метода ввода для вашего компьютера Mac.
Сначала вы подключаете крошечные ключи к iPad и компьютеру, что устанавливает беспроводное соединение между двумя компьютерами. Благодаря этому iPad отображает экран вашего рабочего стола и вы можете использовать сенсорный ввод iPad с вашими любимыми приложениями для моделирования на рабочем столе, такими как, например, ZBrush . Прелесть этого подхода заключается в том, что он сочетает в себе аппаратное обеспечение iPad, подходящее для моделирования, с мощью программного обеспечения для настольных ПК, которое по функциональности превосходит мобильные приложения.
Что поистине выдающегося в этом решении, так это то, что с iPad-интерфейсом Luna Display доступны и специальные функции iPad, такие как чувствительность к давлению, а это означает, что ваш iPad превращается в стильный планшет для рисования для настольных программ. Вы едва можете себе представить, насколько гладко выглядит скульптура в настольном программном обеспечении, когда вы используете самые современные аппаратные средства iPad.
Предыдущий вариант
Создатели Luna Display предлагают еще одно решение, похожее по функции: Astropad . Astropad делает то же самое, что и Luna Display, за исключением того, что он работает с большим количеством версий iPad и использует WiFi или USB-соединение вместо пары ключей.
Любая 3D печать невозможна без наличия самой трехмерной модели, которую многие пользователи 3D принтеров находят на бескрайних просторах интернета. И лишь небольшое количество людей создают их самостоятельно используя программы 3D моделирования, либо используя 3D сканеры. А что делать тем кто не освоил моделирование и не имеет сканера?
Epic Games представляет RealityScan — новое бесплатное приложение для 3D-сканирования, которое превращает фотографии со смартфона в высококачественные 3D-модели. Это приложение, разработанное в сотрудничестве с Capturing Reality (создатель RealityCapture) и Quixel (создатель Megascans), основано на их новаторской технологии для расширения доступа к сложной фотограмметрии для создателей всех уровней.
RealityCapture — это современное фотограмметрическое программное обеспечение, способное реконструировать объекты и сцены любого размера по изображениям или лазерным сканам, получая 3D-сканы с непревзойденной точностью и качеством сетки со скоростью, во много раз превышающей скорость конкурирующего программного обеспечения.
Сейчас в ограниченной бета-версии, приложение RealityScan берет то, что людям нравится в RealityCapture — быстрое и простое 3D-сканирование.
RealityScan знакомит пользователей с процессом сканирования с интерактивной обратной связью, рекомендациями дополненной реальности и проверками качества данных. После завершения сканирования RealityScan почти мгновенно создает реалистичную модель благодаря молниеносному программному обеспечению для фотограмметрии. Оттуда пользователи могут беспрепятственно загружать свои готовые активы в Sketchfab , идеальную платформу для публикации, обмена и продажи контента 3D, VR и AR.
В рамках ограниченной бета-версии RealityScan Epic предоставляет доступ в порядке очереди 10 000 пользователей через TestFlight , с более широким выпуском раннего доступа для iOS весной, а позже в этом году для Android.
Для создания 3D-объекта необходимо не менее 20 снимков с разных ракурсов. Желательно, чтобы снимки были сделаны при хорошем освещении и с однотонным фоном.
