🔺ИИ-инструменты в 3D-графике🔺
Мы можем бояться, ненавидеть или отрицать, но мир графики навсегда изменился с появлением нейросетей. И нам остается либо принять новые правила игры, либо проиграть в конкурентной гонке. И на этой “позитивной” ноте давайте познакомимся с нейросетями: что это такое, какие существуют виды и как они могут помочь в нашей работе.
🟣Нейросети/искусственный интеллект (ИИ) – это математическая модель с программным или аппаратным воплощением, построенная по схожей структуре с биологическими нейронными сетями. Это не что-то новое появившееся совсем недавно, они уже много лет применяются в научной работе. Нейросети позволили ученым сэкономить очень много времени и средств.
Звучит очень круто и невероятно полезно. Может тогда и на нашем поприще они избавят нас от изнурительной рутины, на которую уходит много времени и сил?
Посмотрим, какие существуют интересные решения среди ИИ для упрощения нашей жизни. Начнем знакомство с самых животрепещущих нейросетей, которые волнуют всех 3D-художников – с генеративных ИИ, способных создавать 3D-модели.
TRIPO, GENIE.ai, InstantMesh, masterpiecex, meshy.ai, CSM.ai, meshcapade, Rodin, edify-3d (от nvidia и shutterstock), fal-ai, hunyuan3d-2, NeROIC.
Это не случайный набор букв – это небольшой список нейросетей, которые вы можете попробовать, чтобы самим на практике увидеть качество создаваемых с помощью ИИ 3D-моделей.
Создание 3D-модели здесь происходит не как в классическом моделировании: у нас в распоряжении есть только слово и изображения. Вводим текстовые подсказки (промт), получаем какую-то 3D-модель, именно какую-то, потому что качество полученной модели напрямую зависит от содержания промта. От того, насколько понятным для машины (ИИ) будет ваш запрос, настолько красивый вы получите результат.
Куда более продвинутая функция – создавать модели из изображений. Эта функция значительно проще в работе, чем попытки получить что-то внятное из текстового описания.
Модели, созданные с использованием изображения, имеют ряд недостатков:
⭐️Отсутствует детализация на геометрии модели. В основном вся детализация сделана при помощи текстур;
⭐️Поверхность модели сильно деформирована и искажена;
⭐️Модель монолитна и не имеет разделение на подобъекты. Границы элементов отображены только на текстурах, это значительно усложняет дальнейшую работу с этой моделью.
Этих недостатков вполне достаточно, чтобы посчитать генеративные нейросети абсолютно бесполезными при создании 3D-моделей. Но если бы это было так, мы бы не стали писать об этом целую статью. Поэтому мы расскажем, как они могут помочь вам.
🟣Самое очевидное – это предпросмотр концепта. У вас есть концепты какого-то объекта, и с помощью ИИ можно посмотреть, как ваши идеи работали бы в объеме, и на основе этого выбрать самое подходящее решение.
Встречаются вещи, которые не очень значимы в проекте, но заказчик настаивает на их присутствии. На стоках их нет, создавать с нуля настолько незначительную деталь отберет у вас очень много времени. Именно в такие моменты нейросети и приходят нам на помощь. Берем самые лучшие из доступных нам фотографий, удаляем у них фон, отдаем их ИИ, несколько попыток, и, скорее всего, мы получим приемлемое качество модели с текстурами для второпланового объекта в сцене.
🟣Да, всегда хочется получить идеальную модель быстро и без усилий, но пока что это не так, поэтому еще один способ использовать несовершенные модели из нейросети – это 3D-референс. Этот способ применялся и раньше, только использовались 3D-сканы, сделанные с помощью фотограмметрии (3D-сканирование). Суть метода с использованием 3D-референса заключается в том, чтобы с модели, созданной ИИ, получить основные пропорции и расположение деталей. Такой метод применяется при создании персонажей и удобно позволяет переносить пропорции на чистовую модель.
Мы можем бояться, ненавидеть или отрицать, но мир графики навсегда изменился с появлением нейросетей. И нам остается либо принять новые правила игры, либо проиграть в конкурентной гонке. И на этой “позитивной” ноте давайте познакомимся с нейросетями: что это такое, какие существуют виды и как они могут помочь в нашей работе.
🟣Нейросети/искусственный интеллект (ИИ) – это математическая модель с программным или аппаратным воплощением, построенная по схожей структуре с биологическими нейронными сетями. Это не что-то новое появившееся совсем недавно, они уже много лет применяются в научной работе. Нейросети позволили ученым сэкономить очень много времени и средств.
Звучит очень круто и невероятно полезно. Может тогда и на нашем поприще они избавят нас от изнурительной рутины, на которую уходит много времени и сил?
Посмотрим, какие существуют интересные решения среди ИИ для упрощения нашей жизни. Начнем знакомство с самых животрепещущих нейросетей, которые волнуют всех 3D-художников – с генеративных ИИ, способных создавать 3D-модели.
TRIPO, GENIE.ai, InstantMesh, masterpiecex, meshy.ai, CSM.ai, meshcapade, Rodin, edify-3d (от nvidia и shutterstock), fal-ai, hunyuan3d-2, NeROIC.
Это не случайный набор букв – это небольшой список нейросетей, которые вы можете попробовать, чтобы самим на практике увидеть качество создаваемых с помощью ИИ 3D-моделей.
Создание 3D-модели здесь происходит не как в классическом моделировании: у нас в распоряжении есть только слово и изображения. Вводим текстовые подсказки (промт), получаем какую-то 3D-модель, именно какую-то, потому что качество полученной модели напрямую зависит от содержания промта. От того, насколько понятным для машины (ИИ) будет ваш запрос, настолько красивый вы получите результат.
Куда более продвинутая функция – создавать модели из изображений. Эта функция значительно проще в работе, чем попытки получить что-то внятное из текстового описания.
Модели, созданные с использованием изображения, имеют ряд недостатков:
⭐️Отсутствует детализация на геометрии модели. В основном вся детализация сделана при помощи текстур;
⭐️Поверхность модели сильно деформирована и искажена;
⭐️Модель монолитна и не имеет разделение на подобъекты. Границы элементов отображены только на текстурах, это значительно усложняет дальнейшую работу с этой моделью.
Этих недостатков вполне достаточно, чтобы посчитать генеративные нейросети абсолютно бесполезными при создании 3D-моделей. Но если бы это было так, мы бы не стали писать об этом целую статью. Поэтому мы расскажем, как они могут помочь вам.
🟣Самое очевидное – это предпросмотр концепта. У вас есть концепты какого-то объекта, и с помощью ИИ можно посмотреть, как ваши идеи работали бы в объеме, и на основе этого выбрать самое подходящее решение.
Встречаются вещи, которые не очень значимы в проекте, но заказчик настаивает на их присутствии. На стоках их нет, создавать с нуля настолько незначительную деталь отберет у вас очень много времени. Именно в такие моменты нейросети и приходят нам на помощь. Берем самые лучшие из доступных нам фотографий, удаляем у них фон, отдаем их ИИ, несколько попыток, и, скорее всего, мы получим приемлемое качество модели с текстурами для второпланового объекта в сцене.
🟣Да, всегда хочется получить идеальную модель быстро и без усилий, но пока что это не так, поэтому еще один способ использовать несовершенные модели из нейросети – это 3D-референс. Этот способ применялся и раньше, только использовались 3D-сканы, сделанные с помощью фотограмметрии (3D-сканирование). Суть метода с использованием 3D-референса заключается в том, чтобы с модели, созданной ИИ, получить основные пропорции и расположение деталей. Такой метод применяется при создании персонажей и удобно позволяет переносить пропорции на чистовую модель.
🟣Midjourney, Stable Diffusion – генеративные ИИ или страх художников. Такие нейросети создают изображения по текстовому описанию. Таких ИИ очень много, отличия лишь в качестве создаваемого ими продукта. Небольшой список таких нейросетей: DALL-E, leonardo.ai, Adobe Firefly, FILTER FORGE, promeai, Substance Alchemist.
“И чем же генерация картинок поможет в нашей работе? Разве они не делают работу вместо нас?”
Нейросети не могут выполнить нашу работу, по крайней мере на данный момент. Основным направлением для использования таких ИИ является концептинг. Именно на этапе разработки идеи продукта вам и помогут очень быстрые визуализации. Да, в них будут ошибки и очень странные элементы, но общие формы и детали нейросеть сможет передать, как и предложить варианты, о которых вы даже не думали. Такой подход используется в архвизе, геймдеве и даже при создании синематиков, только там вы при помощи ИИ создаете раскадровку для будущего видео.
➕На этом их возможности не заканчиваются, они будут полезны нам и на других этапах работы. Текстуры – это набор изображений, карты цвета, шероховатостей, металличности, высот и нормалей. И абсолютно ничто не мешает нам сгенерировать их и поменять в наших проектах отличающиеся от стандартных наборов текстуры.
➕Раз мы двигаемся вперед по этапам проекта, то и для финальной стадии – постобработки, есть подходящие инструменты. Inpaint – это генерация или удаление объекта внутри выделенной области на основании информации со всего изображения. То есть мы можем на готовые рендеры добавлять объекты, которые будут вписаны в контекст изображения с правильным освещением и тенями.
➕Также изображения можно “оживлять”, а если быть более точным, создавать анимацию на основе вашего изображения и текстового запроса, который описывает, что должно произойти (небольшой список популярных нейросетей для этой задачи: SORA, Runway, KLING AI, Pika).
“И чем же генерация картинок поможет в нашей работе? Разве они не делают работу вместо нас?”
Нейросети не могут выполнить нашу работу, по крайней мере на данный момент. Основным направлением для использования таких ИИ является концептинг. Именно на этапе разработки идеи продукта вам и помогут очень быстрые визуализации. Да, в них будут ошибки и очень странные элементы, но общие формы и детали нейросеть сможет передать, как и предложить варианты, о которых вы даже не думали. Такой подход используется в архвизе, геймдеве и даже при создании синематиков, только там вы при помощи ИИ создаете раскадровку для будущего видео.
➕На этом их возможности не заканчиваются, они будут полезны нам и на других этапах работы. Текстуры – это набор изображений, карты цвета, шероховатостей, металличности, высот и нормалей. И абсолютно ничто не мешает нам сгенерировать их и поменять в наших проектах отличающиеся от стандартных наборов текстуры.
➕Раз мы двигаемся вперед по этапам проекта, то и для финальной стадии – постобработки, есть подходящие инструменты. Inpaint – это генерация или удаление объекта внутри выделенной области на основании информации со всего изображения. То есть мы можем на готовые рендеры добавлять объекты, которые будут вписаны в контекст изображения с правильным освещением и тенями.
➕Также изображения можно “оживлять”, а если быть более точным, создавать анимацию на основе вашего изображения и текстового запроса, который описывает, что должно произойти (небольшой список популярных нейросетей для этой задачи: SORA, Runway, KLING AI, Pika).
🟣Чат-боты – о них слышали практически все. ChatGPT, deepseek, Copilot станут вашими виртуальными ассистентами в любом проекте, но не стоит им доверять на 100%, некоторые вещи вам все-таки придется перепроверить.
Не думаю, что у кого-то могут возникнуть сложности с использованием чат-ботов, их интерфейс практически ничем не отличается от мессенджеров, только общаетесь вы с машиной.
Чаще всего на них сбрасывается рутина, связанная с написанием официальных писем, анализ, систематизация и сокращение текстов, перефразирование текстов, корректный перевод текстов, составление графиков, генерация идей. А также он просто отличный собеседник, которому ты никогда не надоешь.
“Бесспорно, все это очень полезные вещи и могут помочь нам в 3D, но ничто из этого напрямую с ним не связано”
В начале я упомянул, что чат-боты могут стать вашими ассистентами, и это не просто слова, он может помочь вам освоить любое направление графики и выступать в качестве ментора, он может давать вам советы по реализации ваших проектов и строить последовательный план и менять его персонально под вас. Он может помочь вам решить проблемы, решение которых иногда сложно найти в интернете. Также, как это ни странно, нейросети хорошо знают программирование, и этот факт может помочь в работе всем тем, кто создает скрипты для своих проектов, особенно это будет полезно тем, кто занимается анимацией и визуальными эффектами.
🔥Бонус!!! Для тех, кто смог дойти до этого момента.
Есть ИИ, которые позволяют улучшать качество изображения (фото и видео). Называются они апскейлеры (Upscaler), их довольно много, один из популярных – Topaz AI. С помощью этого ИИ вы можете оптимизировать скорость своего рендера. При рендере вы опускаете разрешение изображения на один порядок ниже и уменьшаете частоту кадров. По завершению рендера загружаем наш файл и начинаем колдовать: выставляем нужное нам значение разрешения, а для видео еще и необходимое количество кадров. Программа сама достроит недостающие пиксели, основываясь на информации с изображения, а для видео сгенерирует дополнительные промежуточные кадры на основе информации с соседних.
Старайтесь сильно не занижать качество в ваших проектах, программа действительно хорошо работает, но взять качество из воздуха она тоже не сможет (старайтесь не опускать качество ниже 720р и 24 кадров). Апскейлеры не заменят вам реальное разрешение, но они могут вам помочь в ситуациях, когда время не на вашей стороне.
Сегодня мы познакомились с огромным количеством нейросетей и способах их применения на практике.
Может показаться, что некоторые из них пока еще сыроваты. Отчасти это правда, но мы думаем, что чем раньше вы начнете их осваивать, тем большее преимущество будете иметь в будущем. Поэтому не бойтесь ИИ, изучайте их, пользуйтесь ими. Желаем вам удачи в освоении и увидимся в следующих статьях.
▪️▪️▪️▪️▪️▪️▪️▪️▪️▪️▪️▪️▪️▪️▪️▪️▪️▪️▪️
Текст подготовил Глеб Климович.
Не думаю, что у кого-то могут возникнуть сложности с использованием чат-ботов, их интерфейс практически ничем не отличается от мессенджеров, только общаетесь вы с машиной.
Чаще всего на них сбрасывается рутина, связанная с написанием официальных писем, анализ, систематизация и сокращение текстов, перефразирование текстов, корректный перевод текстов, составление графиков, генерация идей. А также он просто отличный собеседник, которому ты никогда не надоешь.
“Бесспорно, все это очень полезные вещи и могут помочь нам в 3D, но ничто из этого напрямую с ним не связано”
В начале я упомянул, что чат-боты могут стать вашими ассистентами, и это не просто слова, он может помочь вам освоить любое направление графики и выступать в качестве ментора, он может давать вам советы по реализации ваших проектов и строить последовательный план и менять его персонально под вас. Он может помочь вам решить проблемы, решение которых иногда сложно найти в интернете. Также, как это ни странно, нейросети хорошо знают программирование, и этот факт может помочь в работе всем тем, кто создает скрипты для своих проектов, особенно это будет полезно тем, кто занимается анимацией и визуальными эффектами.
🔥Бонус!!! Для тех, кто смог дойти до этого момента.
Есть ИИ, которые позволяют улучшать качество изображения (фото и видео). Называются они апскейлеры (Upscaler), их довольно много, один из популярных – Topaz AI. С помощью этого ИИ вы можете оптимизировать скорость своего рендера. При рендере вы опускаете разрешение изображения на один порядок ниже и уменьшаете частоту кадров. По завершению рендера загружаем наш файл и начинаем колдовать: выставляем нужное нам значение разрешения, а для видео еще и необходимое количество кадров. Программа сама достроит недостающие пиксели, основываясь на информации с изображения, а для видео сгенерирует дополнительные промежуточные кадры на основе информации с соседних.
Старайтесь сильно не занижать качество в ваших проектах, программа действительно хорошо работает, но взять качество из воздуха она тоже не сможет (старайтесь не опускать качество ниже 720р и 24 кадров). Апскейлеры не заменят вам реальное разрешение, но они могут вам помочь в ситуациях, когда время не на вашей стороне.
Сегодня мы познакомились с огромным количеством нейросетей и способах их применения на практике.
Может показаться, что некоторые из них пока еще сыроваты. Отчасти это правда, но мы думаем, что чем раньше вы начнете их осваивать, тем большее преимущество будете иметь в будущем. Поэтому не бойтесь ИИ, изучайте их, пользуйтесь ими. Желаем вам удачи в освоении и увидимся в следующих статьях.
▪️▪️▪️▪️▪️▪️▪️▪️▪️▪️▪️▪️▪️▪️▪️▪️▪️▪️▪️
Текст подготовил Глеб Климович.