Видовая симуляция / Species simulation - ArtTECH NUST MISIS

Видовая симуляция. Александр Василенко Глеб Иванов Интенсив: Нейронные сети в искусстве Преподаватели: Катя Пряник, Алекрандр Сереченко/Gray Cake Нейрофантасмагория или процесс симуляции, путем нейронного производства атрибутов жизни присущих виду. Сотворение альтернативных миров всегда привлекало гений человечества. В данном проекте мы проигрываем пусть “создателя” начиная планирование вида через его характеристики. Как будет звучать щебет? Где птицы будут располагаться, в чем они могут жить? Человечество в своей истории ищет возможность взаимодействовать с другими биологическими видами, и всячески пытается интерпретировать язык животных в разрезе своих ограничений и убеждений. В нашей работе мы даем возможность пофантазировать на тему того, как бы наш язык звучал в переводе на птичий. Мы выбрали новейшие достижения в области искусственного интеллекта как инструмент воссоздания аудиальной реальности. Преобразование голоса человека производится с помощью комбинации нейронной сети Rave2 от французского института IRCAM, софта Max/msp и PureData. Обучение нейронных сетей очень похоже на то, как человек учится воспринимать. Мы подготовили датасет из часовой записи птиц и сымитировали процесс понимания, анализа и воспроизведение птичьего языка нейронной сетью. Само по себе обучение нейросети процесс идентичный развитию реальных знаний и их тиражированию в крупном масштабе в рамках человеческой цивилизации, обучение не всегда дает идеальный результат и нужно очень внимательно подбирать исходники и параметры, по которым нейросеть будет понимать что от нее ожидают. Для визуальной составляющей проекта мы решили взаимодействовать с нейросетью Stable Diffusion, используя текстовый запрос как основу для генерации изображений. Наша цель была создать биоморфные скворечники-гнезда. Исследуя различные результаты мы остановились на изображениях, которые максимально соответствовали нашим представлениям о том, как они должны выглядеть. Мы исследовали создание трехмерных объектов, основанных на результате работы нейросети. С помощью алгоритмов мы получили карты нормалей и глубины, и затем выдавили эти объекты в 3д редакторе. После этого мы объединили звук и 3д модели в один цифровой ландшафт и сделали VR экспозицию с многоканальным звуком. Neurofantasmagoria or simulation process, by neural production of the attributes of life inherent in the species. The creation of alternative worlds has always attracted the genius of mankind. In this project, we play let the “creator“ start planning the view through its characteristics. What will the chirp sound like? Where will the birds be located, where can they live? Humanity in its history is looking for an opportunity to interact with other biological species, and in every possible way tries to interpret the language of animals in the context of its limitations and beliefs. In our work, we give the opportunity to fantasize about how our language would sound in translation into bird. We chose the latest advances in artificial intelligence as a tool to recreate audio reality. The conversion of a person’s voice is carried out using a combination of a neural network Rave2 from the French institute IRCAM, Max/msp software and PureData. Training neural networks is very similar to how a person learns to perceive. We chose the latest advances in artificial intelligence as a tool to recreate audio reality. The conversion of a person’s voice is carried out using a combination of a neural network Rave2 from the French institute IRCAM, Max/msp software and PureData. Training neural networks is very similar to how a person learns to perceive. We prepared a datacet from an hour-long recording of birds and simulated the process of understanding, analyzing and reproducing bird language by the neural network. In itself, the training of the neural network is identical to the development of real knowledge and their replication on a large scale within the framework of human civilization, training does not always give an ideal result and it is necessary to very carefully select the sources and parameters by which the neural network will understand what is expected from it. For the visual component of the project, we decided to interact with the Stable Diffusion neural network, using a text query as the basis for generating images. Our goal was to create biomorphic nest birders. Exploring the different results, we settled on images that were as consistent as possible with our ideas about what they should look like. We investigated the creation of three-dimensional objects based on the result of the work of the neural network. Using algorithms, we obtained normal and depth maps, and then extruded these objects in a 3D editor. After that, we combined sound and 3D models into one digital landscape and made VR exposure with multi-channel sound.