3D моделирование

Определение

Трехмерное моделирование использование программного обеспечения для создания виртуальной трехмерной модели какого-либо физического объекта.

Трехмерное моделирование используется во многих различных отраслях, включая виртуальную реальность, видеоигры, 3D-печать, маркетинг, телевидение и кинофильмы, научная и медицинская визуализация, автоматизированное проектирование и производство CAD/CAM.

Программное обеспечение для трехмерного моделирования создает модель с помощью различных инструментов и приложений. включает:

  • простые многоугольники.
  • 3-D примитивы — простые многоугольные формы, такие как пирамиды, кубы, сферы, цилиндры и конусы.
  • сплайновые кривые.
  • NURBS (неоднородный рациональный b-сплайн) — гладкие формы, определяемые кривыми лицевых панелей, которые относительно сложны в вычислительном отношении. /li>

Двумерные геометрические многоугольники широко используются в эффектах кинофильмов и трехмерных видеоиграх. Создание приближений форм, сделанных с помощью многоугольников, намного эффективнее в растровой графике, которая требуется для трехмерных игр в реальном времени.

В искусстве для видеоигр и эффектов движущихся изображений модель может начинаться как черновой вариант с использованием полигональных примитивов или NURBS, или как дизайн, сделанный путем прослеживания контуров на нескольких двухмерных изометрических проекциях. Если модель должна быть анимирована, необходимо тщательно продумать расположение непрерывных контуров ребер в многоугольниках модели вокруг областей деформации, таких как стыки. Модель, которая выглядит хорошо в неподвижном состоянии, будет складываться быстрее, чем белье Супермена в анимации, когда внешний вид модели неподвижного конца — это все, что учитывается при построении.

После того, как модель построена надлежащим образом, художник может расположить координаты модели для соответствия ее двухмерным текстурам в процессе, называемом UV-картированием, процесс, который похож на попытку проектирования и настройки с помощью компьютерной мыши. Области, требующие более подробной информации, получают больше места на UV-карте. Это можно сделать либо с использованием повторяющейся текстуры, такой как шахматная доска, в качестве заполнителя, либо с использованием существующей текстуры.

Обычно следующим шагом может быть текстурирование модели, которое должно применяться либо нарисованные вручную или основанные на фотографиях двухмерные изображения, обычно TGA (растровые изображения Targa), в модель, которая будет определять:

  • Ее цвет с картой цветов.
  • Его отражательная способность и отраженный цвет с картой отражений.
  • Текстура поверхности, определяемая игрой света с картой неровностей или нормалей, или картой деформации для фактических добавленных геометрических деталей.

Анимированные модели. требуется дополнительный этап оснастки, который похож на предоставление им виртуального скелета с костями и суставами вместе с контроллерами для управления им. То, как текстура этих стыков влияет на текстуру поверхности при деформации, должно быть определено в скиннинге, где вес влияния суставов на текстуры наносится непосредственно на полигоны модели; на многоугольник, окрашенный более сильно, сильнее влияет движение выбранного сустава. Затем модель готова для аниматора.

Могут использоваться более вычислительные и дорогостоящие методы создания моделей, такие как NURBS, наряду со сложными шейдерами, которые взаимодействуют с основанным на частицах светом, в визуализированной графике в реальном время не является необходимостью.

См. введение в 3D-моделирование с помощью Maya:

Содержание
  1. Продолжить чтение о 3D-моделировании
  2. Автоматизированный конвейер трехмерного моделирования для построения трехмерных моделей МОНОГЕННОГО HARDPART с использованием методов машинного обучения
  3. 18-я Международная конференция по биоинформатике
  4. Аннотация
  5. Предпосылки
  6. Результат
  7. Выводы
  8. Предпосылки
  9. Результаты
  10. Синтетические 2D-иллюстрации 3>
  11. База данных NoSQL
  12. Оценка модели машинного обучения на основе трех разных наборов данных
  13. Обнаружение контрольных точек на входных иллюстрациях моногенных якорей с использованием модели машинного обучения
  14. 3D-модели моногенных якорей, полученные в результате деформации общей 3D-модели
  15. Оценка эффективности конвейера автоматизированного трехмерного моделирования
  16. Обсуждения
  17. Выводы
  18. Методы
  19. Подготовка данных для машинного обучения
  20. Хранение данных
  21. Модель машинного обучения
  22. Формирование конвейера автоматизированного 3D-моделирования
  23. Оценка 3D-модели
  24. Доступность данных и материалов
  25. Сокращения
  26. Ссылки
  27. Благодарности
  28. Об этом дополнении
  29. Финансирование
  30. Декларации этики
  31. Утверждение этических норм и согласие на участие
  32. Согласие на публикацию
  33. Конкурирующие интересы
  34. Дополнительная информация
  35. Дополнительный файл 1.
  36. Дополнительный файл 2
  37. Права и разрешения
  38. Об этой статье
  39. Цитируйте эту статью
  40. Ключевые слова

Продолжить чтение о 3D-моделировании

  • Как начать 3D-моделирование и печать
  • Blender — это бесплатное программное обеспечение для трехмерного моделирования с открытым исходным кодом.
  • Трехмерная печать — ключевой элемент головоломки цифрового производства
  • Удобное трехмерное моделирование
  • Inspect-a-gadget: 3D-дизайн и печать


Автоматизированный конвейер трехмерного моделирования для построения трехмерных моделей МОНОГЕННОГО HARDPART с использованием методов машинного обучения

18-я Международная конференция по биоинформатике

  • Исследования
  • Открытый доступ
  • Опубликовано:

BMC Bioinformatics том 20 , Номер статьи: 658 (2019) Цитируйте эту статью

  • 2655 Доступов

  • Сведения о показателях

Аннотация

Предпосылки

Изучение структурной и функциональной морфологии небольших организмов, таких как моногенеи, затруднено из-за отсутствия трехмерной визуализации. Один из возможных способов решить эту проблему визуализации — создать цифровые 3D-модели, которые могут помочь исследователям в изучении морфологии и функции моногенеев. Однако разработка 3D-моделей — это утомительная процедура, так как придется повторять весь сложный процесс моделирования для каждой новой целевой 3D-формы с помощью комплексного программного обеспечения для 3D-моделирования.. Это исследование было разработано для разработки альтернативного подхода к трехмерному моделированию для построения трехмерных моделей моногенных якорей, которые можно использовать для понимания этих морфологических структур в трех измерениях. Этот альтернативный подход к трехмерному моделированию направлен на то, чтобы избежать повторения утомительной процедуры моделирования для каждой отдельной целевой трехмерной модели с нуля.

Результат

Автоматизированный конвейер трехмерного моделирования, наделенный полномочиями Была разработана искусственная нейронная сеть (ИНС). Этот конвейер автоматизированного 3D-моделирования обеспечивает автоматическую деформацию типовой 3D-модели моногенного якоря в другой целевой 3D-якорь. Конвейер трехмерного моделирования, поддерживаемый ИНС, сумел автоматизировать создание 8 целевых трехмерных моделей (представляющих 8 видов: Dactylogyrus Primaries, Pellucidhaptor merus, Dactylogyrus falcatus, Dactylogyrus westator, Dactylogyrus pterocleidus, Dactylogyrus Chauhanatus falciunguis /i> и Chauhanellus caelatus ) моногенного якоря из соответствующих входных 2D-иллюстраций без повторения утомительной процедуры моделирования.

Выводы

Несмотря на некоторые ограничения и ограничения, конвейер автоматизированного 3D-моделирования, разработанный в этом исследовании, продемонстрировал рабочую идею применения подхода машинного обучения в работе по 3D-моделированию. Это исследование не только разработало автоматизированный конвейер трехмерного моделирования, но также продемонстрировало междисциплинарный исследовательский план, который интегрирует машинное обучение в конкретную область исследования, такую ​​как трехмерное моделирование биологических структур.

Предпосылки

Изучение структурной и функциональной морфологии мелких организмов затруднено из-за отсутствия визуализации в трех измерениях. Один из эффективных способов решения этой проблемы — создание цифровых 3D-моделей с использованием методов 3D-визуализации, таких как конфокальная микроскопия [1, 2] и сканирующая электронная микроскопия (SEM) [3,4,5,6]. Как подчеркивается Галли и др. [1] цифровые 3D-модели твердых моногенных частей, восстановленные с помощью конфокальной микроскопии, содержат морфологические детали, которые не обнаруживаются на соответствующих 2D-иллюстрациях. Однако оборудование для получения 3D-изображений, используемое для 3D-реконструкции, дорогое и требует утомительной подготовки образцов перед использованием [7].

Следовательно, Teo et al. [8] продемонстрировал метод полигонального моделирования с использованием 2D-иллюстраций в качестве шаблонов для построения 3D-моделей гапторальных частей моногенеев с помощью существующего коммерческого программного обеспечения для 3D-моделирования Autodesk 3ds Max. Показано, что полученные модели, созданные в Autodesk 3ds Max, эффективно предлагают трехмерную визуализацию пространственных взаимоотношений морфологических знаков в моногенном хапторе. Однако Autodesk 3ds Max требует технических навыков для создания достойной трехмерной формы целевого образца из-за высокой сложности пользовательского интерфейса программного обеспечения. Другой подход заключается в создании новой цифровой 3D-модели из существующей 3D-модели с помощью техники деформации формы [9]. Этот метод деформации формы избавляет от необходимости повторять сложный процесс моделирования для создания новой 3D-модели с нуля. Одним из ограничений этого метода является то, что он требует, чтобы разработчик модели вручную выбирал вершины цифровой универсальной 3D-модели и выравнивал их с ориентирами входного 2D-изображения. Если это можно автоматизировать с минимальным вмешательством человека, вся процедура моделирования может стать намного проще и эффективнее.

Обнаружение контрольных точек с помощью алгоритма машинного обучения могло бы стать решением для включения автоматического обнаружения ориентир указывает на входное изображение. Впоследствии контрольные точки, предсказанные моделью машинного обучения, могут использоваться для направления деформации цифровой универсальной трехмерной модели путем автоматического сопоставления ее вершин с соответствующими контрольными точками и в конечном итоге создания целевой трехмерной формы.

Обнаружение контрольных точек широко изучалось исследователями для отслеживания точек черт человеческого лица, которые применялись для распознавания человеческого лица [10,11,12], анализа выражения лица [13], определения местоположения ориентиров [14, 15], оценки возраста [ 16], гендерная классификация [17] и 3D-моделирование лица [18]. Эти исследования разделяют общую идею о том, что точки черт лица, расположенные у глаз, носа, рта и подбородка на двумерном изображении лица, несут семантическое значение, и эти точки могут быть автоматически обнаружены с помощью алгоритма машинного обучения с использованием аннотированных двухмерных образцов изображений в качестве тренировки. набор данных. Идея обнаружения ориентира была также применена к нескольким другим областям исследования, таким как геометрическая морфометрия для биоизображений [19, 20], обнаружение анатомических особенностей для медицинской диагностики [21, 22] и определение позы человеческого тела [23]. p>

Одним из распространенных алгоритмов машинного обучения, используемых в большинстве исследований по обнаружению ориентиров, является искусственная нейронная сеть (ИНС). Популярность ИНС в последние годы обусловлена ​​ее эффективностью для задач анализа изображений [24]. В некоторых исследованиях ИНС использовалась вместе с алгоритмом кластеризации для разделения обучающих наборов на несколько подмножеств, которые имеют общие свойства [25], или с автокодером для исправления точек выброса [15], и такой подход связывания позволил улучшить прогноз. точность в CNN. Автоэнкодер также использовался сам по себе для автоматической идентификации выражений лица людей с использованием некоторых геометрических элементов, а данные функций были обучены неконтролируемым методом. С другой стороны, Chen et al. [12] использовали RNN в своем исследовании по обнаружению ориентиров, чтобы иметь дело с нелинейными деформациями формы лица человека. Насколько нам известно, нет сообщений об исследовании применения ИНС для обнаружения ориентиров, чтобы обеспечить автоматическое построение цифровых трехмерных моделей биологических образцов, таких как моногенеи, которые являются целевым образцом этого исследования..

Моногенеи (класс: Monogena, тип: Platyhelminthes) — паразитические плоские черви, которые обладают мягкими анатомическими структурами и жестко склеротизированной копулятивной системой как мужских, так и женских репродуктивных органов. Их анатомические структуры, такие как гапторальные элементы, имеют диагностическое значение при таксономическом описании и идентификации моногенных видов [26,27,28,29,30,31]. Однако изучение этих морфологических структур непросто, потому что моногенеи — это плоские черви с мягким телом и хрупкой энтодермой, неспособные выдержать высыхание при длительном исследовании под микроскопом. Использование цифровых 3D-моделей поможет систематикам понять морфологию, а также функции этих морфологических структур.

Основная цель этого исследования — разработать конвейер автоматизированного 3D-моделирования, который использует 2D иллюстрации в качестве входных данных для создания множества цифровых 3D-моделей моногенного якоря без повторения утомительного процесса 3D-моделирования с нуля. Целевые модели этого исследования ограничены гапторальными якорями моногенеев из восьми выбранных видов, которыми являются Dactylogyrus primaries Gusev, 1955 , Pellucidhaptor merus Zaika, 1961 , Dactylogyrus falcatus Wedl, 1857 , Dactylogyrus Wastator Bybelin, 1924 , Dactylogyrus pterocleidus Гусев, 1955 , Dactylogyrus falciunguis Achmerow, 1952 , Chauhanellus auriculatum Lim, 1994 и Chauhanellus caelatus Lim, 1994 . Этот конвейер автоматизированного 3D-моделирования будет управляться ИНС, которая может определять местоположение ориентиров на входной 2D-иллюстрации и автоматически выравнивать их с вершинами общей 3D-модели, чтобы обеспечить деформацию ее 3D-формы для создания целевой 3D-модели.

Результаты

Результаты, полученные из разработка автоматизированного конвейера 3D-моделирования представлена ​​в следующих разделах.

Синтетические 2D-иллюстрации 3>

Выходные данные подготовки данных включают три набора: 1000, 2500 и 5000 синтетических 2D-иллюстраций, сгенерированных полуавтоматической программой дополнения и базой данных NoSQL, разработанной для хранения деталей синтетических 2D-иллюстраций. Все три набора синтетических иллюстраций моногенного якоря были синтезированы на основе восьми различных категорий морфологических вариантов форм, чтобы удовлетворить потребность в обучении модели машинного обучения обнаружению ориентиров на входных иллюстрациях всех выбранных моногенных якорей. Некоторые избранные образцы синтетических иллюстраций для каждой категории формы якоря показаны на рис. 1a-h. Размер изображения всех синтетических иллюстраций был стандартизирован и составлял 96 × 96 пикселей. Синтетические 2D-иллюстрации, как показано на рис. 1a-h, масштабируются и поворачиваются в случайных градусах. Это необходимо для обеспечения высокой степени морфологических вариантов форм для обучения более обобщенной модели машинного обучения..

Избранные образцы синтетических 2D иллюстраций. a Категория формы 1, ( b ) Категория формы 2, ( c ) Категория формы 3, ( d ) Категория формы 4, ( e ) Категория формы 5, ( f ) Категория формы 6, ( g ) Категория формы 7, ( h ) Категория формы 8

Полноразмерное изображение

База данных NoSQL

В этом исследовании была разработана база данных NoSQL с использованием MongoDB для хранения деталей всех наборов для обучения синтетических иллюстраций. такие как название иллюстрации, значения пикселей иллюстраций, 2D-координаты 34 точечных примитивов (рис. 2). Детали обучающих наборов представлены в виде пяти пар данных «ключ-значение» для каждой записи (рис. 3a). Ключ «_id» автоматически генерируется MongoDB при создании новой записи. «Имя» и «форма» содержат информацию об имени иллюстрации и категории формы в виде простой строки и числового числа соответственно. Двумерные координаты 34 точечных примитивов хранятся в ключе «ориентир» и представлены в виде массивов координат (рис. 3b). Значения пикселей каждой записи иллюстрации удерживаются ключом «пикселей», и они представлены в виде массива целочисленных элементов в диапазоне от 0 до 255 (рис. 3c).

MongoDB Компас, показывающий детали сохраненных обучающих наборов в базе данных noSQL

Полноразмерное изображение

Пример данных, хранящихся в базе данных noSQL. a Пять пар «ключ-значение», ( b ) 2D-координаты точечного примитива, представленного в виде массива координат, ( c ) Значения пикселей синтетической иллюстрации, представленной в виде целочисленного массива

Полноразмерное изображение

Оценка модели машинного обучения на основе трех разных наборов данных

Точность обучения, проверки и тестирования моделей машинного обучения, обученных на трех разных наборах данных, представлена ​​в таблице 1. Таблица показывает, что модель, обученная 5000 наборами данных, дает наивысшую точность теста. Следовательно, модель, обученная на 5000 наборах данных, была принята для обнаружения ориентиров на входных иллюстрациях восьми различных видов моногенеев.

Таблица полного размера

Обнаружение контрольных точек на входных иллюстрациях моногенных якорей с использованием модели машинного обучения

Модель машинного обучения, обученная с помощью 5000 наборов данных, была протестирована на моногене. якоря восьми отобранных видов моногенеев с различными характеристиками формы, чтобы изучить универсальность модели машинного обучения для обнаружения контрольных точек на якорях различной формы (рис. 4). В общем, рис.. 4 показаны благоприятные результаты обнаружения ориентиров, когда большинство ориентиров (красные точки) локализованы по краю входных 2D-иллюстраций моногенных якорей.

Машина обнаружила ориентиры на 2D-иллюстрации восьми выбранных моногенных якорей из Гусева [43] и Лима [44]. a Dactylogyrus primarius ( b ) Pellucidhaptor merus ( в ) Dactylogyrus falcatus . d Dactylogyrus обширатор ( e ) Dactylogyrus pterocleidus ( е ) Dactylogyrus falciunguis ( g ) Chauhanellus auriculatum ( h ) Chauhanellus caelatus

Изображение в полном размере

3D-модели моногенных якорей, полученные в результате деформации общей 3D-модели

В этом разделе представлены 3D-модели моногенных якорей, полученные из конвейера автоматизированного 3D-моделирования. На рис. 5 показана группа трехмерных моделей (рис. 5b-e), созданных автоматизированным конвейером трехмерного моделирования. В целом общая форма тела результирующих 3D-моделей напоминает 2D-форму, представленную на соответствующих 2D-иллюстрациях. Тем не менее, конвейер автоматизированного 3D-моделирования не очень хорошо работает при моделировании частей выдавливания нескольких анкеров (рис. 5k, & o). Более тщательный анализ несоответствия формы, представленного этими якорями, показан на рис. 6. Автоматизированный конвейер трехмерного моделирования показывает его ограничение для получения веерообразной экструзионной структуры, обнаруженной в якорях D. peterocleidus и C. auriculatum .

Общая 3D-модель и входные иллюстрации якоря вместе с соответствующими 3D-моделями (цветные). a : Общая трехмерная модель якоря ( b c ): Dactylogyrus primarius . d e : Pellucidhaptor merus . f g : Dactylogyrus falcatus . h i Dactylogyrus Wastator . j k : Dactylogyrus pterocleidus. l m : Dactylogyrus falciunguis. n o Chauhanellus auriculatum. p q Chauhanellus caelatus

Полноразмерное изображение

Несоответствие трехмерной формы обнаружено в части выдавливания ( a ) Dactylogyrus peterocleidus и ( b ) Chauhanellus auriculatum

Изображение в полном размере

Оценка эффективности конвейера автоматизированного трехмерного моделирования

Ящичные диаграммы показывают шаблоны контрольных точек и прогнозируемых ориентиров для каждого из целевых моногенных якорей (рис. 7, 8, 9, 10, 11, 12, 13 и 14). В каждом из моногенных якорей ящичные диаграммы для распределения координаты-X (рис. 7, 8, 9, 10, 11, 12, 13 и 14b) и координаты Y (рис. 7, 8, 9, 10, 11, 12, 13 и 14c) были нанесены отдельно. Как показано на рис. 7, 8, 9, 10, 11, 12, 13 и 14, все прямоугольные диаграммы показывают аналогичный образец распределения между контрольными точками и прогнозируемыми точками ориентиров.

Сравнение контрольных точек ints и предсказанные точки на 2D-иллюстрации Dactylogyrus primarius . a Положения контрольных точек (маленькие зеленые маркеры) и прогнозируемых точек (красные маркеры) на 2D-иллюстрации. b Коробчатая диаграмма для контрольной точки-X и прогнозируемой точки-X ( c ) Коробчатая диаграмма для контрольной точки-Y и прогнозируемой точки-Y

Полноразмерное изображение

Сравнение контрольных точек и прогнозируемых точек на 2D-иллюстрации из Pellucidhaptor merus . a Положения контрольных точек (маленькие зеленые маркеры) и прогнозируемых точек (красные маркеры) на 2D-иллюстрации. b Коробчатая диаграмма для контрольной точки-X и прогнозируемой точки-X ( c ) Коробчатая диаграмма для контрольной точки-Y и прогнозируемой точки-Y

Полноразмерное изображение

Сравнение контрольных точек и прогнозируемых точек на 2D-иллюстрации из Dactylogyrus falcatus . a Положения контрольных точек (маленькие зеленые маркеры) и прогнозируемых точек (красные маркеры) на 2D-иллюстрации. b Коробчатая диаграмма для контрольной точки-X и прогнозируемой точки-X ( c ) Коробчатая диаграмма для контрольной точки-Y и прогнозируемой точки-Y

Полноразмерное изображение

Сравнение контрольных точек и прогнозируемых точек на 2D-иллюстрации из Dactylogyrus Wastator . a Положения контрольных точек (маленькие зеленые маркеры) и прогнозируемых точек (красные маркеры) на 2D-иллюстрации. b Коробчатая диаграмма для контрольной точки-X и прогнозируемой точки-X ( c ) Коробчатая диаграмма для контрольной точки-Y и прогнозируемой точки-Y

Полноразмерное изображение

Сравнение контрольных точек и прогнозируемых точек на 2D-иллюстрации из Dactylogyrus pterocleidus . a Положения контрольных точек (маленькие зеленые маркеры) и прогнозируемых точек (красные маркеры) на 2D-иллюстрации. b Коробчатая диаграмма для контрольной точки-X и прогнозируемой точки-X ( c ) Коробчатая диаграмма для контрольной точки-Y и прогнозируемой точки-Y

Полноразмерное изображение

Сравнение контрольных точек и прогнозируемых точек на 2D-иллюстрации из Dactylogyrus falciunguis . a Положения контрольных точек (маленькие зеленые маркеры) и прогнозируемых точек (красные маркеры) на 2D-иллюстрации. b Коробчатая диаграмма для контрольной точки-X и прогнозируемой точки-X ( c ) Коробчатая диаграмма для контрольной точки-Y и прогнозируемой точки-Y

Полноразмерное изображение

Сравнение контрольных точек и прогнозируемых точек на 2D-иллюстрации из Chauhanellus auriculatum . a Положения контрольных точек (маленькие зеленые маркеры) и прогнозируемых точек (красные маркеры) на 2D-иллюстрации. b Коробчатая диаграмма для контрольной точки-X и прогнозируемой точки-X ( c ) Коробчатая диаграмма для контрольной точки-Y и прогнозируемой точки-Y

Полноразмерное изображение

Сравнение контрольных точек и прогнозируемых точек на 2D-иллюстрации из Chauhanellus caelatus . a Положения контрольных точек (маленькие зеленые маркеры) и прогнозируемых точек (красные маркеры) на 2D-иллюстрации. b Коробчатая диаграмма для контрольной точки-X и прогнозируемой точки-X ( c ) Коробчатая диаграмма для контрольной точки-Y и прогнозируемой точки-Y

Полноразмерное изображение

Обсуждения

В этом исследовании был разработан конвейер автоматизированного 3D-моделирования, основанный на алгоритме машинного обучения. Графики на рис. 7, 8, 9, 10, 11, 12, 13 и 14 продемонстрированы возможности автоматизированного конвейера трехмерного моделирования, наделенного алгоритмом машинного обучения, в прогнозировании контрольных точек, которые могут показывать аналогичный образец распределения с контрольными точками. Картины распределения, представленные на прямоугольных диаграммах, указывают на то, что предсказанные контрольные точки могут быть использованы для автоматизации деформации общей трехмерной модели для получения благоприятной трехмерной формы якорей 8 выбранных видов моногенеев (рис. 5).. Ящичные диаграммы подтвердили результат визуального осмотра, как показано на рис. 5, что полученные трехмерные модели могут в целом соответствовать большинству частей двухмерного контура, представленного на входных иллюстрациях привязки.

Конвейер моделирования, разработанный в этом исследовании, представляет собой удобный для пользователя способ автоматизации деформации общей трехмерной модели в целевой трехмерный якорь с использованием двухмерной иллюстрации в качестве входных данных. Весь этот конвейер моделирования предлагает очень простой способ создания целевой 3D-модели с минимальным вмешательством человека. Подход автоматизированного 3D-моделирования, представленный в этом исследовании, также улучшил работу по 3D-моделированию, опубликованную в Teo et al. [8], отказавшись от использования комплексного программного обеспечения для трехмерного моделирования Autodesk 3ds Max для создания трехмерной модели с нуля. Насколько нам известно, это первый случай, когда машинное обучение было применено для обнаружения ориентиров при моделировании биологического образца. О применении машинного обучения для обнаружения ориентиров для моделирования биологических образцов не сообщается ни в каких опубликованных записях.

Однако конвейер автоматизированного 3D-моделирования не очень хорошо работает при построении 3D-моделей якорей с некоторыми сложными структуры, такие как экструзии, обнаруженные у разновидностей D. pterocleidus и C. auriculatum и крючок в C. caelatus (рис. 6). Такое искажение формы происходит из-за того, что эти морфологические структуры (например, выступы и крючок) обладают относительно меньшей площадью поверхности, которую можно контролировать с помощью большего количества точечных примитивов по сравнению с другими областями анкера. Это означает, что небольшое отклонение предсказанных координат этих точечных примитивов от контрольных точек вызовет очевидное искажение формы.

Модель машинного обучения была обучена с использованием синтетических 2D-иллюстраций привязки, которые являются расположен сбоку, все размеры и цвета стандартизированы до 96 × 96 пикселей и уровня градаций серого. Следовательно, модель не может эффективно обнаруживать контрольные точки на произвольном изображении для автодеформации общей 3D-модели для получения целевой 3D-формы. Необходимо предварительно обработать входную 2D-иллюстрацию, прежде чем ее можно будет загрузить в конвейер автоматизированного 3D-моделирования для получения целевой 3D-модели. Кроме того, в этом исследовании также невозможно использовать более 5000 синтетических иллюстраций в качестве обучающих наборов для машинного обучения из-за ограничений существующей инфраструктуры. В результате уровень точности тестирования обученной модели ограничен примерно до 80%.

В рамках будущего развития весь проект будет перенесен на платформу облачных вычислений, которая может можно использовать для хранения растущего числа обучающих наборов на масштабируемом облачном сервере, в то время как мощный вычислительный механизм облачной платформы можно использовать для создания и развертывания модели машинного обучения для конвейера автоматизированного 3D-моделирования [32]. В долгосрочной перспективе переход на облачную платформу является важным шагом для расширения масштабов разработки автоматизированного конвейера трехмерного моделирования, представленного в этом исследовании. Наконец, общая 3D-модель будет создана для каждой из моногенных твердых частей соответственно, а подготовка обучающих наборов и процесс машинного обучения будут повторяться для обучения более универсальной модели машинного обучения обнаружению контрольных точек на входных 2D-иллюстрациях различных моногенных твердых частей. частей.

Выводы

В этом В ходе исследования был создан конвейер автоматизированного 3D-моделирования с использованием техники машинного обучения, которая представляет собой искусственную нейронную сеть. Целью этого конвейера трехмерного моделирования является автоматическое преобразование цифровой универсальной трехмерной модели моногенного якоря в различные формы желаемых трехмерных якорей. Несмотря на некоторые ограничения и ограничения, о которых говорилось выше, конвейер автоматизированного 3D-моделирования, разработанный в этом исследовании, продемонстрировал рабочую идею применения подхода машинного обучения в работе по 3D-моделированию. Кроме того, разработка этого автоматизированного конвейера 3D-моделирования также оптимизирована с помощью некоторых инновационных методов для решения некоторых типичных проблем, встречающихся в исследованиях, связанных с машинным обучением, таких как нехватка обучающего набора и управление хранилищем больших данных. Короче говоря, это исследование не только разработало автоматизированный конвейер 3D-моделирования, но также продемонстрировало междисциплинарный план исследования, который интегрирует машинное обучение в конкретную область исследования, такую ​​как 3D-моделирование биологических структур.

Методы

Перед разработкой всего конвейера автоматизированного 3D-моделирования, уполномоченного На основе алгоритма машинного обучения цифровая универсальная трехмерная модель якоря была разработана с использованием метода геометрического трехмерного моделирования, представленного в предыдущем исследовании [33]. Эта цифровая универсальная 3D-модель используется в качестве 3D-шаблона для создания другой целевой 3D-формы на более позднем этапе. Разработка конвейера трехмерного моделирования представлена ​​в следующих подразделах.

Подготовка данных для машинного обучения

В этом исследовании обучающие данные для машинного обучения представлены 2D иллюстрации моногенного якоря. Хорошо обученная модель машинного обучения требует массивных обучающих данных, которые могут варьироваться от сотен до миллионов, чтобы свести к минимуму возможность изучения вводящих в заблуждение или нерелевантных шаблонов, обнаруженных в обучающих данных [34]. В этом исследовании двумерные иллюстрации моногенного якоря, которые можно было извлечь из существующих публикаций, были ограничены. Также было утомительно вручную извлекать 2D-иллюстрации из публикаций для подготовки обучающего набора.

Таким образом, был разработан полуавтоматический подход к увеличению данных для создания последовательности синтетических 2D-иллюстраций моногенных якорей.. Ядром этого полуавтоматического подхода к увеличению данных является алгоритм интерполяции 2D-формы для генерации последовательности интерполированных форм якоря в качестве синтетических иллюстраций процесса преобразования исходной формы в заданную пользователем целевую форму. Псевдокод был разработан на основе алгоритма интерполяции 2D формы (см. Дополнительный файл 1) и использовался в качестве схемы для разработки программы увеличения данных (рис. 15). Программа увеличения данных была разработана для создания 24 интерполированных 2D-форм из одной исходной 2D-формы каждый раз.

Программа увеличения данных для создания 2D-иллюстраций моногенных якорей

Полноразмерное изображение

Процедура использования программы дополнения данных для синтеза 2D-иллюстрации следующая :

  1. 1.

    В качестве исходной формы использовалась двухмерная иллюстрация моногенного якоря, извлеченного из выбранной публикации. Он был загружен в программу увеличения данных

  2. 2.

    2D точечные примитивы исходной формы были выбраны индивидуально и перемещены в новое положение в 2D декартовом пространстве координат. для получения морфологического варианта формы, которая будет использоваться в качестве целевой формы (рис. 16a).

  3. 3.

    Кнопка «Создать 2D-образцы» была активирована, чтобы преобразовать исходную форму в целевую форму, полученную на шаге 2. В то время как процесс морфинга продолжался, всего 24 интерполированных 2D-формы были захвачены и отображены в ячейках сетки (рис. 16b). Другой увеличенный обрезанный вид 24 интерполированных 2D-форм, созданных из исходной формы, представлен на рис. 17.

  4. 4.

    Затем нажмите кнопку «Преобразовать в SVG». ”Был активирован для экспорта захваченных интерполированных 2D-форм в изображения SVG, которые затем будут преобразованы в формат JPEG (рис. 16c).

  5. 5.

    Наконец, Кнопка «Запись в базу данных» была активирована для сохранения значений пикселей вместе с соответствующими 2D-координатами составляющих примитивов точек каждой синтетической 2D-иллюстрации в базе данных (рис. 16d).

Рабочий процесс для создания синтетических 2D-иллюстраций с использованием программы увеличения данных. a Деформируйте исходную форму в целевую форму, ( b ) Преобразуйте исходную форму в целевую форму, ( c ) Экспорт 24 интерполированных форм в изображения SVG, которые затем будут подвергаться пакетной обработке с использованием Adobe Photoshop для преобразования их в формат JPEG, ( d ) Сохранение значений пикселей и связанных 2D-координат каждой синтетической 2D-иллюстрации в базе данных

Полноразмерное изображение

Двадцать четыре интерполированных 2D-формы

Полноразмерное изображение

Описанная выше процедура увеличения данных была повторена для создания трех наборов синтетических 2D-иллюстраций, каждая из которых состоит из 1000, 2500 и 5000 наборов данных соответственно. Каждый набор синтетических 2D иллюстрации были использованы для обучения модели машинного обучения путем следования контролируемому процессу обучения, как описано ниже, и оценивается точность обученной модели. Эта оценка предназначена для определения количества наборов данных, которые являются достаточно универсальными, чтобы обнаруживать ориентиры на всех типах целевые моногенные якоря в этом исследовании.

Хранение данных

База данных NoSQL была разработана с использованием MongoDB (https://www.mongodb.com/) для хранения обучения в этом исследовании. Разработка базы данных была начата с определения модели данных (рис. 18), которая состоит из набора документов, которые представляют собой «документ с двухмерной иллюстрацией», «документ пикселей». мент »и« Достопримечательности ». В контексте MongoDB коллекция — это контейнер для структурно или концептуально схожих документов, тогда как документ — это базовая единица данных в MongoDB, которая инкапсулирует группу связанных свойств вместе со связанными с ними значениями в объекте JSON. В модели данных «документ с двухмерной иллюстрацией» был определен как родительский узел для хранения всей соответствующей информации о двухмерной иллюстрации в объекте JSON, который состоит из четырех свойств: «имя», «идентификатор формы», «пиксели» и « ориентиры ». Свойство «name» было определено для хранения идентификатора иллюстрации с максимальной длиной 100 символов, тогда как «shapeID» — это свойство числового типа для хранения типа 2D-формы. Свойства «пиксели» и «ориентиры» были определены для хранения «документа пикселей» и «документа ориентиров» соответственно. «Пиксельный документ» и «Ориентир» можно рассматривать как два дочерних узла, связанных с родительским узлом, «2D-иллюстрационным документом». В дочернем узле «Документ пикселей» есть только одно свойство, определенное для хранения целочисленного массива значений пикселей, тогда как в «Документе ориентира» определены два свойства для хранения массива 2D-координат, «координата_X» и «координата_Y» из каждый из составляющих точечных примитивов, образующих синтетическую иллюстрацию.

Модель данных noSQL для обучающего набора иллюстраций

Изображение в полном размере

Модель машинного обучения

Искусственная нейронная сеть (ИНС) была обучена для включения обнаружения ориентира на входе иллюстрация. ИНС была основана на многослойной архитектуре персептрона, адаптированной из исследования по обнаружению ориентиров [35]. Входной слой состоит из 9216 узлов, которые содержат массив значений 96 × 96 пикселей для каждого обучающего набора 2D-иллюстраций.. Количество скрытых слоев и количество узлов в каждом из скрытых слоев были установлены методом проб и ошибок, начатым с одного скрытого слоя и кратного 128 узлов (128, 256 и 512) в каждом скрытом слое. В конце концов, была принята сетевая архитектура, состоящая из двух скрытых слоев с 512 узлами и 128 узлами соответственно, поскольку она в целом показала достойную производительность обнаружения ориентиров. В скрытых слоях ReLU использовался в качестве функции активации для вычисления взвешенной суммы входных узлов, потому что это один из популярных вариантов решения задачи регрессии, целью которой является прогнозирование любого положительного непрерывного значения [34, 36]. В выходном слое находятся 68 положительных непрерывных значений, которые обозначают предсказанные 2D-координаты (x, y) для 34 точечных примитивов. Эти предсказанные точечные примитивы считаются ориентирами в контексте данного исследования. Обученная нейронная сеть предназначена для обнаружения этих ориентиров на входной 2D-иллюстрации.

ИНС была обучена с помощью контролируемого процесса обучения путем сопоставления значений пикселей всех синтетических иллюстраций, полученных из базы данных MongoDB. к каждой из связанных 2D-координат составляющих точечных примитивов (рис. 19). Перед обучением ИНС все образцы значений пикселей были разделены на обучающий набор (80% выборок) и тестовый набор (20% выборок). Набор тестов содержит независимые выборки, которые используются для оценки точности обученной модели на более позднем этапе. Кроме того, 30% выборок были выделены отдельно от обучающего набора, который будет использоваться для проверки модели в процессе обучения.

Контролируемое обучение отображению значений пикселей иллюстраций (из четырех выбранных образцы) к каждой из связанных двухмерных координат составляющих примитивов точки

Полноразмерное изображение

ИНС была обучена для 200 эпох в мини-пакетах по 20 выборок с использованием среднеквадратической ошибки (MSE) в качестве функции потерь и стохастического градиентного спуска (SGD) в качестве оптимизатора для многократного обновления весовых параметров предварительных модели машинного обучения. Для настройки оптимизатора использовались следующие гиперпараметры, адаптированные из [35]:

  1. a.

    Скорость обучения = 0,01

  2. b.

    Импульс = 0,9

  3. c.

    Скорость распада = 0

  4. d.

    Импульс Нестерова = Истина

Формирование конвейера автоматизированного 3D-моделирования

На этом этапе 3D Разработана система моделирования, состоящая из трех модулей (рис. 20). Первый модуль должен считывать и обрабатывать входную иллюстрацию, переводя ее в массив нормализованных значений пикселей (рис. 21a). Второй модуль предназначен для обнаружения 34 контрольных точек на входной иллюстрации через обученную модель (рис. 21b).. Третий модуль предназначен для деформации цифровой универсальной 3D-модели путем выравнивания примитивов составляющих точек общей модели с соответствующей контрольной точкой, обозначенной предсказанными значениями координат, полученными из второго модуля (рис. 21c). Эти три модуля вместе с обученной моделью машинного обучения работают синергетически, формируя автоматизированный конвейер трехмерного моделирования, который может автоматически деформировать цифровую универсальную трехмерную модель в целевую трехмерную форму, используя двухмерную иллюстрацию в качестве входных данных.

Проектирование системы 3D-моделирования

Изображение в полном размере

Автоматизированный конвейер 3D-моделирования. a Обработка ввода, ( b ) Локализация ориентира, ( c ) Деформация общей 3D-модели

Полноразмерное изображение

Псевдокод, отражающий операционную логику конвейера автоматизированного 3D-моделирования был разработан (см. дополнительный файл 2), и этот псевдокод был использован в качестве схемы для разработки системы трехмерного моделирования, которая представляет собой полнофункциональное веб-приложение (рис. 22). Процедуры использования разработанной системы трехмерного моделирования для реализации конвейера автоматизированного трехмерного моделирования следующие:

  1. 1.

    Была выполнена двухмерная иллюстрация выбранного моногенного якоря. загружены в системный интерфейс. Это было сделано путем активации кнопки «Выбрать файл» с последующим выбором 2D-иллюстрации в качестве целевой формы. (Рис. 23a)

  2. 2.

    Затем была активирована кнопка «Деформировать модель» (рис. 23b), чтобы загрузить исходную 2D-иллюстрацию на оборотную сторону. конечные компоненты этой системы, чтобы позволить ей пройти весь конвейер трехмерного моделирования (обработка входных данных, обнаружение ориентиров и деформация общей модели).

Система автоматического 3D-моделирования

Полноразмерное изображение

Реализация автоматизированного конвейера 3D моделирования. a Загрузить 2D-иллюстрацию, ( b ) Создать 3D-модель с помощью конвейера автоматизированного 3D-моделирования

Полноразмерное изображение

Процедура использования системы трехмерного моделирования, как описано выше, была повторена для создания восьми выбранных моногенных якорей с помощью автоматизированного Конвейер 3D-моделирования и результаты представлены в следующем разделе..

Оценка 3D-модели

Оценка полученной 3D-модели была основана на количественном анализе, который был выполнен путем построения ящичных диаграмм для сравнения распределения контрольных точек и прогнозируемые ориентиры для каждого из целевых моногенных якорей. Форма целевой 3D-модели, созданной автоматизированным конвейером 3D-моделирования, зависит от контрольных точек, прогнозируемых моделью машинного обучения, которая расширяет возможности системы 3D-моделирования (рис. 24). В идеале все прогнозируемые ориентиры должны быть расположены по краю 2D-иллюстрации, чтобы это могло привести к оптимальной 3D-форме, которая может соответствовать целевой форме, представленной на входной 2D-иллюстрации.

Зависимость целевой 3D-формы от прогнозируемого положения точки ориентира

Полноразмерное изображение

Исходя из этого понимания, следующие шаги выполняются:

  1. 1.

    Последовательность контрольных точек была вручную аннотирована на идеальном позиции по краю входной 2D-иллюстрации (рис. 25a).

  2. 2.

    Координаты контрольных точек были извлечены из окна свойств в Adobe Photoshop и были сохранены в файле CSV (рис. 25b).

  3. 3.

    Такая же входная 2D-иллюстрация была загружена в систему 3D-моделирования и координаты точки ориентира предсказано машиной Модели обучения были собраны и сохранены в файле CSV (рис. 25c).

  4. 4.

    Координата-X и Координата-Y контрольных точек и прогнозируемых контрольных точек были загружены для создания двух коробчатых диаграмм (рис. 25г). Шаблон несоответствия Координаты-X и Координаты-Y между контрольными точками и прогнозируемыми ориентирами был исследован и проанализирован.

  5. 5.

    Этапы I-IV были повторены для всех 8 входных 2D-иллюстраций, использованных для создания целевых 3D-привязок.

Процедуры создания коробчатых диаграмм для изучения структуры несоответствия контрольных точек и ориентиры. a Ручное аннотирование контрольных точек на входной 2D-иллюстрации. b Извлечь координаты контрольных точек из окна свойств в Adobe Photoshop. c Получите прогнозируемую точку ориентира на основе модели машинного обучения. d Создайте две блочные диаграммы с помощью Microsoft Excel

Полноразмерное изображение

Доступность данных и материалов

Наборы данных, использованные и/или проанализированные в ходе текущего исследования, доступны у соответствующего автора по разумному запросу..

Сокращения

ИНС:

Искусственная нейронная сеть

CNN:

Сверточная нейронная сеть

RNN:

Рекуррентная нейронная сеть

SEM:

Сканирование Электронный микроскоп

Ссылки

Благодарности

Авторы благодарны покойному профессору Сьюзен Лим Ли Хонг, у которого возникла идея проекта.

Об этом дополнении

Эта статья была опубликована в рамках BMC Биоинформатика, Том 20, Приложение 19, 2019: 18-я Международная конференция по биоинформатике. Полное содержание дополнения доступно по адресу https://bmcbioinformatics.biomedcentral.com/articles/supplements/volume-20-supplement-19

Финансирование

Для этого исследования не было получено финансирования.

Декларации этики

Утверждение этических норм и согласие на участие

Не применимо.

Согласие на публикацию

Неприменимо.

Конкурирующие интересы

Авторы заявляют, что у них нет конкурирующих интересов.

Дополнительная информация

Дополнительный файл 1.

Псевдокод для алгоритма интерполяции 2D-формы.

Дополнительный файл 2

Псевдокод для разработки системы автоматического 3D моделирования.

Права и разрешения

Открытый доступ Эта статья распространяется в соответствии с условиями Creative Международная лицензия Commons Attribution 4.0 (http://creativecommons.org/licenses/by/4.0/), которая разрешает неограниченное использование, распространение и воспроизведение на любом носителе при условии, что вы укажете соответствующую ссылку на первоначального автора (авторов) и источник , укажите ссылку на лицензию Creative Commons и укажите, были ли внесены изменения. Отказ Creative Commons Public Domain Dedication (http://creativecommons.org/publicdomain/zero/1.0/) распространяется на данные, представленные в этой статье, если не указано иное.

Отпечатки и разрешения

Об этой статье

Цитируйте эту статью

Teo, BG, Dhillon, SK Автоматизированный конвейер трехмерного моделирования для построения трехмерных моделей MONOGENEAN HARDPART с использованием методов машинного обучения. BMC Bioinformatics 20, 658 (2019). https://doi.org/10. 1186/s12859-019-3210-x

Загрузить цитату

  • Получено:

  • Принято:

  • Опубликовано:

  • DOI : https://doi.org/10.1186/s12859-019-3210-x

Ключевые слова

  • 3D-моделирование
  • Машинное обучение
  • Ориентир обнаружение
  • база данных NoSQL

Оцените статью
clickpad.ru
Добавить комментарий