Нейросеть реконструировала строение мозга мухи в 3D.

Исследователи из Google AI разработали нейросеть, которая воссоздала структуру мозга мухи в 3D. В качестве архитектуры были использованы Flood-Filling нейросети. Neuroglancer — это 3D — интерфейс для изучения структуры мозга мухи, который доступен публично. Основной задачей последних работ является исследование мозга мухи (Drosophila melanogaster). Муха считается хорошо исследованным организмом. Всего за исследования этого вида было выдано 8 Нобелевский премий в области биологии, генетики и неврологии. Важным преимуществом мух в экспериментах является их размер.

Ученные из HHMI разделили мозг мухи на тысячу ультратонких 40-нанометровых частей. Каждая часть была запечатлена с помощью микроскопа. Общий размер полученных изображений составил более 40 триллионов пикселей. Затем 2D изображения были объединены в последовательную 3D модель мозга. В Google для обучения использовали Flood-Filling Networks (FFNs) и тысячи TPU.

Нейросеть выдавала нестабильные результаты, когда последовательность изображений была нарушена или когда часть изображений мозга отсутствовала. Чтобы обойти эти ограничения исследователи добавили следующие два шага:
1. Ввели оценку консистентности последовательности изображений и докально стабилизировали содержание изображений;
2. Использовали «Segmentation-Enhanced Cycle GAN (SECGAN), чтобы вычислительно восстановить отсутствующие изображения частей мозга.

SECGAN — это тип генеративных нейросетей, которые адаптированы под задачу сегментации изображений. Использование SECGAN позволило FFN более точно восстанавливать нейронные соединения там, где отсутствовало множество изображений частей мозга.

Исследователи опубликовали 3D — интерфейс для изучения результатов нейросети — Neuroglancer. Код проекта также лежит в открытом доступе на GinHub.

Прикрепляем видеодемонстрацию работы Neuroglancer.

Комментарии