Ученные из HHMI разделили мозг мухи на тысячу ультратонких 40-нанометровых частей. Каждая часть была запечатлена с помощью микроскопа. Общий размер полученных изображений составил более 40 триллионов пикселей. Затем 2D изображения были объединены в последовательную 3D модель мозга. В Google для обучения использовали Flood-Filling Networks (FFNs) и тысячи TPU.
Нейросеть выдавала нестабильные результаты, когда последовательность изображений была нарушена или когда часть изображений мозга отсутствовала. Чтобы обойти эти ограничения исследователи добавили следующие два шага:
1. Ввели оценку консистентности последовательности изображений и докально стабилизировали содержание изображений;
2. Использовали «Segmentation-Enhanced Cycle GAN (SECGAN), чтобы вычислительно восстановить отсутствующие изображения частей мозга.
SECGAN — это тип генеративных нейросетей, которые адаптированы под задачу сегментации изображений. Использование SECGAN позволило FFN более точно восстанавливать нейронные соединения там, где отсутствовало множество изображений частей мозга.
Исследователи опубликовали 3D — интерфейс для изучения результатов нейросети — Neuroglancer. Код проекта также лежит в открытом доступе на GinHub.
Прикрепляем видеодемонстрацию работы Neuroglancer.