В результате усилий по оптимизации алгоритмов управления памятью сотрудникам ООО «ТАСО» удалось построить искусственную нейронную сеть, включающую в себя 1 млрд. 97 млн. соединений между нервными клетками - синапсов (1 гигасинапс). Сеть была построена в оперативной памяти кластера из 10 вычислительных узлов (один из которых головной, всего было задействовано 72 ядра и 72 гигабайт оперативной памяти). Количество элементов нейросети, обрабатываемых одним узлом, составило 121,9 млн. (при том, что техническим заданием изначально планировалось обеспечить обработку лишь 10 млн. элементов на узел). Скорость обработки синапсов (отрисовка, отсечение, расчет и др.) одним ядром составила в среднем 1,6 млн. синапсов в секунду. Производительность программного комплекса, в частности, удалось значительно повысить после перехода от использования контейнера стандартной библиотеки шаблонов (Standard Template Library, STL), разрабатывавшейся компаниями Hewlett-Packard и Silicon Graphics, к использованию контейнера списков собственной разработки и ранее завершенному переходу к архитектуре x64. Заметим, что с помощью ранее созданной версии программного комплекса «ТАСО-Нейроконструктор» для персональных компьютеров могли быть построены нейросети с числом синапсов не более 40 тыс.
Программная среда «ТАСО-Нейроконструктор» способна управлять всеми выделенными для нее ресурсами суперкомпьютера. Расчеты показывают, что при запуске пакета «ТАСО-Нейроконструктор» на имеющемся в ТюмГУ суперкомпьютере Т-Платформы «Менделеев» (984 ядра) может быть построена искусственная нейросеть из 33 млрд. синапсов. На суперкомпьютере Hewlett-Packard РНЦ «Курчатовский институт» (10,3 тыс. ядер) на основе программного комплекса «ТАСО-Нейроконструктор» можно построить нейросеть уже со 165 млрд. искусственных синапсов, а вот на самом мощном на сегодня суперкомпьютере IBM Sequoia BlueGene/Q (1,5 млн. ядер) – нейросеть с 25 триллионами искусственных синапсов.
Несмотря на то что даже 25 триллионов синапсов – это всего около 2,5 % от числа синапсов, существующих в мозге человека (считая нейроны и глиальные клетки), искусственные нейронные сети, состоящие даже из нескольких десятков миллионов синапсов, могут решать множество задач по управлению техническими системами, анализу семантики текста, звука и изображений, прогнозированию временных рядов, автоматизированному переводу, поиску информации, решению вербально сформулированных задач и синтезу нового знания. В самом ООО «ТАСО» создаваемое программное обеспечение используется для создания нейрогенетической системы обработки семантики текста, звука и изображений (САСС, Processing Semantics System, PSS), а также cамообучающейся системы поддержки принятия решений (СППР, Decision Support System, DSS) по оперативному управлению магистральным транспортом газа на базе нейронных сетей с кортикоморфной архитектурой.
В настоящее время ООО «ТАСО» продолжает работать на функционалом программной среды «ТАСО-Нейроконструктор». Срок завершения работ – 01.12.2012 г.
Рис.1. Построенная в программной инструментальной среде «ТАСО-Нейроконструктор» полносязная искусственная нейронная сеть с 1 097 199 376 синапсами (полносвязный квадрат из 33124 нейронов - 182 на 182 нейрона). На рисунке показан нижний правый угол сети.
Рис. 2. «Нейроарт». Искусственные нейросети не только полезны, но и красивы. Слева – полносвязная сеть со 174 млн. синапсов. Справа – выделенные связи одного нейрона в этой же сети (желтые – дендриты, зеленые – аксоны).
По материалам отдела информации и связей с общественностью ТюмГУ
