Дата-центр на человеческих нейронах в Сингапуре

В Сингапуре заработал дата-центр на живых человеческих нейронах

Этот путь: использовать в качестве вычислительного элемента не только кремниевые транзисторы, но и живые человеческие нейроны.

В Сингапуре этот подход вышел за пределы единичного лабораторного эксперимента. В National University of Singapore развернут серверный кластер из 20 биокомпьютеров CL1 компании Cortical Labs. Внутри каждого устройства выращенные человеческие нейроны располагаются непосредственно на кремниевом чипе с микроэлектродами и образуют живую адаптивную вычислительную сеть.

Проект интересен не тем, что ученые якобы создали «биологическую замену Nvidia». До этого еще очень далеко. Гораздо важнее другое: живую нейронную культуру впервые пытаются превратить в стандартизированный вычислительный ресурс, к которому программист может обращаться через программный интерфейс почти так же, как сегодня обращается к удаленному серверу или облачному ускорителю.

От лабораторной чашки к серверной стойке

Биологические вычисления существуют не первый год. Ученые давно выращивают нейронные культуры и подключают их к массивам микроэлектродов. Электроды позволяют одновременно стимулировать клетки и регистрировать возникающие в нейронной сети импульсы.

Но большая часть подобных систем до недавнего времени оставалась лабораторными установками.

Cortical Labs пытается изменить саму модель использования технологии. Ее CL1 представляет собой законченное устройство, объединяющее биологическую нейросеть, кремниевую электронику, систему жизнеобеспечения и программную платформу.

Двадцать таких устройств объединены в сингапурском исследовательском кластере.

Это важный переход. Вместо схемы «нейроны — эксперимент — научная публикация» возникает совершенно другая архитектура:

нейроны → биопроцессор → API → сервер → кластер → удаленный пользователь.

Фактически перед нами ранняя попытка создать инфраструктуру для биологических облачных вычислений.

Что находится внутри CL1

Название «компьютер на человеческом мозге» звучит эффектно, но технически неверно. Никакие фрагменты человеческого мозга внутри CL1 не находятся.

Исходные человеческие клетки можно перепрограммировать в индуцированные плюрипотентные стволовые клетки, а затем заставить их развиваться в нейроны. Полученные клетки выращиваются непосредственно над массивом микроэлектродов.

Таким образом, конструкция состоит из двух принципиально разных частей.

Первая — привычная электронная: кремниевые микросхемы, контроллеры, электроды и программное обеспечение.

Вторая — живая: культура человеческих нейронов, способная формировать связи, реагировать на электрические стимулы и изменять свое поведение в зависимости от предыдущего опыта.

Именно соединение wetware, hardware и software превращает установку в необычный гибрид биологии и электроники.

Нейронам необходимо создать собственный мир

Обычный процессор получает машинные инструкции. С живой нейронной сетью этот принцип работает иначе.

Представим простейшую виртуальную среду. Компьютер сообщает нейронам положение объекта не словами и не числами, а определенной последовательностью электрических импульсов.

Микроэлектроды стимулируют разные участки культуры.

Нейроны отвечают собственной электрической активностью.

Компьютер считывает этот ответ и преобразует его, например, в движение виртуального объекта. Результат движения снова кодируется электрическими сигналами и возвращается нейронной культуре.

Возникает замкнутый контур обратной связи:

событие → электрический стимул → реакция нейронов → действие → результат → новый стимул.

Если условия правильно организованы, биологическая сеть начинает адаптироваться.

Программист поэтому не столько пишет для нейронов традиционный алгоритм, сколько конструирует среду, внутри которой они способны менять свое поведение.

Предшественник CL1 научился играть в Pong

Cortical Labs стала широко известна после эксперимента DishBrain, результаты которого были опубликованы в 2022 году в рецензируемом журнале Neuron.

Исследователи разместили нейронные культуры на многоэлектродных массивах и подключили их к упрощенной версии Pong.

Положение виртуального мяча кодировалось электрическими сигналами. Активность нейронов, в свою очередь, использовалась для управления виртуальной ракеткой.

Исследователи наблюдали изменение поведения системы по мере взаимодействия с виртуальной средой.

Именно из этих экспериментов выросла концепция, которую Cortical Labs называет Synthetic Biological Intelligence, или SBI — синтетический биологический интеллект.

CL1 представляет собой попытку превратить подобный принцип из экспериментальной лабораторной установки в воспроизводимую вычислительную платформу.

Но сколько нейронов находится в сингапурском кластере?

В некоторых публикациях появилась эффектная цифра — 16 млн живых нейронов. Ее следует использовать осторожно.

Вероятнее всего, она получена путем умножения 20 устройств на примерно 800 тыс. клеток — цифру, фигурировавшую в материалах о ранних экспериментах Cortical Labs и DishBrain.

Однако свежие описания CL1 указывают примерно на 200 тыс. нейронов в одном устройстве.

В таком случае двадцать установок содержат порядка нескольких миллионов клеток — ориентировочно от 4 млн нейронов в зависимости от конкретной конфигурации культур.

Но даже эта цифра не является главным показателем производительности биокомпьютера. В биологической системе имеет значение не только количество клеток, но и сформировавшиеся между ними связи, состояние культуры, характер стимуляции и способность сети изменяться в процессе работы.

Биологическому серверу нужны еда и кислород

У необычной архитектуры есть совершенно непривычное для IT-индустрии следствие: компьютер необходимо кормить.

Нейронам требуется питательная среда, содержащая необходимые вещества и поддерживающая стабильный химический состав. Необходимо контролировать температуру, кислотность и газовую среду.

CL1 поэтому содержит собственную систему жизнеобеспечения.

Она поддерживает условия, при которых нейронная культура может существовать продолжительное время. Разработчик заявляет срок работы культуры до нескольких месяцев.

Для традиционного дата-центра это выглядит почти абсурдно: серверу нужны не только электричество и сеть, но также условия для существования живых клеток.

Однако именно эта биологическая составляющая обеспечивает необычные свойства системы.

Почему мозг настолько энергоэффективен

Интерес к биологическим вычислениям легко понять, если посмотреть на человеческий организм.

Мозг содержит десятки миллиардов нейронов, непрерывно обрабатывает огромный поток зрительной, звуковой, пространственной и сенсорной информации, управляет движениями, обучается и принимает решения.

При этом его энергопотребление находится примерно на уровне нескольких десятков ватт.

Современные AI-системы устроены совершенно иначе.

Чтобы обучить большую модель, необходимы тысячи специализированных ускорителей. Каждый из них может потреблять сотни ватт, а мощные AI-серверы — киловатты. К этому необходимо добавить сетевое оборудование, системы хранения и охлаждение.

Поэтому крупнейшие AI-кластеры уже измеряют энергопотребление мегаваттами.

Живая клетка работает по другим физическим принципам. Нейрон одновременно хранит состояние, обрабатывает информацию и изменяет собственные связи. Ему не требуется постоянно перемещать огромные массивы чисел между процессором и отдельной памятью.

Именно поэтому биологическая архитектура потенциально чрезвычайно интересна с точки зрения энергетической эффективности.

Один CL1 потребляет десятки ватт

По опубликованным данным, энергопотребление отдельного CL1 находится примерно в диапазоне 25–30 Вт.

Полная стойка вместе с необходимой инфраструктурой может находиться примерно в киловаттном диапазоне.

Для сравнения, современные стойки с мощными AI-ускорителями способны потреблять десятки киловатт, а наиболее плотные конфигурации — существенно больше.

На первый взгляд разница колоссальная.

Но здесь находится одна из главных ловушек при освещении технологии.

Нельзя просто сказать, что биологический компьютер «в сто раз эффективнее GPU».

Чтобы сделать такое заключение, обе системы необходимо заставить выполнить одну и ту же задачу, измерить качество результата, время выполнения и затраченную энергию.

Таких убедительных сравнительных тестов CL1 против современных GPU пока нет.

Поэтому корректный вывод значительно скромнее:

Физическое энергопотребление CL1 исключительно мало по меркам современной AI-инфраструктуры, однако его вычислительная производительность пока несопоставима с производительностью GPU в традиционных задачах машинного обучения.

$2,2 тыс. в месяц против GPU

Еще одна цифра, сделавшая сингапурский проект популярным, — стоимость удаленного использования CL1.

Доступ к вычислительным ресурсам одного устройства оценивается примерно в $2,2 тыс. в месяц.

В сингапурской прессе эту сумму сравнили примерно с $4,3 тыс. в месяц за аренду высокопроизводительного AI-ускорителя в крупном облаке.

Математически все правильно: $2,2 тыс. действительно примерно вдвое меньше $4,3 тыс.

Но экономически такое сравнение пока почти ничего не доказывает.

Если один автомобиль стоит $20 тыс., а самолет $40 тыс., из этого нельзя заключить, что перевозить пассажиров первым «в два раза дешевле». Сначала необходимо определить маршрут, скорость, количество пассажиров и стоимость выполнения конкретной задачи.

С CL1 и GPU происходит то же самое.

Цена доступа — не цена вычисления.

Чтобы доказать экономическое преимущество биокомпьютера, необходимо взять одинаковую задачу и показать, сколько времени, энергии и денег требуется для получения сопоставимого результата.

Пока таких данных нет.

CL1 не является биологическим конкурентом Nvidia

Современные GPU исключительно хорошо выполняют огромные объемы точных математических операций.

Обучение больших языковых моделей основано прежде всего на массовых операциях линейной алгебры — умножении матриц и тензоров. Специализированные AI-ускорители способны выполнять такие вычисления с огромной скоростью и высокой воспроизводимостью.

Живые нейроны устроены совершенно иначе.

Они медленнее переключаются, обладают биологической вариативностью и не предназначены природой для выполнения миллиардов абсолютно одинаковых математических операций.

Поэтому сегодняшнему CL1 бессмысленно поручать обучение аналога GPT и ожидать, что он просто выполнит ту же задачу при меньшем счете за электричество.

Его потенциальное преимущество находится в другом классе вычислений.

Главное преимущество биологии — способность адаптироваться

Современная нейросеть зачастую обучается на миллионах или миллиардах примеров.

Живые организмы способны обучаться иначе.

Ребенку не требуется увидеть миллиард кошек, чтобы сформировать понятие кошки. Животному не нужно перебрать триллионы вариантов движения, чтобы научиться ориентироваться в помещении.

Биологические нейронные сети демонстрируют чрезвычайно высокую эффективность обучения на небольшом количестве опыта.

Именно это направление особенно интересует разработчиков биокомпьютеров.

Если живую сеть удастся использовать для быстрого приспособления к изменяющейся среде, она потенциально может оказаться полезной там, где традиционной модели требуется огромное количество обучающих данных.

Речь может идти о робототехнике, адаптивных системах управления, обнаружении аномалий, исследованиях мозга и некоторых задачах, где условия постоянно меняются.

Ошибка с распознаванием речи

С сингапурским проектом связана еще одна эффектная история:

«Система за два дня научилась распознавать речь и определять владельца голоса».

Она основана на реальном научном эксперименте — но не имеет прямого отношения к сингапурскому CL1.

Речь идет о проекте Brainoware, разработанном исследователями Indiana University в США. Работа была опубликована в Nature Electronics в 2023 году.

В Brainoware использовался трехмерный мозговой органоид, подключенный к электронной системе.

Исследователи преобразовывали аудиозаписи японских гласных в электрические сигналы и подавали их на органоид. В эксперименте использовались записи восьми мужчин.

После нескольких циклов обучения в течение двух дней система смогла различать говорящих с точностью порядка 78%.

Это действительно впечатляющий результат.

Но Brainoware — другая технология, другая исследовательская группа и другой эксперимент.

Более того, выражение «научился распознавать речь» здесь тоже чрезмерно широкое.

Система не расшифровывала предложения и не понимала человеческую речь подобно современным speech-to-text-моделям. Она решала значительно более узкую экспериментальную задачу — различала говорящих по ограниченному набору звуков.

Биокомпьютеры развиваются сразу в нескольких странах

Cortical Labs — далеко не единственная организация, работающая в этом направлении.

В США исследования Brainoware продемонстрировали возможность использовать мозговые органоиды в качестве своеобразного биологического reservoir computer.

Ученые Johns Hopkins University развивают более широкую концепцию organoid intelligence — вычислений и исследований интеллекта с использованием выращенных клеточных структур.

В Европе одно из наиболее заметных направлений развивает швейцарская компания FinalSpark, предоставляющая исследователям удаленный доступ к нейронным органоидам.

С технологиями биологического интеллекта экспериментируют и исследовательские организации в Германии.

Поэтому правильнее говорить уже не об одном необычном эксперименте, а о формировании нового исследовательского направления на границе нейробиологии, микроэлектроники и информатики.

Биологический компьютер обладает огромным недостатком: он умирает

Есть фундаментальная проблема, которой никогда не будет у обычного процессора.

Живые нейроны имеют ограниченный срок существования.

Культура CL1 может поддерживаться месяцами, однако в конечном счете ее придется заменить.

И здесь возникает сложнейший вопрос:

как сохранить то, чему научилась биологическая сеть?

В обычном компьютере можно заменить процессор, загрузить данные с накопителя и продолжить работу.

У живой сети часть информации физически представлена структурой и силой синаптических связей между конкретными клетками.

Если эти клетки погибнут, новая культура не обязательно сможет получить их состояние простым копированием файла.

Получается парадоксальный компьютер, в котором аппаратное обеспечение и память частично являются одним и тем же живым объектом.

Решение проблемы переноса обученного состояния может оказаться одной из ключевых задач всей отрасли.

Еще одна проблема — два биокомпьютера никогда не будут полностью одинаковыми

Кремниевые процессоры создаются ради максимальной воспроизводимости.

Два одинаковых процессора должны выполнять одну инструкцию одинаковым образом.

Биология работает иначе.

Две нейронные культуры могут отличаться:

• количеством активных клеток;
• плотностью связей;
• электрической активностью;
• реакцией на одинаковые стимулы;
• скоростью развития;
• состоянием клеток;
• изменениями, происходящими с возрастом культуры.

Для исследователя мозга такая вариативность естественна.

Для инженера дата-центра она превращается в серьезную проблему.

Поэтому биокомпьютеры в обозримом будущем вряд ли заменят традиционные серверы там, где требуется абсолютно точное и воспроизводимое вычисление.

Зато у них может появиться собственная вычислительная ниша

История компьютеров неоднократно показывала, что новая архитектура необязательно должна вытеснять старую.

GPU не уничтожили CPU. Они заняли область массово-параллельных вычислений и в результате оказались исключительно удобными для искусственного интеллекта.

Квантовые компьютеры также не предназначены для замены обычных ноутбуков.

Нечто подобное может произойти с биологическими процессорами.

В будущем вычислительная система теоретически может состоять сразу из нескольких принципиально разных компонентов:

CPU выполняет традиционную программную логику;

GPU обрабатывает большие массивы численных данных;

нейроморфный процессор эффективно реализует искусственные нейронные сети;

биологический процессор отвечает за некоторые виды адаптации и обучения.

В таком случае живые нейроны станут не заменой кремнию, а еще одним специализированным вычислительным элементом.

Самое важное в сингапурском проекте — не количество нейронов

Поэтому значение проекта NUS, DayOne и Cortical Labs легко потерять за сенсационными заголовками.

Не столь важно, находятся внутри стойки четыре, восемь или шестнадцать миллионов клеток.

Не столь важно даже то, что отдельный CL1 потребляет всего несколько десятков ватт.

Главное изменение носит инфраструктурный характер.

Биологические вычисления начинают проходить тот же путь, который когда-то прошли обычные компьютеры:

от уникальной лабораторной установки — к стандартизированному устройству;

от устройства — к программному интерфейсу;

от локального эксперимента — к удаленному доступу;

от отдельной машины — к серверной стойке;

от стойки — потенциально к дата-центру.

Именно поэтому сингапурский эксперимент заслуживает внимания даже без преувеличений.

От Wetware к Wetware-as-a-Service

Облачные технологии приучили нас к тому, что вычислительный ресурс необязательно находится рядом с пользователем.

Разработчику неважно, где физически установлен GPU. Он арендует его на несколько часов, отправляет задачу и получает результат.

Теперь похожая модель начинает применяться к живым нейронным культурам.

Программист может работать через API, посылать электрически закодированные стимулы биологической сети и получать данные о ее активности, находясь за тысячи километров от самих клеток.

Если этот подход масштабируется, может возникнуть совершенно новый класс облачных сервисов — условный Wetware-as-a-Service.

Вместо:

Rent GPU

появляется:

Rent biological neural network.

Пока это исследовательский инструмент. Но сам факт появления такой модели еще несколько лет назад выглядел бы научной фантастикой.

Что должно произойти, чтобы технология стала действительно революционной

Одних Pong, Doom и лабораторных демонстраций недостаточно.

Биокомпьютерам предстоит пройти несколько гораздо более жестких испытаний.

Прежде всего необходимы стандартизированные бенчмарки. Одну и ту же задачу должны выполнить CL1, CPU, GPU и другие архитектуры.

После этого можно будет сравнивать:

• точность результата;
• время обучения;
• количество необходимых примеров;
• энергопотребление;
• стоимость вычисления;
• стабильность;
• способность сохранять полученные навыки;
• срок службы системы.

Только тогда появится возможность объективно говорить, что биологический процессор действительно эффективнее кремниевого в определенном классе задач.

Второй большой вопрос — масштабирование.

Двести тысяч нейронов в одном устройстве — ничтожное количество по сравнению с человеческим мозгом. Но простое увеличение числа клеток само по себе проблему не решает. Необходимо научиться стабильно выращивать крупные культуры, обеспечивать их питанием, соединять между собой и контролировать их активность.

Третья проблема — воспроизводимость.

Четвертая — сохранение обученного состояния.

Пятая — этика.

Чем сложнее становятся выращиваемые нейронные системы, тем серьезнее будет вопрос о том, существует ли уровень организации, после которого к биологическому вычислителю нельзя относиться исключительно как к обычному электронному компоненту.

Сегодня культуры CL1 чрезвычайно далеки от человеческого мозга и нет оснований приписывать им сознание. Но развитие технологии делает сам вопрос уже не исключительно философским.

Не замена GPU, а совершенно другой путь

Сегодня неправильно утверждать, что в Сингапуре появился дата-центр, способный обучать современные модели искусственного интеллекта вдвое дешевле Nvidia.

Такого результата пока никто не продемонстрировал.

Но реальная история, возможно, даже интереснее.

В Сингапуре заработал первый независимо эксплуатируемый серверный кластер Cortical Labs из 20 биокомпьютеров CL1. Выращенные человеческие нейроны размещаются непосредственно на микроэлектродных кремниевых чипах и становятся частью программируемой вычислительной системы.

Удаленный доступ к одному такому устройству стоит около $2,2 тыс. в месяц. Его энергопотребление измеряется десятками ватт. При этом система пока решает экспериментальные задачи и не является альтернативой GPU при обучении больших моделей.

Это не «живой H100».

И, вероятно, пытаться сделать из него H100 вообще не имеет смысла.

Настоящий потенциал технологии находится в другом — в попытке использовать одно из наиболее необычных свойств биологического мозга: способность адаптироваться, обучаться на небольшом количестве опыта и делать это при исключительно низком энергопотреблении.

Если ученым удастся превратить эти свойства в надежный и масштабируемый вычислительный ресурс, рядом с привычными CPU и GPU действительно может появиться совершенно новый класс процессоров.

Только некоторые его компоненты придется не охлаждать, а кормить.