Между академией и корпорацией: кто и как разрабатывает искусственный интеллект

Артем Бабенко, руководитель Yandex Research — об актуальных задачах в ML

На данный момент задач несколько. Первая — создать возможности для для легкого и быстрого использования больших языков моделей, так называемых Large Language Models (LLM). Это интересный инструмент для множества приложений, однако он требует больших затрат на обучение, подготовку и применение.

Вторая задача — генерация изображения на основе текстового запроса. Например, приложение Шедеврум, созданное Яндексом, использует модель, которая может выполнять эту задачу благодаря исследованиям Yandex Research. Эта модель популярна, но чтобы обрабатывать многочисленные запросы, требуются большие вычислительные мощности. Это дорого, поэтому мы активно работаем над ускорением и удешевлением процесса.

Третий пример — графовые нейронные сети. На первый взгляд кажется, что их было бы логично применять в ряде задач, в которых данные представлены в виде графа. Однако большинство опубликованных научных работ посвящены графовым нейросетям на небольшом объеме данных, что далеко от практики. Наша исследовательская задача — сделать способными такие нейросети быстро работать с большими данными.

Станислав Протасов, специалист в области машинного обучения и квантовых вычислений

В машинном обучении и информатике объектом обработки является информация: доступная и ничего не весящая. Поэтому в IT время от научного открытия до внедрения технологий очень маленькое.

Артем Бабенко, руководитель Yandex Research — о разнице подходов корпораций и академии

Машинное обучение — это практическая область, поэтому логичнее заниматься ей бок о бок с практиками. Да, мы ездим на те же конференции, публикуем статьи в тех же журналах и в каком-то смысле конкурируем с людьми, которые работают в академии. Однако мы не теоретики — исследователей ML в корпорациях интересуют в первую очередь результаты, напрямую связанные с практикой.

Наши наработки гораздо быстрее оказываются в сервисах. Приведу пример из жизни. Несколько лет назад я написал статью, а на следующий день послал свой исследовательский код разработчикам. Они посмотрели: «Забираем, внедрим». Типичный ученый из университета редко ожидает, что его наработки окажутся реализованы так быстро.

У корпораций гораздо больше возможностей для вычислений. Это высокая мощность вычислительных серверов и доступ к огромному количеству данных — ресурсы, которых, как правило, нет в академии в нужных объемах.

Станислав Протасов, специалист в области машинного обучения и квантовых вычислений

Сейчас ведется множество дискуссий об этических и правовых аспектах того, что создаёт генеративная модель. Она может транслировать радикальные позиции и генерировать контент, который не соответствует чьим-то нормам. Это может произойти из-за того, что специфики данных, на которых модель обучалась, например, предвзятый контент.

Артем Бабенко, руководитель Yandex Research — о разнице подходов корпораций и академии

Потребности бизнеса, безусловно, не единственный источник научных открытий. Человеку может прийти какая-то красивая, но далекая от практики идея, в которой пока никто не видит потенциала.Такой, например, была первая статья о диффузионных моделях. Потребовалось несколько лет, чтобы эта линия исследований развивалась и зарекомендовала себя как-то, что может быть полезно в приложениях. Сегодня мы пониманием, насколько это передовая технология. 

В первую очередь действительно важен только исследовательский азарт.