Содержание

1. Творчество

2. Ассистированное творчество

3. Генеративное творчество

4. Заключение

5. Авторы и благодарности

6. Ссылки

Введение

Мы живем во времена, когда авторы научной фантастики изо всех сил стараются идти в ногу со временем. В последние годы наблюдается бурный рост исследований и экспериментов в сфере творчества и искусственного интеллекта. Почти каждую неделю появляется новый бот, который рисует, пишет истории, сочиняет музыку, проектирует объекты или строит дома. Системы искусственного интеллекта выполняют творческие задачи?

В начале своего изучения мы решили побольше узнать об этом феномене и слегка с ним поэкспериментировать. В итоге получилось глубокое расследование, которое мы назвали «ТворческийИИ».

Это вводная статья: мы рассмотрим историю ТворческогоИИ и определим терминологию, которая пригодится нам для дальнейшего изучения. Изначально мы предположили, что творчество (то есть создание нового) — это основной двигатель истории человечества и что в настоящее время оно развивается достаточно интересными путями. В этой статье мы структурируем наши знания о творчестве и технологиях.

Мы также сделаем упор на развивающиеся в последнее время «паттерны создания нового» (в области разработки ПО используется термин «порождающие паттерны»): ассистированное творчество и генеративное творчество, а также докажем, что они ведут к демократизации и эскалации творчества.

Цель этого проекта — определить набор основополагающих принципов, метафор и идей, на которых основывается развитие ТворческогоИИ, новых теорий, экспериментов и практических применений. Для начала рассмотрим историю и технологии, изложим все это в форме рассказа и сформируем видение того будущего, в котором ТворческийИИ помогает нам максимизировать человеческий потенциал.

Творчество — центральный элемент человеческого существования и в повседневной жизни оно принимает множество разных форм. Тем не менее, дать определение творчеству достаточно сложно.

В этом разделе мы выборочно коснемся тех исторических, теоретических и технологических метафор творчества, которые имеют значение для ТворческогоИИ.

Представления древних людей (в том числе мыслителей Древней Греции, Китая и Индии [1]) о творчестве сильно отличались от современных. Они рассматривали творчество как форму открытия. Отказ от творчества в пользу открытий наблюдался в западной культуре вплоть до времен эпохи Возрождения.

К 18 веку творчество упоминается все чаще, в тесной связи с таким понятием как "воображение«[2]. В конце 19 века теоретики — такие как Уоллес, Вертеймер, Гельмгольц и Пуанкаре — начали описывать и публиковать свои творческие процессы: именно они положили начало научному исследованию творчества.

Научное исследование творчества в 20 веке породило множество теорий, моделей и систем: философских, социологических, исторических, технических и практических. И хотя дать объективное описание творчеству по-прежнему сложно, методичное изучение творчества и запускающих его факторов стимулирует новые творческие процессы в рекламе, архитектуре, дизайне, моде, кино и музыке.

У науки, технологий и творчества — длинная, тесно переплетенная история. При исследовании творчества важно решить, какие метафоры изучать, а какие — нет.

Мы изучим три метафоры: усиленное творчество, компьютерное творчество и творческие системы.

Усиленное творчество

Вэнивар Буш/ Memex (1949)

В своей статье «Как мы можем мыслить» Вэнивар Буш (Vannevar Bush, "As We May Think«,1949) описывает воображаемый «memex» — устройство наподобие стола, при помощи которого люди могут производить поиск по библиотеке статей посредством нажатия кнопок и переключения рычажков [4].

Хотя мемекс Буша полностью механический, он подразумевает использование гиперссылок, заметок и закладок для расширения возможностей человеческого мозга при исследовании и обработке информации: то есть по сути это интернет.

Эта статья вдохновила молодого Дугласа Энгельбарта: он ушел с работы и поступил в аспирантуру в Калифорнийский университет Беркли [5]. Там В 1962 году он написал доклад на тему «Усиление человеческого интеллекта: концептуальный фрэймворк» (Augmenting Human Intellect: A Conceptual Framework).

В этом докладе Энгельбарт — вдохновленный концепцией мемекса Буша — описал «пишущую машинку [которая] обеспечит нам новый процесс составления текстов (..) Мы сможем быстрее прорабатывать новые идеи, а значит чаще и интенсивнее задействовать творчество (..) Это, возможно, позволит нам разрабатывать и применять еще более сложные процессы, чтобы получить еще большую отдачу от своих способностей..» [6].

Дуглас Энгельбарт (1968)

У Энгельбарта было не только видение взаимодействия человека с компьютерной системой, но и философия такого взаимодействия [7]. Он верил, что компьютеры можно использовать для расширения наших процессов мышления, представления и установления ассоциаций [8].

Энгельбарт хотел не просто автоматизировать процессы, а еще многократно увеличить возможности человека при помощи системы, которая усилит и дополнит наш интеллект, нашу натуру и наше творчество. Его целью было повышение человеческого потенциала [9].

Sketchpad (1963) и первый шлем виртуальной реальности (1968) от Айвена Сазерленда

Айвен Сазерленд — студент Клода Шеннона, который в свою очередь был студентом Вэнивара Буша. Уже в 1963 году Айвен, вдохновившись мемексом, разработал свою систему.

Его диссертационный проект Sketchpad [10] считается прародителем современной системы автоматизированного проектирования (CAD — computer-aided design) программ [11]. Sketchpad продемонстрировал потенциал интерактивной компьютерной графики в области техники и творчества.

Sketchpad (1963) и первый шлем виртуальной реальности (1968) от Айвена Сазерленда

Простейший способ упростить процесс покупки или регистрации через мобильное устройство — «Мать всех демонстраций» (1968), Дуглас Энгельбарт и его команда из «Центра исследований роста» (Augmentation Research Center) в Менло парке.

Уже через несколько лет в Стэнфордском «Центре исследований роста» (ARC — Augmentation Research Center), были изобретены несколько технологий, которые сохранились и до наших дней. В их числе — видео-конференция и компьютерная мышь [12].

В это же время Джон Маккарти основал Стэнфордскую лабораторию искусственного интеллекта (SAIL — Stanford Artificial Intelligence Laboratory). Группа Маккарти стремилась не усилить, а полностью заменить человеческий интеллект электронным [13].

На базе центра Энгельбарта и лаборатории Маккарти искусственный интеллект изучали доктора наук, хакеры и студенты колледжей — включая Стива Возняка и Стива Джобса [14].

«Мать всех демонстраций» (1968), Дуглас Энгельбарт и его команда из «Центра исследований роста» в Менло парке

Xerox Parc: компьютеры и графический интерфейс (1970е)

Видео час на массовом рынке (2005) / ВР (2016)

В 1970 году [15] Xerox (компания по производству бумаги) решила финансировать научно-исследовательский центр в Пало-Альто (PARC — Palo Alto Research Center). Этот проект быстро привлек внимание ветеранов ARC и SAIL, горевших желанием работать с персональными компьютерами, пользовательскими интерфейсами и графикой. На базе Пало- Альто было сделано множество инноваций (таких как ethernet), а также появилась новая метафора творческого взаимодействия с компьютерной системой — рабочий стол.

Вскоре после открытия центра Xerox, образовалось менее формальное, но не менее важное компьютерное сообщество: «домашний компьютерный клуб» (The Homebrew Computing Cub). В «Домашнем клубе» состояла разношерстная публика: антивоенные активисты, инженеры и программисты. На базе «клуба» зародились многие компании: такие как Apple и Microsoft, а также технологии — например, персональный компьютер (PC) [16].

Компьютер Apple 1 от компьютерной компании Apple (1976)

Компьютерное творчество

Уже в 1950 году Клод Шеннон, систематизировав принципы английской грамматики, составил несколько предложений компьютерными методами [17]. Эти ранние исследования «компьютерного творчества» запустили междисциплинарный диалог на тему использования компьютерных подходов в решении творческих проблем.

IBM 7094 с консолью IBM 7151 (1962) / Творческое использование компьютерной графики Майклом Ноллом, Bell Labs (1962)

Генеративное музыкальное видео Рейвена Квока (2015)

С начала 1960-х годов исследователи Bell Labs начали активно применять компьютеры для выполнения творческих задач. В ходе серии инновационных экспериментов, они использовали компьютерные системы для создания графики, анимаций и предметов искусства [18].

Одним из самых активных исследователей в этой области был Майкл Нолл. В 1970 он высказал потребность в «новой породе творческих компьютерщиков» [19].

На призыв Нолла вскоре откликнулось множество художников и музыкантов — например, Байан Эно. Уже в 1975 году Эно использовал алгоритмические и генеративные принципы при написании музыки. Позже он описал свое творчество так: «я взял технологию, предназначенную для создания копий, и стал делать оригинальные произведения» [20].

Обложка альбома генеративной музыки Брайана Эно «Discrete Music» (1975) / «Компьютерный» балет — Майкл Нолл (1960-е)

Генеративная музыка от Sport Data (2015) / Перенос музыкального стиля (2015) / Обучающаяся барабанная установка (2015)

Следующей вехой на пути развития компьютерного творчества можно считать 1979 год, когда Бенуа Мандельброт [21] вывел множество Мандельброта. Ученый первым использовал компьютерную графику для изображения геометрических фракталов. Этим он показал, как при помощи простых правил может создаваться визуальная сложность.

Фракталы значительно повлияли на наше представление о творчестве и возможностях машин. Они заставили многих людей задуматься: «могут ли компьютеры/алгоритмы выполнять творческие задачи?», и вдохновили ученых, творческих деятелей и инженеров начать эксперименты в области творчества.

Бенуа Мандельброт / Множество Мандельброта (1979)

«Генеративные» стельки от Nervous System (2015) / 3D фрактал Mandelbulb (2009)

С появлением видео игр началось промышленное применение компьютерного творчества. В 1978 году в играх начали применяться дорогие процедурные системы — для проработки карт игры и поведения персонажей [22].

Эти системы позволили быстро реализовывать сложные игровые сюжеты и получили дальнейшее распространение с появлением таких игр, как Simcity Уилла Райта [23].

Процедурные игры: Beneath Apple Manor (1978) / Akalabeth (1980)

Процедурная игровая вселенная — No Man’s Sky (2016)

В 1980-х компьютерное творчество — в контексте постоянных исследований в этой области — стало принимать форму научной дисциплины [24]. В то же время начались активные эксперименты с компьютерным творчеством во множестве других областей: информатика, архитектура и дизайн.

Трудно дать компьютерному творчеству одно единственное определение, но наиболее распространено такое: компьютерное творчество — это «осуществление операций, которые, если бы они осуществлялись человеком — считались бы творческими» [25].

Deep Forger — Перенос стиля изображения при помощи Deep Neutral Networks (2016)

В наши дни интерес к творчеству в контексте ИИ растет: этой теме посвящаются ежегодные конференции, школьные и магистерские программы [26]. Появилась целая волна идей и технологий, в основе которых лежит компьютерное творчество (как минимум на уровне задумки): персонажи с искусственным интеллектом, «искусственные» музыканты, боты-журналисты, генеративная архитектура и искусственные нейронные сети, способные фантазировать.

И хотя подобные системы не идут ни в какое сравнение с возможностями человека, все же они активно применяются в культуре, промышленности и обучении — и результаты их деятельности общество принимает с огромным любопытством. Во многих областях такие системы из экспериментальных превращаются в производственные, формируя новые творческие процессы и результаты.

Женщины, работающие на ENIAC — первом электронном многофункциональном компьютере (1940-е)

После Второй мировой войны Соединенные Штаты пребывали в состоянии эйфории. Союзники одержали победу, как казалось, за счет науки, технологий и системного мышления. В этом контексте фонд Джошуа Мейси-младшего организовал серию конференций (1946 — 1953) на тему «принципов работы человеческого мозга» [27] — позже появилось название «Кибернетика».

Целью этих конференций было стимулировать общение между представителями различных дисциплин и восстановить единство науки [28]. Активное участие в этом движении приняли такие люди, как Дж. С. Р. Ликлайдер, Маргатер Мид, Хайнц Фон Фёрстер, Джон Фон Ньюман, Клод Шеннон и Норберт Винер.

Посетители конференции Мейси (1940-е)

В 1948 году Винер, вдохновленный конференцией, опубликовал свою диссертационную работу: «Кибернетика: контроль и коммуникации у животных и машин» [29], а Шеннон опубликовал «Математическую теорию связи» [30]. Эти работы легли в основу современной науки и дали теоретическое определение таким понятиям как «информация», «связь», «обратная связь» и «контроль».

Норберт Винер / Клод Шеннон / Штурман древнегреческого корабля

Управление кораблем: Циклическое управление / «Абсолютная машина» Клода Шеннона

Винер определял кибернетику как науку адаптивного управления, основанного на обратной связи [31]. Само название науки происходит от греческого слова штурман, рулевой. Кибернетики придерживаются мнения, что управление в сложных системах должно быть диалоговым.

То есть подразумевает не только действия, но и способность слушать и адаптироваться. При управлении кораблем нужно использовать румпель и паруса — чтобы адаптироваться к смене ветра и течения. Кибернетическая модель управления циклична: решения зависят не только от того, насколько хорошо люди выполняют задуманное, но и от реакции окружающей среды.

Впервые связь между кибернетикой и творчеством была продемонстрирована в 1968 году на выставке «Кибернетическая прозорливость» (Cybernetic Serendipity) в Институте современного искусства в Лондоне [32]. Деятели искусства (такие как Гордон Паск и Нам Джун Пайк) использовали компьютерные системы для создания музыки, стихов, фильмов, картин и компьютерной графики.

Свой вклад в новый дух творчества внес Бакминстер Фуллер, который ввел понятие «всестороннего дизайнера» — «синтеза художника, изобретателя, механика, экономиста и стратега» [34].

Выставка «Кибернетическая прозорливость» (Cybernetic Serendipity) (1968)

Кибернетика / Теория управления в действии: Робот, Boston Dynamics (2016), Робот-художник (2013)

В дальнейшем идеи кибернетики оказали глубокое влияние на такие сферы как бизнес, политика, искусство, дизайн и архитектура [35]. Как заметил Пак: «архитекторы — это самые первые и основные системные дизайнеры», но им не хватает «теоретической фундаментальности и единства...

Кибернетика — наука, способная заполнить этот пробел» [36]. Кибернетика систематизировала и интегрировала контекст и отношения, тем самым выводя творчество и дизайн за пределы прежнего объектно-ориентированного подхода.

И хотя кибернетика вышла из моды в 1970-х, ее наследие все еще живет в таких областях как теория управления, изучение сложных систем, проектирование взаимодействий и дизайн-мышление [37]. Сегодня во многих областях применяются комплексные подходы, направленные на объединение технологических, человеческих и социальных нужд.

Творческие системы, обязанные своим существованием кибернетике, находят «удивительное» применение во множестве областей: программное обеспечение (система гибкой разработки agile, ПО с открытым кодом), менеджмент (Google 20% времени), различные сферы труда (Uber/Lyft) и распределение ресурсов (алгоритмическая торговля/amazon).

Примеры / СМИ

Перед вами подборка проектов из области изучения усиленного творчества, компьютерного творчества и творческих систем. Наша цель — обеспечить визуальный контекст и показать развитие этих областей во времени.

1. Устройство взаимодействия с компьютером и ввода информации (1968)

2. Мышь — массовое устройство ввода данных (1982)

3. Сенсорный экран — устройство ввода (1982)

4. Управление голосом на массовом рынке (2011)

5. Очки виртуальной реальности на массовом рынке (2016)

1. Sketchpad — система автоматизированного проектирования (1963)

2. Autocad — инструмент автоматизированного проектирование на массовом рынке (1982)

3. Maya — 3D инструмент автоматизированного проектирования на массовом рынке (1998)

4. Генеративный велосипед, созданный при помощи 3D принтера (2015)

5. Генеративное платье, созданное при помощи 3D принтера (2016)

1. Тетрис — Процедурная игра (1984)

2. Simcity — симуляция сложных систем (1989)

3. Spore — Процедурная генерация персонажей игры (2008)

4. Minecraft — Процедурный 3D мир (2011)

5. No Man’s Sky — Симуляция вселенной (2016)

1. Гиперкубы — Компьютерная графика/Анимация (1968)

2. Фракталы — Сложность из простых правил (1980)

3. Mandelbulb — 3D Фракталы (2009)

4. DeepDream — Генеративные картины (2015)

5. NeuralPatch — Генеративный перенос стиля (2016)

Перерыв

В предыдущем разделе мы рассмотрели долгую, запутанную историю науки, технологий и творчества. В ходе этого мы изучили три метафоры творчества: усиленное творчество, компьютерное творчество и творческие системы.

В следующих разделах мы узнаем, какое развитие получили эти метафоры в дальнейшем и как они переросли в две современные категории: ассистированное творчество и генеративное творчество.

Со времен каменного века люди использовали различные инструменты для расширения своих возможностей и адаптации к изменяющимся потребностям. В былые времена лишь немногим удавалось в совершенстве овладеть каким-то творческим навыком, но с появлением вспомогательных (ассистирующих) систем творчество стало более куда доступным.

В этом разделе мы рассмотрим три поколения вспомогательных систем для творчества и проанализируем, как они способствовали демократизации и эскалации творчества.

Под влиянием идей Энгельбарта, многие ученые начали исследовать, как компьютерные системы могут «ассистировать» человеку при выполнении творческих задач. Исследователь Бен Шнайдерман описал такие системы как «технологии, которые помогают большему числу людей выполнять больше творческих задач на протяжении более длительного времени» [1].

В контексте этих исследований такие компании как Apple и Lotus разработали первые цифровые продукты для решения творческих задач. Кроме того, появились новые компании: например, Autodesk (1979) [2] и Adobe (1982) [3], которые полностью специализировались на разработке инструментов и систем для творчества.

В 1980-х в отрасли появились разработки первых систем ассистированного творчества: Photoshop, Autocad, Pro-Tools, Word и многие другие. Первое поколение таких систем просто имитировало возможности аналоговых инструментов при помощи цифровых технологий [4].

Для осуществления творчества требовалось полное внимание человека: обратная связь была медленной, а возможности «ассистента» — крайне ограниченными. И все же такие инструменты повышали творческие возможности экспертов и новичков, что повлекло за собой волну новых творческих процессов и результатов.

Adobe Photoshop 1.0 (1988) / Autodesk Autocad 1.0 (1982)

Автофокус фотоаппарата, изобретенный компанией Leica в 1976 году [5], можно считать ранним примером систем ассистированного творчества второго поколения. В этих системах управление творческим процессом происходит посредством постоянной обратной связи. Машина может существенно повлиять на результат, поэтому управление процессом осуществляется совместно. Решения принимаются человеком и системой сообща.

Такие системы второго поколения повсеместно распространены в современном мире. Они широко применяются во всех странах и отраслях.

Автокоррекция, которую в 1991 году изобрел Дин Хакамович из Microsoft, повлияла на письменную речь миллионов людей, а автоматическая подстройка звука (Autotune) изменила процессы создания музыки.

Фотокамера Leica SLR с функцией автофокуса (1976) / Autocorrect (1991) / Autotune (1998)

Сложно оценить эффект, который оказали эти системы на разные сферы творчества, ясно лишь одно: системы ассистированного творчества снижают входной барьер владения творческим инструментом. Это позволяет участникам творческого процесса (как профессионалам, так и любителям) сконцентрироваться на вопросах более высокого уровня, выполнять сложные творческие задачи и быстрее осуществлять разного рода эксперименты.

И хотя использование таких систем связано с определенными рисками и сложностями, в большинстве случаев они действительно повышают наши творческие способности.

Ассистированное творчество 3.0

Системы второго поколения зачастую накладывают ограничения на творческий процесс: управление грубое, а взаимодействия недостаточно проработаны. Из-за этих ограничений, у популярных инструментов (например, у функции автозаполнения) противоречивая репутация.

Сейчас из различных исследовательских областей приходят новые технологии. Есть надежда, что они помогут обойти предыдущие ограничения. Мы называем эти технологии системами ассистированного творчества третьего поколения (AC 3.0 — assisted creation 3.0). Речь идет о проектировании систем, которые регулируют творческий процесс посредством проработанных разговорных взаимодействий, расширяют творческие способности и ускоряют освоение навыков (то есть переход от новичка к эксперту).

Принципы ассистированного творчества третьего поколения находят практические применение при решении все более широкого спектра творческих задач.

Приведем несколько примеров:

«Ассистированное рисование» (assisted drawing) помогает иллюстраторам рисовать, корректируя штрихи.

«Ассистированное письмо» (assisted writing) помогает авторам писать, улучшая стиль текста.

«Ассистированное видео» (assisted video) помогает режиссерам редактировать ролики, облегчая процесс вырезания лишнего.

«Ассистированная музыка» (assisted music) помогает композиторам создавать музыку, предлагая новые идеи.

Ассистированное улучшение фотографий (2016) / Ассистированная карта пользовательских жестов (2014)

Ассистированное рисование от руки (2011)

Сложно показать всю глубину проводимых исследований на нескольких примерах: идей и сфер изучения очень много. Чтобы отследить развитие ассистированного творчества, мы проанализировали свежие научные публикации множества организаций при помощи машинного обучения, теории графов и визуализации.

Судя по количественным показателям (числу публикаций и экспериментов), исследование и применение ассистированного творчества лидирует среди прочих творческих дисциплин. Что интересно, большой вклад в изучение проектирования систем ассистивного творчества вносят исследования на тему машинного обучения (ML — machine learning) и человеко-компьютерного взаимодействия (HCI — human-computer interaction). В совокупности эти две дисциплины обеспечивают некий концептуальный фреймворк искусственного интеллекта в контексте взаимодействия с человеком.

Уже в 2011 году Ребекка Энн Фибринк, исследователь машинного обучения и человеко-компьютерного взаимодействия в университете Голдсмитс, задала уместный вопрос: «Можем ли мы найти применение машинному обучению в таких нетрадиционных областях, как творчество, исследования?» [9]. В последующие годы инициативу Фибринк поддержали представители самых различных сообществ: сегодня изучается и разрабатывается множество новых идей, теорий, экспериментов, подходов и продуктов.

Непрекращающиеся исследования человеко- компьютерного взаимодействия и машинного обучения открывают перед нами новые возможности и метафоры проектирования систем ассистированного творчества.

Графический анализ ислледований в сфере человеко-компьютерного взаимодействия и машинного обучения. (AE, 2016)

Демократизация и эскалация

В ходе исследования ассистированного творчества, мы заметили пару современных тенденций, которые могут оказать влияние на творчество:

1. 1) Системы ассистированного творчества повышают доступность большинства творческих навыков.

2. 2) Платформы совместной работы (collaborative platforms) — такие как Online Video и Open Source — облегчают процесс приобретения новых творческих навыков.

В совокупности эти тенденции ускоряют процесс превращения человека из новичка в эксперта. Это вызывает интересный феномен, который мы назвали «демократизацией творчества». Сейчас мы рассмотрим эти тенденции подробнее.

Ассистированное улучшение почерка (2013) / Ассистированный подбор модного стиля (2015) / Ассистированная анимация при помощи веб-камеры (2015)

Тенденция 1: творчество становится доступным.

Для композитора или фотографа 1980-х годов домашняя студия была лишь далекой мечтой. Сегодня в одном клике от нас находятся огромные возможности во множестве творческих направлений. Это дает шанс новичкам и экспертам проявлять больше творчества на протяжении более долгого времени. Можно сказать, что снижается цена творчества.

В творческом мире самой главной сложностью всегда был «высокий входной барьер» [10] для человека, не обладающего особыми навыками или талантами. Сегодня системы ассистированного творчества значительно снижают этот «высокий барьер», делая творческие процессы более доступными и облегчая освоение новых навыков.

Ассистированное чтение (2015) / Ассистированный дизайн прически по фотографии (2015) / Ассистированное составление резюме (2015)

Тенденция 2: совместная работа становится все более доступной.

Уже в 1960-х Энгельбарт размышлял не только о расширении возможностей отдельных индивидуумов, но и об усилении коллективного группового разума и об оптимизации совместной работы и решения проблем.

По мере того, как развиваются социальные сетей и программы для совместной работы, мы начинаем понимать, как можно задействовать технологии для повышения групповой самоорганизации, эффективности и творческих способностей.

Суть в том, что творчество — это коллективный процесс, который выходит за рамки технологических средств, хотя и может быть значительно усилен посредством технологий. Чтобы добиться развития, возможности человека и возможности машины нужно синхронизировать.

Цитата Дугласа Энгельбарта

Текстовый редактор «с толпой людей внутри» / Творческое распространение контента / Совместный кодинг / Прямая трансляция творческих процессов

Эскалация творчества

Если попробовать спрогнозировать развитие этих тенденций, получится сценарий, который мы называем «эскалацией творчества»: мир, в котором творчество будет широко доступно, и любой сможет писать как Шекспир, сочинять музыку как Бах, писать картины как Ван Гог, быть искусным дизайнеров и искать новые формы творческого самовыражения.

Для человека, не обладающего никакими особенными творческими способностями, системы ассистированного творчества открывают множество возможностей. Если у людей появится возможность по требованию освоить творческий навык, нам придется переосмыслить такие понятия как «эксперт» и «дизайн». В итоге такой эскалации, творчество станет одним из средств эмпатического общения.

Ассистированная игра на барабанах: рука-робот (2016) / Ассистированный стол-трансформер (2015)

И хотя подобные сценарии пока кажутся фантастическими, сама идея будущей демократизации и эскалации творчества определяет наши сегодняшние дизайнерские решения.

Уже сейчас перед нами стоит сложная задача: создавать системы, способные адаптироваться под разные культурные традиции, поддерживать различные типы творчества, отвечать множеству человеческих потребностей и обеспечивать прозрачную обратную связь.

Автоматизация или усиление

Первый вопрос, который стоит задать, обсуждая демократизацию и эскалацию творчества: «Создаем ли мы инструменты, которые усилят нас, или автопилоты, которые нас заменят?» Такие вопросы преследуют человечество уже 5000 лет, с с тех пор, с как люди начали использовать крупный рогатый скот в сельском хозяйстве [11]. История доказывает нам, что у любой технологии есть своя динамика и импульс.

Как говорил Маршал Маклюэн: «Вначале мы формируем технологии, а потом технологии формируют нас» [12]. Тем не менее, мы не рассматривает технологии как основную движущую силу природы: решающую роль играют человеческие решения и действия, а их определяет культура, политика и власть.

Коллаж «Семейный портрет в пейзаже» (1641) / Le Net — Первая свёрточная нейронная сеть для автоматического считывания банкнот — (1989)

Второй вопрос, который хочется задать, это: «что понимать под автоматизацией?». На наше нынешнее представление об автоматизации сильно влияют идеи промышленной революции: массовое производство товаров машинами.

Конечно проблема массовой безработицы из-за замены человеческого труда машинным — это серьезный вопрос, но все-же автоматизация имеет и преимущества.

Некоторые виды деятельности стоит отдать машинам — особенно если они предполагают нечеловеческие условия труда или пустую растрату человеческого потенциала.

Если рассматривать автоматизацию с точки зрения потенциала и возможностей человека: его сильных и слабых сторон, потребностей и желаний, становится ясно, что автоматизация — это скорее возможность, чем угроза.

Усиление (augmentation) и автоматизация (automation) — это разные вещи: автоматизация обещает «освободить нас от нечеловеческих задач», а цель усиления — в расширении наших возможностей. То есть предполагается не заменить человека, а расширить коллективный потенциал общества.

Чтобы лучше понять это явление, обратимся к концепции, которую разработало NASA для изучения вопросов автономии: метафора «H» [13]. Эта концепция сравнивает взаимодействие человека и системы с обращением с лошадьми.

Изображение из документа о метафоре «H» от NASA (2003)

Представьте себе всадника на лошади: если движения всадника точные и осознанные — лошадь в точности выполняет команды. Но стоит дать более расплывчатое указание, и лошадь выйдет за пределы привычных паттернов поведения и возьмет контроль на себя.

Сама возможность «ослабить или натянуть поводья» обеспечивает плавную обратную связь и постоянный контроль. Это работает даже лучше чем постоянные команды всадника и реакции лошади.

Исследователь человеко-компьютерного взаимодействия и машинного обучения Родерик Мюррей-Смит предлагает использовать метафору «H» в контексте развития интерфейсов.

Он предполагает:

«Устройства будущего смогут ощущать гораздо больше окружающих сигналов, что позволит взаимодействовать с ними множеством способов. Благодаря этому мы сможем время от времени снижать контроль и взаимодействовать более расслабленно» [14].

Первая запись скаковой лошади, сделанная Эдвардом Мейбриджем (1878)

Когда мы сможем взаимодействовать с системами более расслабленно и иногда снижать уровень контроля, человеко-компьютерное взаимодействие, а также совместная работа людей примут совершенно иные формы.

Если интуиция человека и интеллект машины начнут работать в паре — получится совершенно новый творческий процесс, который не смогут повторить ни человек, ни машина по-отдельности. Благодаря этому творчество станет доступнее, а коллективный потенциал человечества вырастет в разы.

И хотя можно вообразить множество пессимистичных сценариев развития этой сферы, мы намеренно концентрируемся на возможностях, а не на страхах. Сложные этические вопросы и опасения должны стать почвой для исследований и призывом к принятию коллективных решений. Тогда мрачных сценариев будущего можно будет избежать.

Примеры / СМИ

Перед вами обзор исследований, экспериментов и продуктов ассистированного творчества в контексте различных творческих задач и дисциплин.

Ассистированная фотография

1. Ассистированное улучшение фотографий (2016)

2. Ассистированное предсказание степени запоминаемости фотографии (2015)

3. Ассистированная категоризация фотографий и назначение тегов (2015)

4. Автоматическое раскрашивание фотографий (2016)

5. Обнаружение улыбки и эмоций в режиме реального времени (2015)

Ассистированное рисование

1. Ассистированное улучшение почерка (2013)

2. Ассистированное рисование от руки с подсказками в режиме реального времени (2013)

3. Автодорисовка анимаций, нарисованных от руки (2015)

4. Анимация рисованных персонажей путем распознавания лиц (2015)

5. Ручка-робот, корректирующая рисование от руки (2013)

Ассистированное чтение/письмо

1. Ассистированное создание и оптимизация резюме (2015)

2. Авто-ответ на электронные письма (2015)

3. Составление содержания текста (автоматическое или под руководством пользователя) (2015)

4. Перенос стиля текста (преобразование английского текста в «шекспировский») (2015)

5. Текстовый редактор «с толпой людей внутри» (2010)

Ассистированная музыка

1. Перенос музыкального стиля и гармонии, из жанра в жанр (2014)

2. Написание музыки при помощи дополненного рисования (2009)

3. Ассистированное распознавание музыкальных жанров (2013)

4. Барабанная установка 909, которая перенимает паттерны поведения (2015)

5. Ассистированный робот-гитарист (2013)

Ассистированный дизайн

1. Изучение визуальных стилей одежды (2015)

2. Ассистированный дизайн 3d моделей путем соединения форм (2015)

3. Изучение перцепционной схожести стилей форм (2015)

4. Анализ выкроек одежды для создания 3D вещей (2013)

5. Стол, меняющий форму (2015)

Ассистированные эксперименты

1. Ассистированное устройство считывания текста (2015)

2. Визуализация боли по описанию пациента (2013)

3. Моделирование прически через базу данных (2015)

4. Ассистированное решение этических вопросов, при помощи вентилятора (2015)

5. Ввод текста с плавным переходом от новичка к профессионалу (2014)

Ассистированное сообщество

1. Видеотрансляция творческих процессов в режиме реального времени (2015)

2. Огромный проект открытых курсов (2012)

3. Масштабный проект совместной работы над кодом (2008)

4. Площадка для вопросов и ответов по творческим процессам (2010)

5. Бесплатная площадка для распространения творческого контента (2007)

Ассистированная культура

1. Ассистированная игра на барабанах при помощи руки-робота (2016)

2. Ассистированная продажа напитков на основании внешности покупателя (2016)

3. Компьютерный балет (2016)

4. Ассистированное пение караоке с функцией смены лиц (2016)

5. Ассистированная игра в настольный теннис с очками дополненной реальности (2015)

Растет наша способность представления сложных проблем. Мы вышли на новый уровень и можем пересмотреть многие творческие проблемы в новой перспективе. В этом разделе мы изучим генеративное творчество, а также то, как оно способствует демократизации и эскалации творчества в целом.

На протяжении всей истории человечества представление всегда играло ключевую роль. Со временем системы представления информации становятся все совершеннее — и позволяют нам объяснять сложные явления в понятной форме. При помощи таких систем мы можем организовывать информацию, управлять проблемами и принимать взвешенные решения.

Со времен появления письменности, системы представления постоянно развиваются. В начале 16 века — во многом благодаря работам Леонардо Да Винчи — люди стали соблюдать пропорции при изображении предметов [1], а в эпоху Просвещения в рисовании стала применяться перспектива [2]. Появление новых форм представления влекло за собой революционные изменения в науке и технологиях.

Исторические эксперименты с представлением

Абстракции — такие как рисование или письмо — пытаются представить сложные идеи при помощи ограниченных средств. Они заставляют человека держать все частички паззла в голове. Как полагает Мэт Йезик (Autodesk), эти инструменты создавались в век документации, когда пропускная способность представления проблем была низкой [3]. Йезик характеризует 20-й век как время оптимизации: новые технологии, такие как симуляции, существенно увеличивают пропускную способность представления и позволяют применять методы абстракции в различных дисциплинах и отраслях.

Ранние симуляции 20-го века

Исторически так сложилось, что симуляции использовались изолированно, в узких предметных сферах. В 20 веке, вследствие развития теории систем, кибернетики, а также в связи с повсеместным распространением компьютеров, начался век моделей.

Модель — это расчетное представление реальности с высокой пропускной способностью. Модель представляет саму систему — ее характеристики и модели поведения — в то время как симуляция представляет функционирование системы во времени. Эта новая парадигма представления не полагается на абстрактные методы, а скорее пытается создавать «вещи, которые функционируют как представляемые ими оригиналы».

Цифровое моделирование 21 века

Модели обеспечивают нам инфраструктуру для представления всей проблемы целиком. Они помогают понимать сложные взаимосвязанные вопросы и проникать в логику взаимодействия составляющих системы. И хотя технологии моделирования использовались уже в 1940-х годах (симуляция ядерного взрыва) [4], тогда это было доступно лишь экспертам и очень дорого стоило. Сегодня методы моделирования и симуляции становятся все дешевле и доступнее.

Мы уверены, что доступные нам технологии моделирования позволяют рассматривать более широкий спектр творческих проблем на совершенно другом уровне и решать их по-другому. Мы исследуем это новое течение — его культурную и техническую стороны и сферы применения — и называем его генеративным веком.

Генеративный век

Уже в 1960х Энгельбарт отмечал, какое влияние на нашу способность к представлению оказывают цифровые технологии: «Существуют информационные структуры, слишком сложные для изучения без помощи вспомогательных средств. Теперь мы можем представить эти структуры внутри компьютера» [5]. В начале 2000-х дизайнеры вроде Патрика Шумахера — со-основателя Zaha Hadid Architects — установили концептуальную связь между творчеством и новыми возможностями представления. Патрик описывает это как «онтологический сдвиг» — переход от платонических идеальных форм (которые использовались последние 5000 лет) к новым вычислительным «примитивам» [6].

Под «онтологическим сдвигом» Патрик подразумевал фундаментальный сдвиг в перспективе: от трехмерного видения к многомерному. Эпоха Просвещения дала человечеству 3D-перспективу реальности, а генеративный век позволяет нам представлять (моделировать) сложные системы и видеть (осознавать) реальность в вероятностной, многомерной перспективе — nD. Под влиянием этих идей и вследствие появления важных дизайнерских публикаций [7], книг [8] и программ [9], сформировалось новое движение — генеративный дизайн.

Генеративный дизайн колонн, цифровое производство Майкла Хансмейера (2010)

«Цифровой гротеск» Майкла Хансмейера и Бенджамина Дилленбургера (2013)

Архитектор Майкл Хансмейер характеризует генеративный дизайн так: «мы думаем не о проектировании одного конкретного объекта, а о процессе генерации множества объектов» [10]. Он предлагает переход от объекта к процессу — от уверенности к вероятности. Вместо создания одного «артефакта» мы можем при помощи вычислительных моделей проектировать процессы создания бесчисленных «артефактов».

«Housing Agency System: Система массового проектирования домов с пользовательским дизайном» от Autodesk (2012)

Вообще термин «генеративный дизайн» достаточно общий — им можно описать исследования и разработки, проводящиеся во множестве различных областей: от дизайна, архитектуры, промышленного дизайна и до машинного обучения. Общая его суть в том, чтобы дизайнеры получили доступ к расширенных дизайнерским возможностям в новой перспективе, а также в том, чтобы снизить временной разрыв между задумкой и исполнением. В генеративный век цена создания сложных и разнообразных объектов снижается. Это позволяет нам создавать на порядок более сложные формы и функции. К примеру: велосипеды, которые можно в масштабах производства адаптировать под предпочтения каждого клиента, при использовании стандартного количества материалов. И хотя генеративный подход не ограничен какой-то конкретной сферой применения, именно архитектура — и в последние годы дизайн — первыми начали систематическое применение этого подхода.

Примеры:

Генеративное платье: «Kinematics» от Nervous System (2014) / Генеративные туфли: «Molecule-shoes» от Francis Bitonti (2014) / Генеративные толстовки: «Processing Foundation» (2015)

Генеративная машина: «Hack Rod» от Autodesk (2015) / Генеративный велосипед: «Skeleton» от Gary Liao (2016)

Генеративное обучение «гаудизм» от echonoise (2013) / Генеративная архитектура «Heydar Aliyev Centre» от Zaha Hadid (2012) / Генеративное обучение от Designmorphine (2015)

Генеративный стул «Dreamcatcher» от Autodesk (2015) / Генеративная лампа «Hyphae» от Nervous System (2014) / Лампа, созданная при помощи 3d сканирования комнаты от Hybrid Platform (2015)

Генеративный лук: «Tekina—Optimal Recurve Bow» от Aminimal Studio (2015) / Генеративное кинетическое искусство от Raven Kwok (2015)

Генеративные модели используются в творческих сферах уже с 1970-х годов (процедурные игры), но значительный количественный и качественный скачок в возможностях генеративного моделирования происходит только сейчас — под влиянием машинного обучения и глубокого обучения. Сегодня новые модели появляются практически каждую неделю.

Исследовательские проекты с аббревиатурами в названиях — такие как VAE [11], DRAW [12], VRNN [13], GAN [14], DCGAN [15], LAPGAN [16] and GRAN [17] — позволяют нам моделировать более сложные системы с высоким разрешением и применять техники моделирования для решения широкого спектра творческих проблем.

Автокодирование картинок (2015)

Недавно появилась новая разработка — применение моделей генеративного машинного обучения для решения творческих задач. Разработка уже дала свои плоды: были выведены новые «примитивы» творчества — структурные элементы дизайна, которые применимы во множестве творческих областей.

Такие творческие генеративные модели с успехом используются для создания предметов моды, картин, музыкальных произведений, стихов, текстов песен, статей для журналов, мебели, изображений и видео эффектов, объектов промышленного дизайна, комиксов, иллюстраций и объектов архитектуры — и это далеко не полный список. Подборку проектов вы найдете в разделе «Примеры».

«Семантическое изменение формы путем изменения набора характеристик» (2015) / «Процедурное моделирование посредством сетей автокодирования» (2015)

"NeuralDoodle"—Семантический перенос стиля изображения" (2016) / «Автоматическое раскрашивание черно-белых изображений посредством нейронных сетей» (2016) / «Нейронные аналогии» (2001–2016)

Проведение глубоких визуальных аналогий (2015) / Генеративный редактор форм «Cindermedusae» (2015) / Исследовательское моделирование посредством совместного дизайна (2012)

Генеративные изображения с номерами улиц и домов (2015) / Генеративные выдуманные китайские иероглифы (2015) / Генеративная хореография и анимация (2016)

Уровни игры Super Mario, сгенерированные посредстом РНС (2016) / Выступления TED Talks, сгенерированные посредстом РНС (2015) / Статья в Википедии, сгенерированная посредстом РНС (2015)

Artist Agent: Рисование чернилами и дополненное обучение (2013) / BrainFM— Динамическая генеративная музыка для расслабления (2015) / Jukedeck—Генеративная музыка для видео (2015)

Генеративные модели позволяют нам исследовать данные новыми, неизведанными ранее способами. Для примера возьмем стул: мы можем представить его характеристики (цвет, высота или стиль) в качестве измерений в нашем многомерном информационном пространстве.

Это пространство можно заполнить информацией о миллионах стульев. Стулья со сходными характеристиками можно разместить поблизости. Таким образом мы построим модель стула, которую можно изучить и визуализировать.

«Совместное внедрение форм и картинок через CNN Image Purification» (2015)

Подобные многомерные топологии позволяют нам проще воспринимать информацию, исследовать данные и задавать вопросы о взаимосвязи, логике и значении, например, «Отобразить все красные высокие стулья». Далее мы можем строить предположения и закладывать новые характеристики: например, «Отобразить все стулья, похожие на A и B, но непохожие на C». Наконец, мы можем использовать многомерные пространства для генерации новых объектов: например, «Создать стул, который напоминает машину и на котором удобно сидеть».

При помощи генеративных моделей дизайнеры могут играть с данными и создавать бесчисленное множество вариаций и решений творческих проблем. Все эти мощные инструменты позволяют нам исследовать, оптимизировать и мгновенно тестировать дизайнерские идеи, а значит в разы повышается вероятность интуитивно обнаружить что-то новое и ценное. Да, генеративные модели можно использовать для эффективного выполнения стандартных творческих задач, но они к тому же открывают для нас и новые творческие возможности, которые не идут ни в какое сравнение с классическими методами.

Искусственная интуиция: Системы, которые максимизируют вероятность интуитивно обнаружить что-то новое и ценное.

Диаграмма мульти-модальной сети (2015) / Генерация рассказов по картинкам (2015)

Благодаря последним достижениям в машинном обучении стало возможным использовать данные из разных «модальностей» в рамках одной модели. Это позволяет нам переводить с языка одной модальности на язык другой. Суть в том, что все формы информации могут быть закодированы в одном информационном пространстве. В ходе ранних исследований мульти-модальности появились системы, которые уже нашли широкое применение: «Auto Translate» («авто перевод») [18] позволяет переводить с одного языка на другой, «Speech to Text» («речь в текст») [19] преобразует аудио в текст. Мульти-модальное машинное обучение позволяет реализовывать более сложные сценарии, которые выходят за пределы простого перевода данных: создание изображений по тексту [20], текста по видео [21], музыки по движению [22], 3D-форм на базе информации о покупках, и т.д. Мы называем это искусственная синестезия: системы, которые создают объекты в нескольких сенсорных областях.

Демократизация и эскалация

Генеративный век дает нам новый простор для творчества, который мы только начинаем осваивать. И хотя сложно предположить, куда нас заведут все эти разработки, новые тренды все же стоит изучить — поскольку их влияние уже ощущается. Если тенденция к использованию и применению этих разработок сохранится, то нас ожидает сценарий, который мы называем «демократизацией и эскалацией творчества».

Мы исследовали это явление и вывели четыре тренда:

1. Генеративная перспектива

   Впервые в человеческой истории мы можем творить, опираясь на смешанную, генеративную перспективу — смесь элементов коллективной, индивидуальной и машинной перспектив. Это позволяет нам раздвигать границы творчества (связанные с нашими привычками, а также социальными и образовательными особенностями) и создавать совершенно новые объекты.

   Изображение с космической миссии Apollo 10 (1969)

2. Генеративные прогнозы

   Возьмем концепцию «рекомендации, персонализации и кастомизации» и применим ее к творческому процессу. Нам представляются системы, которые способны прогнозировать дальнейшие «действия», позволяя людям легко подстраивать аспекты дизайна в соответствии с их предпочтениями и опытом. Это позволит нам в игровой форме проявлять творчество.

   Изображение от «Large-scale Image Memorability» (2015)

3. Генеративные рынки

   В будущем мы сможем обмениваться генеративными моделями на открытом совместном рынке моделей (open collaborative model marketplace — OCMM). Сегодня существуют рынки продуктов и предметов материальной культуры, а в будущем появятся генеративные рынки «рецептов» для создания множества новых предметов культуры. Представьте, что это GitHub для открытого творчества.

   Изображение из статьи «Corporate Social Networking Platforms As Cognitive Factories» (2016)

4. Генеративное производство

   Под этим термином подразумеваются новые цифровые технологии производства — такие как 3D печать, а также генеративные системы, которые используются для создания физических объектов. Ранних представителей этого тренда можно найти на таких ресурсах, как Shapeways и Kickstarter, а также в движении «maker movement». Взаимосвязь между творчеством, производством и потреблением начинает обретать новый смысл.

   Изображение из статьи «Generative strategies for welding» (2016)

Компьютерное творчество

Проект «Dreamcatcher» от Autodesk (2015)

Давайте попробуем представить развитие этих сценариев в более удаленном будущем. Становится понятно, что есть перспективы применения генеративного творчества в таких областях, как технологии, производство, добыча ресурсов, экономика и политика. Уже сегодня благодаря методам генеративного творчества происходит демократизация творчества во множестве областей. Снижая временной интервал между идеей и воплощением, генеративное творчество ускоряет появление новых «артефактов» — форм, функций и эстетики. Это позволяет нам заняться изучением того, что лежит за пределами артефактов.

В совокупности с новыми технологиями производства, генеративное творчество полностью переворачивает такие понятия, как производство, потребление, труд и инновации. Поскольку современные экономические модели построены именно на концепции материальных благ («артефактов») — мы можем предположить, что необходимо будет пересмотреть основы экономики.

И хотя невозможно предсказать будущее демократизации и эскалации творчества, мы уже сегодня можем принимать решения и формировать свое видение мира с учетом новых возможностей.

Как говорил Роберт Антон Уилсон:

Примеры / СМИ

Ниже вы найдете подборку исследований, экспериментов и продуктов, связанных с темой генеративного творчества, и их использование в различных творческих задачах/дисциплинах.

Генеративные эксперименты

1. Генеративная флора и фауна (2015)

2. Генеративные стулья, столы и машины (2015)

3. Генеративный дизайн шрифтов с использованием нейронных сетей (2015)

4. Генеративные иллюстрации манги (2015)

5. Генерация лиц с Manifold Traversal (2015)

Генеративный дизайн

1. Семантическое изменение формы путем изменения набора характеристик (2015)

2. Генеративный дизайн маятника мотоцикла (2015)

3. Генеративный дизайн отсека самолета (2015)

4. Генеративный дизайн подошвы обуви, основанный на анализе данных (2015)

5. Генеративный дизайн ювелирных изделий (2015)

Генеративный текст

1. Генерация историй по картинкам (2015)

2. Генерация цельных предложений (2015)

3. Генеративная журналистика (2010)

4. Генерация кулинарных рецептов от Watson (2015)

5. Генерация веб-контента и сайта (2015)

Генеративная интуиция

1. Исследовательское моделирование и коллективный дизайн (2015)

2. Генеративное написание музыки при помощи РНС (2015)

3. Messa di Voce, генеративный театр (2003)

4. Генеративный перенос стиля изображения (2015)

5. Интерактивные иллюзии в нейронных сетях (2015)

Генеративная архитектура

1. Генеративный дизайн и производство колонн (2010)

2. Генеративное 3D моделирование домов (2012)

3. Центр Гейдара Алиева (2012)

4. Генеративные формы, вдохновленные биологическими созданиями (2015)

5. Френсис Битонти о 3D печати (2015)

Генеративный дизайн

1. Генеративные процессы для сварки (2015)

2. Генеративный дизайн фаэтона (2016)

3. Генеративные вязаные вещи с пользовательским дизайном (2016)

4. Генеративнаые футболки и сумки с пользовательским дизайном (2016)

5. Генеративный абажур, созданный на базе 3D скана комнаты (2015)

Генеративные игры

1. Генеративное создание вселенной (2014)

2. Синтез текстур (2015)

3. Генеративное управление персонажами (2012)

4. Генеративная карта игры и персонажи (2013)

5. Генеративное управление противником (2010)

Генеративная синестезия

1. Синестетическая маска, позволяющая понюхать цвета (2016)

2. Межмодальное отображение звуков при помощи машинного обучения (2013)

3. Отражение последовательности рисунков в предложении (2015)

4. Генеративное графити, адаптирующиеся к музыке (2016)

5. Музыка, преобразованная в 3D игру (2001)

Наше исследование началось с серии экспериментов — мы в легкой форме изучали, как соотносятся творчество и искусственный интеллект. В результате мы погрузились в глубокое изучение творчества и подтвердили свою изначальную гипотезу: творчество выступает центральной движущей силой на протяжении всей истории человечества.

Мы познакомились с новыми метафорами: усиленное творчество, вычислительное творчество, творческие системы — что позволило нам рассматривать само творчество и его взаимосвязь с технологиями с новой точки зрения.

На протяжении всего нашего пути, мы старались структурировать информацию о творчестве и технологиях. Благодаря этому мы обнаружили, проанализировали и дали определение развивающимся паттернам творчества. Мы уделили особое внимание двум из них: ассистированному творчеству и генеративному творчеству. В совокупности эти паттерны позволяют описать сценарий, который мы называем «демократизацией и эскалацией творчества». Это будет мир, где творчество широко доступно благодаря системам, позволяющим создавать новые перспективы и повышать человеческий потенциал. В ходе исследования мы научились ценить творчество. Творчество — это постоянно развивающаяся движущая сила человечества. Творчество раздвигает границы для новых междисциплинарных исследований и разработок.

Основной целью этого исследовательского проекта было определись набор принципов, метафор и идей, которыми можно было бы описать будущие теории, эксперименты и применения творчества. Мы свели множество разных источников воедино и сформировали новую школу — практическое руководство по творчеству — ТворческийИИ. Задумка ТворческогоИИ в том, чтобы исследовать и ценить творчество. Наша цель — в разработке систем, повышающих человеческий потенциал. Мы верим, что вопросы «что?» и «почему?» не менее важны, чем «как?». Мы уверены, что на сложные этические вопросы нужно отвечать уже сейчас — и рассматривать их как шанс проявить творческий подход.

И наконец, ТворческийИИ — это скорее вопрос, чем ответ. Все, что требуется — это больше совместной работы и творчества. Воспринимайте это как приглашение поиграть!

«Создание нового является делом не интеллекта, а влечения к игре, действующего по внутреннему понуждению. Творческий дух играет теми объектами, которые он любит»

Карл Юнг

Роэлоф Питерс

@graphific

r@artificialexperience.com

Самим Винигер

@samim

s@artificialexperience.com

ArtificialExperience.com

Особое спасибо: Boris Anthony, Jake Witlen, Hendrik Heuer, Kiran Varanasi, Francis Tseng, Mark Riedl, Jack Clark, Alex J. Champandard, Gene Kogan, David J.Klein, Simone Rebaudengo, Matthieu Cherubini, Saurabh Datta, Max Niederhofer, Dave Ha, Kyle Kastner, Mattias Ostmar, Melisande Middleton, Tor Sanden, Mami Ebara.

А также спасибо пользователям Твиттера за вдохновение, обсуждения и полезные предложения!

Subscribe to our Newsletter

1. Творчество

   1. Albert, R. S.; Runco, M. A. (1999) «A History of Research on Creativity». In Sternberg, R. J. Handbook of Creativity, Cambridge University Press.

   2. Tatarkiewicz, W. (1980) A History of Six Ideas: an Essay in Aesthetics. Translated from the Polish by Christopher Kasparek, The Hague: Martinus Nijhoff; Runco, Mark A.; Albert, Robert S. (2010) «Creativity Research» In James C. Kaufman and Robert J. Sternberg, The Cambridge Handbook of Creativity, Cambridge University Press.

   3. Wallas, G. (1926) Art of Thought, New York, Harcourt, Brace and Company; Wertheimer, M (1945) Productive Thinking. New York: Harper; Poincare, H. (1952) [1908] «Mathematical creation». In ed. Ghiselin, B. The Creative Process: A Symposium. Mentor; Helmholtz, H. v. L. (1896) Vortrage und Reden (5th edition). Friederich Vieweg und Sohn.

   4. Bush, V. (1945) As We May Think, Atlantic Monthly 176 (July 1945) pp. 101–108 [pdf].

   5. Moggridge, B. (2007) Designing Interactions. Cambridge, MA: The MIT Press. p 30–31.

   6. Engelbart, D. C. (1962) Augmenting human intellect: A conceptual framework, Stanford Research Institute, Tech. Rep., October 1962, p 5 [online text]

   7. In December 1950, after three years of working at a steady job and getting engaged, Douglas Engelbart realising that there was more to life, asking himself, «How can my career maximize my contribution to mankind?». Recounted in: Bardini, T. (2000) Bootstrapping: Douglas Engelbart, Coevolution, and the Origins of Personal Computing, Stanford University Press, p 7. And O’Brien, T. (1999) «From the archives: Douglas Engelbart’s lasting legacy», Mercury News, at [siliconvalley.com]. This same realization is recounted in Markoff, J. (2005) What the Dormouse Said: How the Sixties Counterculture Shaped the Personal Computer Industry, New York: Penguin Group.

   8. This point is eloquently described by Alan Kay at the MIT/Brown Vannevar Bush Symposium, on October 12–13, 1995, to celebrate the 50th anniversary of Vannevar Bush’s seminal article «As We May Think», [Video] (recounted at: 38m 44s).

   9. Gillespie, T. (2014) Media Technologies: Essays on Communication, Materiality, and Society. Mit Press Ltd, pp 213–215.

   10. Ivan Sutherland’s PhD thesis was reprinted in 1980 as: Sutherland, Ivan Edward (1980), Sketchpad: A Man-Machine Graphical Communication System, New York: Garland Publishers. An electronic edition was published in 2003 [pdf].

   11. Sears, Andrew; Jacko, Julie A. (2007). The Human-Computer Interaction Handbook: Fundamentals, Evolving Technologies and Emerging Applications, Second Edition. CRC Press. p 5. Both mouse and video conferencing made their debut in what was come to be known in a demonstration by Doug Engelbart which came to be known as «The Mother of All Demos»: Engelbart, Douglas C.; et al. (1968—12—09). «SRI-ARC. A technical session presentation at the Fall Joint Computer Conference in San Francisco». NLS demo ’68: The computer mouse debut. Engelbart Collection (Menlo Park, CA: Stanford University Library) [Video recording, annotations, and full transcript].

   12. Markoff, What the Dormouse Said, pp 80–109.

   13. ibid, pp 254–287.

   14. A detailed history of Xerox, PARC, and other intersections of business and technology, and the creation of «Silicon Valley» is: Rao, A. and Scaruffi, P. (2011) A History of Silicon Valley: The Greatest Creation of Wealth in the History of the Planet. Redwood City: Omniware.

   15. Stephen Wozniak (1984) «Homebrew and How the Apple Came to Be» In: Steve Ditlea (ed) Digital Deli: The Comprehensive, UserLovable Menu of Computer Lore, Culture, Lifestyles and Fancy. [text online]. A good history of the Home Computer Club can also be found in John Markoff, What the Dormouse Said. And in: Freiberger, Paul; Swaine, Michael (2000) Fire in the Valley: The Making of the Personal Computer, 2th ed, McGraw-Hill; An adaption of «Fire in the Valley» on the History of Apple and Microsoft led to the documentary «Pirates of Silicon Valley» (1999) by director Martyn Burke.

   16. Shannon, C. E. (1951) «Prediction and Entropy of Printed English» In Bell System Technical Journal 30 (1): 50–64 [full text at archive.org].

   17. An excellent historical overview is given in: Holbrook, B.D. and Brown, W.S. Computing Science Technical Report No. 99 : A History of Computing Research at Bell Laboratories (1937–1975), [pdf]. A more visually oriented overview all the way to contemporary digital art is given by Paul, C. (2015) Digital Art, 3th ed. Thames & Hudson (pp 15–18 focuses on the period we are mainly interested in).

   18. Noll, A.M. (1970) «Art Ex Machina» in IEEE Student Journal, Vol. 8, No. 4, (September 1970), pp. 10–14, [pdf]. Two other important early works by Noll, exploring computer graphics are: Noll, A. Michael (1967) «The Digital Computer as a Creative Medium,» IEEE Spectrum, Vol. 4, No. 10, (October 1967), pp. 89–95; and Noll, A. Michael (1971) «ScannedDisplay Computer Graphics,» Communications of the ACM, Vol. 14, No. 3, (March 1971), pp. 145–150.

   19. Brian Eno, lecture in Rio de Janeiro, October 20th, 2012 [Video] (citation at: 52m 35s).

   20. Benoit Mandelbrot (1924–2010), Nature Obituary, Nature 468, 378 (18 November 2010) [nature].

   21. «Beneath Apple Manor», a rogue-like dungeon crawl released in 1978 for the Apple II, was one of the first games to have procedural generated maps and game objects. Available to play online at [archive.org]

   22. The first in the SimCity game series was published in 1989. Available to play online at [archive.org]. Wright was greatly influenced by Jay Forrester’s (1969) work on System Dynamics in his design of the game. Or in the words of Wright, 25 years later: «Most of the simulation is really built up of rather simple rules, if you look under the hood, and it’s really interesting how these simple rules, when they interact with each other, give rise to great complexity,» Wright says. «You can’t even really sit back and engineer it or blueprint it. It’s more like you have to discover it, because the emergent systems are inherently, by definition, unpredictable.» In Doug Bierend, SimCity That I Used to Know: On the game’s 25th birthday, a devotee talks with creator Will Wright, Medium, Oct 17, 2014, [medium.com].

   23. Work defining creativity in computational terms is as early as: Newell, Allen, Shaw, J. G., and Simon, Herbert A. (1963), «The process of creative thinking» in Gruber, H. E., Terrell, G. and Wertheimer, M. Contemporary Approaches to Creative Thinking, pp 63–119. New York: Atherton Press; Early foundational work on the categorization of creativity are: Boden, M. (1990), The Creative Mind: Myths and Mechanisms, London: Weidenfeld and Nicholson; Boden, M. (1999) Computational models of creativity, Handbook of Creativity, pp 351— 373. This has been further explored and formalized by: Wiggins, G.A. (2006), A Preliminary Framework for Description, Analysis and Comparison of Creative Systems, Journal of Knowledge Based Systems 19(7), pp. 449–458. A good overview of the field of computational creativity is given in: Pereira, F. C. (2007). «Creativity and Artificial Intelligence: A Conceptual Blending Approach». Applications of Cognitive Linguistics series, Mouton de Gruyter. Similar, but more multidisciplinary oriented, works are: Veale, T., Feyaerts, K. and Forceville, C. (2013) Creativity and the Agile Mind: A Multi-Disciplinary Study of a Multifaceted Phenomenon, Walter de Gruyter; Besold, T.R., Schorlemmer, M. and Smaill, A. (2015) Computational Creativity Research: Towards Creative Machines, Atlantis Press.

   24. Wiggins, G. A. (2006) A Preliminary Framework for Description, Analysis and Comparison of Creative Systems, Knowledge-Based Systems, Volume 19 Issue 7, pp 449–458.

   25. The International Conference on Computational Creativity (ICCC) occurs annually since 2010, organized by The Association for Computational Creativity. Before that, a more informal collective of researchers held a dedicated workshop, the International Joint Workshop on Computational Creativity, every year since 2004. Today also few specialized departments or research groups exist (notably Godsmiths London, UK) and research cooperation with industry (Autodesk, Adobe, Sony, etc.) is common practice.

   26. Von Foerster, H. «A Note from the Editors,» in Cybernetics: Circular Causal and Feedback Mechanisms in Biological and Social Systems, Transactions of the Eighth Conference (New York: Josiah Macy Jr. Foundation, 1952), 321.

   27. Von Foerster, H., Mead, M., & Teuber, H. L. (Eds.). (1951). Cybernetics: Circular causal and feedback mechanisms in biological and social systems. Transactions of the seventh conference. New York: Josiah Macy, Jr. Foundation, p. vii; Fremont-Smith, F. (1960). The Macy Foundation conference plan. In M. Capes (Ed.), Communication or conflict: Conferences, their nature, dynamics and planning. New York: Association Press, pp. 218–19.

   28. Norbert Wiener, Cybernetics: or Control and Communication in the Animal and the Machine (New York: Wiley, 1948), 11 [pdf].

   29. Shannon, C. E. (1948). «A Mathematical Theory of Communication». Bell System Technical Journal 27 (3): 379–423. July 1948; Shannon, C. E. (1948). «A Mathematical Theory of Communication». Bell System Technical Journal 27 (4): 623–656. October 1948. Later in 1949 published together as what would become the text book of information theory, titled The Mathematical Theory of Communication by University of Illinois Press. It introduced concepts as information entropy and redundancy, and introduced the term «bit».

   30. Wiener, N. (1948). Cybernetics, or Control and Communication in the Animal and the Machine. Cambridge: MIT Press.

   31. Cybernetic Serendipity, 1968, Institute of Contemporary Arts (ICA), London, UK, from 2 August to 20 October 1968 [http://cyberneticserendipity.net]. Exhibition catalogue «Cybernetic Serendipity: the computer and the arts», Edited by Jasia Reichardt, Studio International Special Issue, London, 1968 [pdf].

   32. Gordon Pask, «The Colloquy of Mobiles», ICA London 1968; Nam June Paik, «Robot K-456», ICA London 1968; Peter Zinovieff, «Music Computer», ICA London 1968. More info at the cybernetics serendipity archive and catalogue in [32].

   33. Fuller, B. (1969) Ideas and Integrities: A Spontaneous Autobiographical Disclosure (New York: Macmillan). For an analysis see: Turner, F. (2010) From Counterculture to Cyberculture: Stewart Brand, the Whole Earth Network, and the Rise of Digital Utopianism, University of Chicago Press, pp 56–58.

   34. For an extensive history on the impact of cybernetics on fields as diverse as psychiatry, engineering, management, politics, music, architecture, education, etc. see: Pickering A. (2011) The Cybernetic Brain: Sketches of Another Future, University Of Chicago Press. Another historical work grounded in the belief that there is no way to separate cyberculture from counterculture is: Turner, F. (2006) From Counterculture to Cyberculture: Stewart Brand, the Whole Earth Network, and the Rise of Digital Utopianism, Chicago: University of Chicago Press. On the bridge between cybernetics and design see: Dubberly, H. & Pangaro, P. (2015). How cybernetics connects computing, counterculture, and design. In Hippie modernism: The struggle for utopia (pp. 126–141). Minneapolis, MN: Walker Art Center, And: Glanville, R. (2014). How design and cybernetics respect each other, RSD3 Relating Systems Thinking and Design 2014 working paper, [pdf]. Influential to architecture and cybernetics was Cedric Price’s Fun Palace going well beyond then established notions of architecture. See: Matthews, S. (2005) The Fun Palace: Cedric Price’s experiment in architecture and technology, Technoetic Arts Vol 3 Nr 2, [pdf]. An important legacy of cybernetic thinking can also be found in MIT Media Lab, founded by Nicolas Negroponte, to merge the «old media» (print and broadcasting) with the «new media» of personal computing. A foundational work on its vision is: Brand, S. (1988) The Media Lab: Inventing the Future at M.I.T., Penguin Books.

   35. Gordon Pask (1969) «The Architectural Relevance of Cybernetics,» Architectural Design, p 494.

   36. Dubberly, H. & Pangaro, P. (2015) How cybernetics connects computing, counterculture, and design [dubberly.com].

2. Ассистированное творчество

   1. Shneiderman, B. (2000) Creating creativity: user interfaces for supporting innovation, ACM Transactions on Computer-Human Interaction (TOCHI)—Special issue on human-computer interaction in the new millennium, Part 1, Volume 7 Issue 1, March 2000, pp 114— 138.

   2. The founding and development of Autodesk (and CAD systems) is well described in David E. Weisberg (2006) The Engineering Design Revolution: The People, Companies and Computer Systems That Changed Forever the Practice of Engineering, chapter 8: Autodesk and AutoCAD [cadhistory.net].

   3. The history of Adobe Systems is most extensively (and perhaps a bit biased as published by Adobe Press) described in Pfiffner, P. (2002) Inside the Publishing Revolution: The Adobe Story, Adobe Press. Another interesting review is given in the short documentary by Terry Hemphill (also of Adobe) «The Adobe Illustrator Story», [Vimeo].

   4. We intend the skeuomorphic meaning here: designing representations of objects to resemble their real-world counterpart.

   5. Leica (then Ernst Leitz Wetzlar GmbH) invented its autofocus knowledge and patented it between 1960 and 1973 to sell the technology to Minolta who produced the first autofocus camera: the Minolta Maxxum 7000. Reference patent US 4047022 A, Holle, W.H. (1977) Auto focus with spatial filtering and pairwise interrogation of photoelectric diodes«.

   6. Lewis-Kraus, G. (2014) «The Fasinatng ... Frustrating ... Fascinating History of Autocorrect» in Wired Magazine, 22/7/2014, [wired.com]; Original patent 23155063 Rayson et. al. (1994) «Autocorrecting text typed into a word processing document».

   7. Crockett, Z. (2015) «The Inventor of Auto-Tune», at [priceonomics.com]; Feature with Andy Hildebrand in «Auto-Tune», NOVA scienceNOW, PBS TV, June 30, 2009 [Video].

   8. Case in point is the example of Auto-tune, which was both celebrated by some and despised by others. Critical voices come from people as music producer Rick Rubin: «Right now, if you listen to pop, everything is in perfect pitch, perfect time and perfect tune»; On the other side, auto-tune—as we wrote—lowers the barriers for creative participation, mainly for less professionals, but also opens up new possibilities in music. A funny example here comes from the band The Gregory Brothers in their series Songify the News, «songifying» serious news broadcasts, as with their «Bed Intruder Song» video, which became the most-watched YouTube video of 2010.

   9. Fiebrink, Rebecca Anne (2011) Real-time Human Interaction with Supervised Learning Algorithms for Music Composition and Performance, Dissertation, p 2 [pdf].

   10. Nicholas Davis, Alexander Zook, Brian O’Neill, Brandon Headrick, Mark Riedl, Ashton Grosz, and Michael Nitsche (2013) Creativity support for novice digital filmmaking. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI ‘13). pp 651–660 [pdf]; Unlocking human creativity: Mark Riedl at TEDxPeachtree, [Video].

   11. Needham, Joseph (1986). Science and Civilization in China: Volume 4, Physics and Physical Technology, Part 2, Mechanical Engineering. Taipei: Caves Books, Ltd. p 89, 110; A A Harms, B W Baetz, R R Volti (2004) Engineering in Time: The Systematics of Engineering History and Its Contemporary Context, Imperial College Press, p 49.

   12. The quote «First we shape our tools, thereafter they shape us» seems to be mistakenly attributed to Marshall McLuhan. While consistent with his ideas on technology, the quote is actually from John M. Culkin in an article about McLuhan: Culkin, J.M. (1967) A schoolman’s guide to Marshall McLuhan. Saturday Review (March 18, 1967) pp. 51— 53, 71–72. This point is made by Alex Kuskis (2013) «We shape our tools and thereafter our tools shape us» [mcluhangalaxy.wordpress.com].

   13. Flemisch, Frank .O., Adams, Catherine A., Conway, Sheila R., Palmer, Michael T. and Schutt, Paul C. (2003) The H-Metaphor as a Guideline for Vehicle Automation and Interaction, NASA/TM—2003- 212672 [pdf].

   14. Roderick Murray-Smith (2013) Casual interaction with computers: music applications, presentation at Digital Audio, Copenhagen, 20th June 2013, p 54 [slides]; For an application of this «focused—casual continuum» approach also: Henning Pohl and Roderick Murray-Smith (2013) Focused and Casual Interactions: Allowing Users to Vary Their Level of Engagement [pdf].

3. Генеративное творчество

   1. Human scale measurements and proportions became commonplace, most famously in Leonardo Da Vinci studies, ie The Vitruvian Man, in ca. 1492. Studies of anatomy, light and the landscape by Leonardo see specifically «A Treatise on Painting» by Leonardo da Vinci, assembled by his pupil Francesco Melzi and published in France and Italy in 1651 and Germany in 1724 [full text at archive.org].

   2. Renaissance painters Brunelleschi and Alberti developed theories of perspective to represent three-dimensional objects on a twodimensional surface. Again it was Leonardo Da Vinci who improved on these theories through his scientific approach to art. See again: Leonardo da Vinci «A Treatise on Painting»

   3. Matt Jezyk (2015) Design Computation Symposium Part 1, AS12577, Autodesk University, Las Vegas [video at autodesk.com].

   4. Early applications of computer simulations were almost all military. Arguably the first massive computer simulation was during the Manhattan Project in World War II to model the detonation process of a nuclear bomb. See also: Masco, J. (2006) The Nuclear Borderlands: The Manhattan Project in Post-Cold War New Mexico. Princeton University Press.

   5. Doug Engelbart (1986) «The Augmented Knowledge Workshop» at ACM Conference on the History of Personal Workstations, held at Rickey’s Hyatt House in Palo Alto, California, January 9–10, 1986. [Video], [Transcription].

   6. Schumacher, P. (2010) The Parametricist Epoch: Let the Style Wars Begin, In: AJ—The Architects’ Journal, Number 16, Volume 231, 06. May 2010 [text at patrikschumacher.com]; Schumacher, P. (2014) The Historical Pertinence of Parametricism and the Prospect of a Free Market Urban Order, In: Poole, M. and Shvartzberg, M. The Politics of Parametricism, Digital Technologies in Architecture, Bloomsbury Academic, New York 2015 [text at patrikschumacher.com].

   7. Schumacher, P. (2008) Parametricism as Style—Parametricist Manifesto, London, Presented and discussed at the Dark Side Club , 11th Architecture Biennale, Venice 2008 [text at patrikschumacher.com].

   8. Bohnacker, H., Gross, B.,. Laub, J., Lazzeroni, C. (2009) Generative Gestaltung: Entwerfen, Programmieren, Visualisieren. Schmidt, Mainz [book & info at generative-gestaltung.de].

   9. ie Rhinoceros (typically abbreviated Rhino, or Rhino3D), a popular 3D computer graphics and CAD application, used for many generative design tasks (ie 3D printing) because its geometric model is based on the NURBS mathematical model, which focuses on producing mathematically precise representations. A popular visual scripting language add-on is Grasshopper, used extensively under generative artists and designers.

   10. Michael Hansmeyer: Building unimaginable shapes, TEDGlobal 2012, Jun 2011 [Ted Talk] (citation at 10m12s).

   11. Diederik P Kingma, Max Welling (2013) Auto-Encoding Variational Bayes. Arxiv, GitXiv (Code & Article); Danilo Jimenez Rezende, Shakir Mohamed, Daan Wierstra (2014) Stochastic Backpropagation and Approximate Inference in Deep Generative Models. [Arxiv].

   12. Gregor, K., Danihelka, I., Graves, A., Rezende, D.J., Wierstra, D., (2015) DRAW: A Recurrent Neural Network For Image Generation. [Arxiv], [GitXiv] (Code & Article).

   13. Chung, J., Kastner, K., Dinh, L., Goel, K., Courville, A., Bengio Y., (2015) A Recurrent Latent Variable Model for Sequential Data. Arxiv, GitXiv (Code & Article)

   14. Goodfellow, I.J.,Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., Bengio, Y. (2014) Generative Adversarial Networks. [Arxiv], [GitXiv] (Code & Article).

   15. Radford, A, Metz, L., Chintala, S. (2015) Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks. [Arxiv], [GitXiv] (Code & Article).

   16. Denton, E., Chintala, S., Szlam, A., Fergus, R. (2015) Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks. [Arxiv], [GitXiv] (Code & Article).

   17. Im, D.J., Kim, C.D., Jiang, H., Memisevic, R. (2016) Generating images with recurrent adversarial networks. [Arxiv].

   18. «Auto Translate», most famously implemented in Google Translate.

   19. A flurry of Speech-to-text APIs and service has become available over the past few years, ie Google’s speech-api (api key needed).

   20. Mansimov, E., Parisotto, E., Ba, J.L., Salakhutdinov, R. (2015) Generating Images from Captions with Attention. [Arxiv].

   21. Yao, L., Torabi, A., Cho, K., Ballas, N., Pal, C., Larochelle, H. and Courville, A. (2015) Describing videos by exploiting temporal structure. In ICCV15. , [GitXiv] (Code & Article); Venugopalan, A., Xu, H., Donahue, J., Rohrbach, M., Mooney, R. and Saenko, K. (2015) Translating videos to natural language using deep recurrent neural networks. In NAACL15. Arxiv; Srivastava, N., Mansimov, E. and Salakhutdinov, R. (2015) Unsupervised learning of video representations using LSTMs. In ICML15. [Arxiv], [GitXiv] (Code & Article); Venugopalan, S., Rohrbach, M., Donahue, J., Mooney, R., Darrell, T. and Saenko, K. (2015) Sequence to Sequence—Video to Text. In ICCV15. [Arxiv], [GitXiv] (Code & Article); Simonyan, K. and Zisserman, A. (2014) Two-stream convolutional networks for action recognition in videos. In NIPS14. at Arxiv; Sharma, S., Kiros, R. and Salakhutdinov, R. (2015) Action Recognition using Visual Attention. [Arxiv], [GitXiv] (Code & Article)

   22. Fiebrink, R.; Trueman, D. and Cook, P. R. (2011) The Wekinator: Software for using machine learning to build real-time interactive systems. Demo at MusicTechFest London (2015), [Video], [Software]; Vik, C. (2012) Astral Body, Demonstration at PACT Theatre, Sydney, 18 February 2012 [Video].