Развитие пикселя
Пиксель или же picture element — это наименьший компонент электронного или цифрового изображения. При слове «пиксель» многие из нас представляют маленькие цветные квадратики, которые в соединении друг с другом образуют какое-либо изображение. Но это понимание ошибочно, поскольку пиксели являют собой бесформенные компоненты. Они абстрактны, и у них нет ни длины, ни ширины и ни толщины. А еще это просто число, кодирующее оттенок серого, или три числа с тремя интенсивностями цвета.
Изначально пиксели невозможно увидеть, нам доступен только результат преобразования в аналоговое изображение через так называемые «разбрасыватели». Вся идея пикселя основана на теореме отсчетов Котельникова, объясняющей, как заменить непрерывную визуальную картину конечным числом дискретных битов. В основе же этой теории лежат преобразования Фурье, который рассматривал изображение или звук, как сумму волн.
Волны и операция «разбрасывания»
Такой маленький элемент, невидимый в изначальной форме, способен создать абсолютно любое изображение, что угодно, входящее в Цифровой Свет — единую технологию, окружающую нас повсеместно. Именно они и являются организующим принципом Цифрового Света, помимо еще двух идей — волновых колебаний и машинных вычислений. Уникальность структуры пикселя и способ представления цвета позволяют применять его во всех виртуальных областях. Также одна из его особенностей — невидимость — делает пиксель незаменимым носителем информации.
Важность этой абстрактной величины, лежащей в основе всего электронного и цифрового, без чего нельзя обойтись в современном мире, несомненно привлекает интерес к принципу ее формирования и работы, к тому, как из невидимого элемента получается видимое изображение.
Скриншот Manchester Baby, первого компьютера, отображающего пиксели
Основный источник визуального исследования — это книга сооснователя студии Pixar Элви Рэя Смита «Пиксель. История одной точки», в которой подробно рассказывается обо всех аспектах в развитии этого компонента, начиная от открытий Фурье во времена Французской революции, заканчивая прогрессом в нейросетях. В качестве материала для исследования я отобрала части, связанные исключительно с прогрессом в визуальной составляющей с 1950-х годов, опираясь также на историю развития компьютеров, поскольку первый пиксель зародился вместе с первым компьютером.
Цель данного визуального исследования показать и проанализировать путь развития пикселя от простых черно-белых изображений, которые были нужны исключительно для демонстрации технических процессов компьютера и простейший первых пиксельных игр до современных мощных графических редакторов и реалистичных видеоигр.
I. Первые пиксели
Проект Whirlwind. Первое цифровое изображение.
Whirlwind I был введен в эксплуатацию в 1951 году, как первый цифровой электронный компьютер, выполнявший вычисления параллельно, а не последовательно. Компьютер был разработан Лабораторией сервомеханизмов Массачусетского технологического института для ВМС США. Для определения ячейки памяти, соответствующей точке на дисплее, инженер Боб Эверетт изобрел «световой пистолет», в сентябре 1949 года был добавлен «специальный дисплей» на основе электронно-лучевой трубки — осциллоскоп.
Таким образом, он мог нарисовать точку в любом месте своего двумерного экрана, не соблюдая ограничения растровой сетки. Это устройство могло создавать изображение из невидимого описания и модели, хранящейся в памяти компьютера.
Взаимодействие «светового пистолета» с дисплеем, апрель 1952 год
Ранние изображения, сделанные на Whirlwind
Первопроходцы видеоигр
С самого начала появления компьютера вместе с ним всегда шла интерактивность, что подразумевало собой также и видеоигры. Кристофер Стрейчи — британский преподаватель и физик, запрограммировал первую в мире видеоигру для компьютера Ferranti Mark I. Игра была запущена в июле 1952 года и представляла собой реализацию настольной игры в шашки. Программа работала таким образом, что последовательные состояния доски отображались на трубке Уильямса, запоминающего устройства на основе электронно-лучевой трубки. В этот же год Александр Шафто «Сэнди» Дуглас запрограммировал крестики-нолики для EDSAC. Эта игра стала первой игрой, запущенной на компьютере, как отдельная программа.
Шашки Стрейчи и крестики-нолики Сэнди Дугласа, 1952 год
Spacewar!
Spacewar! — двумерная интерактивная игра, созданная на PDP-1 Стивом Расселом в сотрудничестве с Мартином Гретцем, Уэйном Виитаненом, Бобом Сондерсом, Стивом Пайнером и другими в 1962 году. Взаимодействие с ней происходило при помощи джойстиков и кнопок. В игре присутствовала гравитация и кнопка прыжка в гиперпространство. На дисплей выводились медленно вращающееся звездное поле, два ракетных корабля, которые стреляли торпедами, выглядящие как просто точки.
Демонстрация Spacewar! 1962 год
Первые анимации
16 декабря 1951 года в телешоу Эдварда Р. Марроу «Смотри сейчас» были показаны две анимации, сделанные на Whirlwind—. Первой была растровая анимация, в которой «разбросанные» пиксели складывались в слова HELLO MR. MURROW. Во второй же анимации, векторной, появлялась движущаяся точка, изображающая ракету, летящую по параболической траектории.
Первые компьютерные анимации, представленные на телешоу «Смотри сейчас», 16 декабря 1951 год
Genesys — система покадровой анимации
Дисплей Genesys
Genesys — программа, созданная Рональдом Майклом Беккером в 1969 году, суть которой заключается в использовании «волновых форм» для управления движениями анимированного персонажа. Эти формы были обобщены до «p-кривых», которые определяли, как изменяется положение персонажа в пространстве-времени. Таким образом, на дисплее рисовалась кривая, показывающая нужное движение, и уже затем по этому пути происходило движение персонажа.
Дисплей Genesys
Первый графический интерфейс
Создание объектов в компьютерной графике происходит через моделирование с помощью невидимой геометрии в пространстве Творчества, затем основанные на геометрии модели с помощью пикселей в пространстве Отображения визуализируются, тем самым становятся доступными для их просмотра на дисплее.
Как правило, компьютерная графика предполагает геометрию на входе и пиксели на выходе, при обработке изображений же пиксели получаются и на входе, и на выходе. Все это используется для создания изображений, отличие в том, что содержание компьютерной графики основано на геометрии пространства Творчества. А изображение — визуализация геометрических моделей внутри компьютера при помощи пикселей, которые отображаются на дисплее.
В 1968 году при финансовой поддержке ARPA в Сан-Франциско Дуглас Энгельбарт продемонстрировал первый в мире графический интерфейс персонального компьютера при помощи указывающего устройства собственного изобретения — компьютерной мыши, которая используется до сих пор. Демонстрация включала в себя гипертекстовые ссылки полноэкранное редактирование документов, контекстно-зависимую справку, сетевую совместную работу над документами, обмен сообщениями и даже включение видеоконференций.
Первый графический интерфейс и демонстрация на нем копирования и вставки текста, 1968 год
Sketchpad и проект PLATO
В 1962 году в MIT был впервые продемонстрирован Sketchpad Айвеном Эдвардом Сазерлендом. Это была программа для двумерного геометрического проектирования, с которой мог взаимодействовать пользователь. В дальнейшем сокурсник Сазерленда Тимоти Эдвард «Тим» Джонсон доработал Sketchpad для операций с трехмерным пространством и перспективой, однако эта версия программы не обрела такой известности, как первая. Одна из главных особенностей Sketchpad в том, что из нее был получен графический пользовательский интерфейс (GUI). Работая с этой программой, пользователь мог взаимодействовать с изображением, как с интерфейсом, изменяя модель, словно к ней прикасаясь.
Демонстрация работы Sketchpad, 1962 год
Проект PLATO (Programmed Logic for Automated Teaching Operations) был вдохновлен Дэном Алпертом, Доном Битцером и другими инженерами из Иллинойского университета. Эта программа позволяла студентам отвечать на вопросы, прикасаясь к определенному месту экрана, что по сути может являться предшественником сенсорных экранов. Многие современные концепции многопользовательских вычислений были впервые разработаны на PLATO, включая форумы, мгновенный обмен сообщениями, удаленное совместное использование экрана и многопользовательские видеоигры и т. д.
Проект PLATO, 1972 год
II. Первые цветные пиксели
«City-Scape»
Пиксель не содержит сам по себе цвета, у него есть лишь элементы управления им. Биты в цветном пикселе управляют тремя цифровыми каналами одного элемента цветного дисплея. Самые первые цветные пиксели в размере 6 бит (64 цвета) появились 31 марта 1967 года, в этот же день появилась первая цветная визуализация трехмерной модели — лунный модуль «Аполлон».
«City-Scape» — симулятор городского ландшафта в реальном времени профессора архитектуры Питера Камнитцера. Для его создания использовался симулятор лунной капсулы в 1968 году. Наконец, в этой симуляции присутствовал цвет, но очень примитивный, поэтому его иллюстрации в книге кинокритика Джина Янгблада «Расширенное кино» присутствовали только в чёрно-белом варианте.
Peter Kamnitzer, Cityscape, 1968
Peter Kamnitzer, Cityscape, 1968
SuperPaint
В 1973 году вышла первая графическая программа и кадровая буферная компьютерная система SuperPaint, создателем которой был Ричард Шоуп из Xerox PARC. Одной из особенностью было наличие цветовой палитры, сопоставляющей каждое из 256 значений пикселя с одним из 16 миллионов отображаемых цветов; 8 бит на входе, 24 бита на выходе. Меню программы состояло из ползунков выбора цвета: для оттенка H, для насыщенности S и яркости B.
Также в SuperPaint было несколько инструментов, основанных на геометрии. Один из них мог рисовать линии, другой — прямоугольники. В программе отображались зубчатый отрезок линии между любыми двумя точками. SuperPaint была первой программой, которая имела функцию сглаживания.
Демонстрация работы SuperPaint
«Sunstone»
Ed Emshwiller, Sunstone, 1979
Sunstone — экспериментальное концептуальное видео 1979 года Эда Эмшвиллера, ставшее первым образцом цветной растровой графики в коллекции нью-йоркского Музея современного искусства. Каждый кадр в нем — растр из пикселей. Для его создания использовались двумерные интерактивно нарисованные пиксели, оцифрованное видео в реальном времени и трехмерная компьютерная графика, сделанная уже не в реальном времени. Для создания нарисованных пикселей использовался Paint3. Это была трехмерная растровая графика с текстурным отображением и полным сглаживанием, однако, например, рендеринг последовательности взрывающихся кубов длительностью 18 секунд занял 56 часов.
Ed Emshwiller, Sunstone, 1979
«Приключение Андре и пчелки Уолли»
Elvy Ray Smith, The Adventures of André & Wally B., 1984
«Приключения Андре и Пчёлки Уолли» — первый компьютерный мультфильм в истории человечества студии «Lucasfilm Graphics Group» 1984 года режиссёра Элви Рэя Смита. Этот проект является настоящим художественным прорывом, поскольку в нем герои представлены не просто как подвижные объекты, а настоящие персонажи с эмоциями. В мультфильме демонстрировалась работа с программами для моделирования, анимации, рендеринга и записи фильмов, а также то, что проблема размытия в движении была решена (для этого был использован один из суперкомпьютеров компании Cray).
Elvy Ray Smith, The Adventures of André & Wally B., 1984
Elvy Ray Smith, The Adventures of André & Wally B., 1984
CAPS
Интерфейс CAPS
Computer Animation Production System (CAPS) — коллекция программного обеспечения, систем сканирующих камер, серверов, сетевых компьютерных рабочих станций и специальных столов, разработанных The Walt Disney Company и Pixar в конце 1980-х годов. Это компьютерная система для производства анимации, так, Disney впервые использовал CAPS для одной из сцен «Русалочке» 1989 года. «Спасатели в Австралии» 1990 года были полностью сделаны с помощью CAPS.
CAPS представляла собой цифровую систему чернил и красок, она позволяла раскрашивать замкнутые области и линии в компьютерной среде, используя неограниченную палитру, тем самым заменяя дорогостоящий процесс переноса анимированных рисунков на целлы с помощью туши или ксерографической технологии и окраски обратных сторон целл гуашью.
Демонстрация работы в CAPS
Кадры из «Спасателей в Австралии», 1990 год. Итог работы в CAPS.
RenderMan
Пример интерфейса RenderMan
RenderMan создан компанией Pixar и используется с 1986 года для создания визуальных эффектов и анимации. Реализация стандарта Renderman — это комплекс программ, вызываемых из командной строки и играющих определенную роль в процессе рендеринга. Стандарт различает понятия файлов описания сцены и геометрии — RIB-файлов, и файлов описания материалов — SL-файлов, или шейдеров.
Использование RenderMan в создании «Истории игрушек» Интерфейс RenderMan в SphereFX
Таким образом, RenderMan отделил художника от инструмента, технология стала доступной как для самих художников, так и для технических специалистов. Производительность процесса визуализации значительно повысилась, поскольку RenderMan установил общую основу для всех алгоритмов затенения. Так, произошел переход от конкретного к стандартному языку, к универсальности.
Интерфейс RenderMan в SphereFX
III. Дополненная реальность (AR)
Tilt Brush
В дополненной реальности синтезированное изображение в режиме реального времени комбинируется с отображением реального мира. То есть, реальный мир оцифровывается в режиме реального времени. Само устройство дополненной реальности синтезирует вымышленный мир и объединяет его пиксели с пикселями реального мира всё также в реальном времени.
В 2016 году вышло приложение виртуальной реальности Tilt Brush, разработанное Skillman & Hackett, для 3D-рисования в масштабе комнаты. Программа позволяет рисовать в трех измерениях с помощью мазков. Пользователям предоставляется виртуальная палитра, из которой они могут выбирать из множества типов и цветов кистей. Движение портативного контроллера в трехмерном пространстве создает мазки кисти, которые следуют в виртуальной среде.
Интерфейс Tilt Brush
Фрагменты из трейлера «Tilt Brush: Painting from a new perspective»
Так, например, художница Дарси Гербарг совмещает рисунки в виртуальной реальности с изображениями из реального мира, используя Tilt Brush и Adobe Photoshop. Принцип ее работы заключается в том, чтобы перемещаться, рассматривая трехмерные VR-мазки, наложенные на двумерные изображения, на экране мобильного телефона. После, понравившиеся сцены переносятся в Photoshop и изменяются.
Darcy Gerbarg, Floaty Arrangement, 2023
Darcy Gerbarg, Flirty Arrangement, 2023
Darcy Gerbarg, Infusion, 2024
Заключение
Появление пикселя и его дальнейшее развитие целиком повлияло на весь мир. Этот элемент изображения полностью объединяет историю Цифрового Света: компьютерную графику, обработку изображений, цифровую фотографию, интерфейсы приложений или операционных систем и т. д. Так, пройдя путь от первых черно-белых изображений до высококачественной графики с миллионами цветных точек, пиксель также показал развитие не только в технологиях, но и в художественном восприятии.
Смит, Элви Рэй Пиксель. История одной точки / Элви Рэй Смит. — Москва: Individuum, 2023. — 688 с. — ISBN 978-5-6048295-0-9.
Whirlwind I // Wikipedia: сайт. — URL: https://en.wikipedia.org/wiki/Whirlwind_I (дата обращения: 18.11.2024)
Spacewar! // Backloggd: сайт. — URL: https://www.backloggd.com/games/spacewar/ (дата обращения: 18.11.2024)
GENESYS: Interactive Computer-Mediated Animation // Content-animation: сайт. — URL: https://www.content-animation.org.uk/htmls/baecker_ca.htm (дата обращения: 18.11.2024)
Historic Firsts: Interactive Computing // Doug Engelbart Institute: сайт. — URL: https://dougengelbart.org/content/view/159/ (дата обращения: 18.11.2024)
Sketchpad // Wikipedia: сайт. — URL: https://en.wikipedia.org/wiki/Sketchpad# (дата обращения: 18.11.2024)
PLATO and the History of Education Technology (That Wasn’t) // HackEducation: сайт. — URL: https://hackeducation.com/2018/01/25/plato (дата обращения: 18.11.2024)
RenderMan // Pixar Вики: сайт. — URL: https://pixar.fandom.com/ru/wiki/RenderMan (дата обращения: 18.11.2024)
Tilt Brush — 3D рисование в виртуальной реальности // Shazoo: сайт. — URL: https://shazoo.ru/2014/09/24/24917/tilt-brush-3d-risovanie-v-virtualnoj-realnosti (дата обращения: 18.11.2024)
Смит, Элви Рэй Пиксель. История одной точки / Элви Рэй Смит. — Москва: Individuum, 2023. — 688 с. — ISBN 978-5-6048295-0-9.
ResearchGate: сайт. — URL: https://www.researchgate.net/figure/Digital-picture-from-the-Whirlwind-project-at-MIT-April-1952-The-MIT-storage-tube_fig3_279279099 (дата обращения: 18.11.2024)
Wikipedia: сайт. — URL: https://en.wikipedia.org/wiki/File:Strachey_draughts_ferranti.jpg (дата обращения: 18.11.2024)
SPACEWAR! REAL-TIME CAPABILITY OF THE PDP-1 // Masswerk: сайт. — URL: https://www.masswerk.at/spacewar/decus1962/ (дата обращения: 18.11.2024)
Spacewar! — PDP-1 — One of the First Video Games (MIT 1962) // YouTube: сайт. — URL: https://www.youtube.com/watch?v=Rmvb4Hktv7U&t=17s (дата обращения: 18.11.2024)
See It Now: Jay W. Forrester and the WHIRLWIND Computer — (1951) // YouTube: сайт. — URL: https://www.youtube.com/watch?v=5ZQP4G3Qwb4&t=73s (дата обращения: 18.11.2024)
GENESYS: Interactive Computer-Mediated Animation // Content-animation: сайт. — URL: https://www.content-animation.org.uk/htmls/baecker_ca.htm (дата обращения: 18.11.2024)
1968 «Mother of All Demos» by SRI’s Doug Engelbart and Team // YouTube: сайт. — URL: https://www.youtube.com/watch?v=B6rKUf9DWRI&t=104s (дата обращения: 18.11.2024)
Historic Firsts: Interactive Computing // Doug Engelbart Institute: сайт. — URL: https://dougengelbart.org/content/view/159/ (дата обращения: 18.11.2024)
Ivan Sutherland’s Sketchpad // YouTube: сайт. — URL: https://www.youtube.com/watch?v=5RyU50qbvzQ&t=1s (дата обращения: 18.11.2024)
Chapter 1 Historical Perspective // SlidePlayer: сайт. — URL: https://slideplayer.com/slide/13436616/ (дата обращения: 18.11.2024)
PLATO // University of Illinois Urbana-Champaign: сайт. — URL: https://grainger.illinois.edu/news/magazine/plato (дата обращения: 18.11.2024)
X: сайт. — URL: https://x.com/dancaroselli/status/1753246657230278756 (дата обращения: 18.11.2024)
Early Digital Paint Systems Demonstration–Narration by Alvy Ray Smith // YouTube: сайт. — URL: https://www.youtube.com/watch?v=nHkxem785B4 (дата обращения: 18.11.2024)
Sunstone // IMDb: сайт. — URL: https://www.imdb.com/title/tt0348146/ (дата обращения: 18.11.2024)
Sunstone (1979) // YouTube: сайт. — URL: https://www.youtube.com/watch?v=tMW15OajuKc (дата обращения: 18.11.2024)
Приключения Андрэ и пчелки Уэлли // Кинопоиск: сайт. — URL: https://www.kinopoisk.ru/film/196667/stills/page/1/ (дата обращения: 18.11.2024)
Трейлер мультфильма — Приключения Андре и Пчёлки Уолли // YouTube: сайт. — URL: https://www.youtube.com/watch?v=-zmDtwVGLlI (дата обращения: 18.11.2024)
Disney’s CAPS (Computer Animation Production System [1989-2006]) was a collection of proprietary hardware and software developed by Pixar and Disney to modernize 2D animation production. CAPS was replaced by Toon Boom Harmony in 2007. // reddit: сайт. — URL: https://www.reddit.com/r/vintagecgi/comments/1f1nibr/disneys_caps_computer_animation_production_system/?rdt=50285 (дата обращения: 18.11.2024)
The Rescuers Down Under — The Making of The Rescuers Down Under // YouTube: сайт. — URL: https://www.youtube.com/watch?v=2sR-oiHha1g (дата обращения: 18.11.2024)
RENDERMAN: сайт. — URL: https://renderman.jp/interfaceFeatures.html (дата обращения: 18.11.2024)
The Story Behind Pixar’s RenderMan CGI Software // IEEE Spectrum: сайт. — URL: https://spectrum.ieee.org/story-behind-pixars-cgi-software (дата обращения: 18.11.2024)
Tilt Brush — 3D рисование в виртуальной реальности // Shazoo: сайт. — URL: https://shazoo.ru/2014/09/24/24917/tilt-brush-3d-risovanie-v-virtualnoj-realnosti (дата обращения: 18.11.2024)
Tilt Brush: Painting from a new perspective // YouTube: сайт. — URL: https://www.youtube.com/watch?v=TckqNdrdbgk (дата обращения: 18.11.2024)
Darcy Gerbarg: сайт. — URL: https://www.darcygerbarg.com/ (дата обращения: 18.11.2024)
Freepik: сайт. — URL: https://www.freepik.com/free-photos-vectors/dot-gradient (дата обращения: 19.11.2024)
