Технологии визуализации: от космических миссий до карманных камер
Технологии камер совершили колоссальный скачок в XX и XXI веках, однако одним из самых значимых достижений стало создание CMOS-сенсора. Это изобретение, получившее название «камера на чипе», сделало возможным повсеместное использование компактных камер высокого разрешения. Истоки технологии восходят к потребностям NASA: агентству требовались миниатюрные, энергоэффективные устройства, способные снимать в высоком качестве на борту межпланетных космических аппаратов.
Изобретатель «камеры на чипе», доктор Эрик Р. Фоссум, не только открыл новую эру в космической фотографии, но и заложил фундамент для множества современных отраслей, работающих с микрокамерами. Его разработка фундаментально изменила мир.
От кинопленки и CCD к «камере на чипе»
До появления CMOS-сенсоров в фотографии и видеосъемке доминировали фотопленка и более совершенные приборы с зарядовой связью (ПЗС, или CCD). В ходе миссии «Аполлон-11» использовались специально созданные камеры Hasselblad. Они были слишком тяжелыми для возвращения на Землю, поэтому астронавты оставляли оборудование на Луне, забирая с собой только отснятую пленку, которая хранится там по сей день.
Технология CCD стала прямым предшественником «камеры на чипе» доктора Фоссума. В таких сенсорах фотоны регистрировались отдельными пикселями, которые передавали электрический заряд на общий усилитель считывания построчно. Несмотря на значительное снижение веса и улучшение качества изображения по сравнению с пленочными аналогами, CCD-камеры страдали от высокого энергопотребления и сильного нагрева.
CMOS-сенсоры усовершенствовали конструкцию CCD, снабдив каждый пиксель локальной схемой преобразования и собственным усилителем. Это позволило считывать информацию со всех пикселей одновременно, существенно сокращая энергозатраты на каждый кадр и уменьшая тепловыделение. Сегодня CMOS-сенсоры лежат в основе работы большинства современных камер: от смартфонов и дверных глазков до систем помощи водителю в беспилотных автомобилях и космических аппаратов.
Интервью с доктором Эриком Фоссумом
Отвечая на вопрос о влиянии своего изобретения на общество, доктор Фоссум признался, что предполагал повсеместное распространение технологии, но был не уверен в реальности такого сценария из-за множества неизвестных факторов. Он не предвидел влияния на социальные сети, гражданскую журналистику и социальную справедливость — будь то защита законопослушных граждан или выявление правонарушений со стороны полиции. Также ученый выразил обеспокоенность тем, как развитие технологий отразилось на вопросах конфиденциальности и свободы.
Комментируя роль Лаборатории реактивного движения (JPL) NASA в развитии цифровой визуализации, Фоссум отметил, что агентство всегда было лидером в этой области. Еще в 1961 году Юджин Ф. Лалли из JPL первым предложил концепцию «мозаичного» захвата изображения (массива пикселей). JPL разрабатывало высокоточные технологии для работы в экстремальных условиях космоса, охватывающие более широкий диапазон длин волн, чем потребительские продукты. Должность самого Фоссума в JPL была создана специально для укрепления компетенций лаборатории в области CCD-технологий.
Вспоминая недавнюю миссию Artemis II, ученый отметил важность возвращения человечества на орбиту Луны. Ему показалось символичным, что в этой миссии использовались камеры, базирующиеся на технологиях, которые изначально были изобретены NASA, а затем успешно внедрены в смартфоны и потребительские устройства, выполнив обещание сделать камеры быстрее, дешевле и лучше.
На текущий момент доктор Фоссум занимается в Дартмутском колледже исследованиями сенсора изображений Quanta (QIS). Название, происходящее от множественного числа слова «квант», отражает суть работы устройства, которое отличается от обычных CMOS-сенсоров принципами обработки световых сигналов на квантовом уровне.
Технологии сенсоров QIS: CMOS против SPAD
В CMOS-сенсорах квантового изображения (QIS) благодаря ультранизкому уровню шума считывания впервые стало возможно различать отдельные фотоны по генерируемым ими фотоэлектронам. Это позволяет с высокой точностью подсчитывать количество фотоэлектронов в каждом пикселе при комнатной температуре, при низком напряжении и без использования лавинного усиления.
Разработанная в Дартмутском колледже, а затем в спин-офф компании Gigajot, технология CMOS QIS по сути представляет собой CMOS-сенсор изображения, использующий внутрипиксельную передачу заряда (изобретенную в JPL) и экстремально низкую емкость узла считывания. Это позволяет генерировать сигнал напряжения, достаточный для преодоления фонового теплового шума кремния даже от одного фотоэлектрона. Концепция QIS сама по себе технологически нейтральна, так как её суть заключается в создании качественных изображений путем обработки фотонов по отдельности.
Технология однофотонных лавинных фотодиодов (SPAD) за последние 20 с лишним лет значительно продвинулась и также становится востребованной для реализации сенсоров изображения. SPAD QIS обладает более крупными пикселями и потребляет значительно больше энергии, чем CMOS QIS, однако он обеспечивает более точную временную метку прибытия фотонов на пиксель и производится по литейному процессу, который легко интегрируется с CMOS-схемами.
Влияние IEEE на профессиональный путь
Я являюсь членом IEEE со студенческих лет и со временем получил звание Life Fellow. Профессиональные сообщества крайне важны для распространения передовых исследований среди экспертов, и IEEE не является исключением. Я опубликовал множество работ под эгидой IEEE в таких областях, как электронные приборы и твердотельные схемы, а также извлек пользу из посещения мероприятий организации, таких как Международная конференция по электронным приборам (IEDM) и Международная конференция по твердотельным схемам (ISSCC). Кроме того, IEEE был партнером на заре создания Международного семинара по сенсорам изображения, который я и мои коллеги основали в 1986 году.
Будущее потребительских сенсоров и «интеллектуальные» вычисления
В ближайшей перспективе потребительские сенсоры изображения выигрывают от 3D-интеграции и многослойных (stacked) устройств. Внутрикристальная интеграция более сложных функций, включая «умные» возможности или периферийные вычисления (edge computing), открывает новые пути для улучшения захвата и анализа изображений непосредственно в фокальной плоскости. О таких решениях я мечтал еще в 1980-х, когда исследовал и писал о «умных» сенсорах и обработке изображений в фокальной плоскости, однако тогда время для них еще не пришло.
Что касается обработки внутри сенсора (PIS), которая объединяет вычисления, сам сенсор и память в единую систему, то я размышляю над этим с начала 1980-х годов, когда учился в Йельском, а затем в Колумбийском университете. Хотя я не знаком с аббревиатурой PIS (возможно, это неудачный термин), я считаю, что эффективность такого подхода сильно зависит от конкретного приложения. Существует проблема передачи данных и параллельных вычислений: если локальные вычисления в пикселе реализовать легко, то глобальный анализ изображения, требующий сопоставления данных из разных областей сенсора, в фокальной плоскости по-прежнему остается сложной задачей. Вероятно, оптимальным решением будет не увеличение энергопотребления самого сенсора, а разделение системы на два уровня: локальные вычисления в фокальной плоскости и региональная или глобальная обработка данных за ее пределами.
Хранение данных и профессиональное признание
Я не занимался экзотическими системами хранения данных глубоко, хотя в компании Photobit, нашем спин-оффе из JPL, мы сотрудничали как со стартапами, так и с гигантами вроде AT&T Bell Labs, работая над считыванием данных для голографической оптической памяти. В то время мы были сфокусированы исключительно на чипе сенсора изображения и высокоскоростном считывании.
Относительно медали IEEE имени Дзюн-ити Нисидзавы: признание со стороны коллег за профессиональные достижения всегда приятно. Тем не менее, это событие заставляет чувствовать скромность и вспоминать замечательных людей, с которыми мне довелось работать на протяжении многих лет. Было огромной привилегией пройти этот путь вместе с ними. Как я всегда подчеркиваю, удивительная технология CMOS-сенсоров, которой мы пользуемся каждый день, стала возможной благодаря упорному и инновационному труду тысяч инженеров по всему миру.
Использование ИИ: польза и вопросы безопасности
Я считаю, что инструменты искусственного интеллекта отлично экономят время при поиске и систематизации информации. Я часто узнаю много нового благодаря их кажущейся осведомленности, а порой — и благодаря их инсайтам. В последнее время я активно использую Co-Pilot.
Тем не менее, меня всегда беспокоит вопрос о том, с кем именно — напрямую или косвенно — я делюсь своей информацией и идеями. Я убежден, что это та тема, над которой нам всем следует задуматься, задавая при этом острые вопросы гигантам индустрии искусственного интеллекта.
Обо мне
Дезире занимается анализом и написанием материалов о технологиях на протяжении всей своей сорокалетней карьеры. Он пробовал свои силы в создании сайтов и веб-хостинге еще в те времена, когда были популярны DHTML и фреймы, а начал рассуждать о влиянии технологий на общество незадолго до начала истерии вокруг «проблемы 2000 года» (Y2K) на рубеже последнего тысячелетия.
Комментарии
Вы должны подтвердить свое публичное отображаемое имя перед тем, как оставить комментарий. Пожалуйста, выйдите из системы и войдите снова; после этого вам будет предложено ввести отображаемое имя.
Дополнительный контекст разработки и влияние CMOS
Важно отметить, что термин «камера на чипе» (camera-on-a-chip) стал не просто маркетинговым описанием, а идеологическим фундаментом для целой индустрии микрокамер. До появления разработки Эрика Фоссума технология CCD, несмотря на свои преимущества в качестве изображения по сравнению с пленкой, оставалась громоздкой и требовательной к ресурсам. Проблема CCD заключалась в архитектуре: детектирование фотонов происходило посредством передачи электрического заряда через всю матрицу к единственному усилителю считывания. Этот «бутылочное горлышко» в виде построчного считывания требовало высоких напряжений, что неизбежно вело к значительному тепловыделению и высокому энергопотреблению.
В отличие от этой схемы, CMOS-сенсоры совершили революцию, наделив каждый отдельный пиксель собственным локальным контуром преобразования и усилителем. Это позволило считывать все пиксели одновременно (параллельно), что стало ключом к созданию миниатюрных, энергоэффективных устройств. Именно это техническое решение позволило «затолкать» полноценную камеру в современные смартфоны, системы наблюдения и высокотехнологичные датчики для беспилотного транспорта.
О технологической преемственности и «мозаичном» видении
Связь доктора Фоссума с JPL подчеркивает, что развитие цифровой визуализации было глубоко интегрировано в научные исследования космоса. JPL по сути выполнял роль передового центра, подобного Xerox PARC, но с фокусом на экстремальные условия. Юджин Ф. Лалли еще в 1961 году сформулировал идею «мозаичного» захвата изображения, которая подразумевала использование массива пикселей — концепцию, ставшую основой для всей современной цифровой фотографии. Работа самого Фоссума в JPL была сознательно сфокусирована руководством лаборатории на укреплении «скамейки запасных» в области CCD-технологий, что в итоге привело к созданию более совершенного CMOS-решения.
Будущее сенсоров: от обработки на периферии до ИИ
В вопросах дальнейшего развития, таких как Processing-in-sensor (PIS), Фоссум выражает осторожный оптимизм. Он подчеркивает, что ключевая проблема заключается в архитектурном разделении: пока локальные вычисления непосредственно в пикселе просты в реализации, глобальный анализ изображений (где требуется сопоставление данных из разных областей сенсора) остается крайне сложной задачей. По мнению ученого, архитектура систем будущего, вероятно, будет строиться на гибридном подходе: комбинации локальных вычислений в фокальной плоскости и региональной обработки данных вне сенсора, чтобы избежать критического роста энергопотребления.
Что касается инструментов, помогающих в работе, Фоссум активно использует современные AI-ассистенты, например Co-Pilot, отмечая их высокую эффективность в поиске и кураторстве информации. Однако он призывает технологическое сообщество не забывать об «острых вопросах» конфиденциальности, задаваясь вопросом, кому именно передаются идеи и данные при использовании алгоритмов крупнейших корпораций.
