Dieser Post ist auch verfügbar auf: Английский

Сенсор для интерактивного глобуса

На исследовательской стадии работы над полусферической поверхности большого диаметра были изучены все существующие мультитач технологии. Для упрощения принятия решения была создана таблица сравнений (compare table), где были сопоставлены все известные мультитач технологии по следующим критериям: • мультитач (Мultitouch) • величина поверхности (Surface Size) • возможная кривизна (сфера) поверхности (Curved surface) • прозрачность поверхности (Transmissivity/optics) • компактность инсталляции (All-in installation) • чувствительность к освещённости (Сensitive to ambient lighting conditions) • чувствительность к вибрации (Sensitivity to Vibration) Первая группа не подходила к решению задач на сферической поверхности (например: SAW и инфракрасная-рамка, резистивные и ёмкостно-поверхностные решения). Ко второй группе относятся технологии не позволяющие дать решение сохраняющее прозрачность экрана, такие как: “в ячейке” резистивные и “в ячейке” инфракрасная.

Ёмкостное мультитач решение

К третьей группе относятся технологии, которые требуют установки дополнительного оборудования в помещении (например, видео камер, отражателей, перчаток, штифта или датчиков). Отдельно требуется пояснение причин отказа от подхода, используемого фирмой Microsoft в устройствах Kinect. Kinect использует инфракрасный передатчик для получения шаблона ближайших точек, отразивших инфракрасные лучи. Искажение этого шаблона и измерения времени, которое потребовалось для отражения всех лучей от объектов в этом пространстве позволяет создавать точные карты глубины пространства перед камерой. Изменения обновляются 30 раз в секунду и позволяют точно обнаружить движения, распознать лица и решать другие задачи. Здесь важно определить, что означает “точные” в предыдущем предложении. Kinect способен “видеть” объект на расстоянии от 1,2 до 3,5 метров от камеры, с достаточно ограниченным восприятием в диапазоне от 0,7 до 6 метров. Обзор (угол видемости) составляет 57º по горизонтали и 43º по вертикали. Карта глубины с точностью до около 1см. Эти данные ясно показывают, что движение и жест обнаруживаемый с использованием Kinect просто не будет работать на поверхности сферического экрана, так как точность не достаточно высока и угол зрения камеры является слишком узким. Но в нашем случае этот подход неприемлем по причинам того, что надо реагировать только на жесты, произведённые непосредственно на поверхности Глобуса, поэтому не существует единой точки позволяющей видеть все возможные точки касания одновременно.

Мультитач решение Майкрософта: Кинект

Таким образом, остаётся только два подхода:

1. Проективно-Инфракрасный (projective infrared) – это когда источники и приёмники инфракрасного излучения находятся с внутренней стороны мультитач поверхности.

Это решение имеет целый ряд недостатков: • Чуствительность к вибрации. • Чуствительность при воздействии прямых солнечных лучей на качество и функциональность системы. Так например, исключена возможность использования этого подхода в открытых и незащищённых от прямых и отраженных солнечных лучей в помещениях. • Чуствительность при воздействии отражённых солнечных лучей (солнечных зайчиков). • Чувствительность к изменению освещённости в помещении (например: включение/выключение света), • Сбои при загрязнении поверхности.

Инфрокрасное решение

2. Проективно-ёмкостное (Projective Capacitive – PCT) – это когда датчики в виде сетки электродов (возможно и просто проволочек) нанесены на внутреннюю сторону поверхности.

За счёт измерения изменений емкости, при касании пальцем поверхности, вычисляется координата этой точки. Для реализации этого подхода сначала необходимо было найти способ или разработать технологию позволяющую нанесение проводников (проволочек) внутри сферической поверхности. При попытке использования “баблинга” (надувание), при изготовление сферы из плоскости – все провода порвутся от натяжения. Приклеить проводки на внутренней поверхности сферы невозможно поскольку при натяжении приклеиваемого проводка он безусловно отрывается от поверхности сферы, т.к. расстояние по прямой между двумя точками внутри сферы больше длинны хорды, т.е. поскольку при приклеивании происходит его натяжение, и он стремиться оторваться от поверхности сферы. Попытки использования фолий заранее обречены, по тем-же причинам, по которым невозможно без складок завернуть футбольный мяч в платок. Следующую проблема – отсутствие МТ решения (в смысле контроллера) на такую большую поверхность. Имелись решения для сингл-тачь или решения для поверхностей не превышающую 21″ (например: N-Trig).

Projective capasitive solution Grid with gluing wires

Поскольку ёмкостное решение не было разработано в установленное проектом временные рамки, было принято решение реализовать на корабле инфракрасное решение.

Инфракрасное решение для Интерактивного Земной шар (Globe/Globus/Глобус)

Суть этого решения заключается в том, что несколько источников инфракрасного излучения устанавливается за поверхностью экрана, т.е. внутри шкафа. Эти источники целенаправленно освещают внутреннюю поверхность экрана.

Пальцы пользователя отражают во внутрь эти излучения. В качестве сенсоров (приёмников) могут служить Инфракрасные камеры (аналогичные приборам ночного видения).

В нашем случае мы не можем обойтись одной единственной камерой, поэтому были использованы две, которые покрывали (т.е. видели) всю внутреннюю поверхность ГЛОБУСа (нашего экрана). Поскольку глубина шкафа была ограничена 25 см., то в нашем случае было недостаточно использовать простые короткофокусные камеры, нам необходимо было, как и в случае с проектором, решать проблемы за счёт специальной оптики. Поскольку в нашем случае использовалось более одной камеры, то была необходима программа, позволяющая решать проблемы ститчинга – совмещения многих картинок в одну. Кроме того нам требовалась программа калибровки т.е. соотношение координат на нашем экране с координатами на картинке приёма изображения. Одним из самых главных программных компонентов является ТРЕККЕР – позволяющий следить за координатами точек соприкосновения с поверхностью, а самое главное определение того факта, является ли это новым прикосновением (тачем) или продолжением непрерывной линии. Безусловно, была так же использованна компонента передающая операционной системе (Windows 7) координаты и типы гестур.

Инфракрасное решение

Ёмкостной мультитач для полусферического экрана.

значально были известные недостатки инфракрасного решения.
Поэтому было принято решение найти подходящее проективно-ёмкостное решение и, при этом, необходимо было решить две задачи одновременно:
1. Разработать технологию приклеивания медных (или других) тончайших проволочек во внутреннюю поверхность полусферы.

Назовём эту подзадачу условно “ёмкостной-экран”.
2. Разработать технологию позволяющую получать информацию о изменении ёмкостной характеристики в точках прикосновения пальцами,
при этом на экстремально большом экране (~2 метра).
Назовём эту подзадачу условно “контроллер”.

Ёмкостной мультитач: первая попытка создания.

На этапе исследования был найден молодой португальский стартап (StartUp), который взялся за решение этих проблем. Ими был успешно разработан прототип – полусфера размером около 40 см в диаметре. Результаты были более, чем убедительны! Но, на этом успех и закончился.

PCT multitouch prototype

Попытка на плоском экране (1,40 х 1,40 с шагом 7 мм между проволочками) получить устойчивый сигнал и вычислить координаты касания – увенчалась провалом.
Экран вёл себя как антенна и помехи были до такой степени большие, что сигнал в месте прикосновения невозможно было определить.
Попытки решить проблему путём удвоения шага с 7 мм до 14 мм между проволочками ни к чему не привели.
Параллельно, португальцами была предпринята попытка создания робота, который способен проложить и приклеить проволочки по внутренней поверхности полусферы. И здесь в начале всё выглядело перспективно. На тестовой полусфере было проложено и приклеено несколько рядов медных проволочек. Дальнейших продвижений и в этом направлении не было.

Surface with gluing wires: bad quality

По всей видимости, остались нерешёнными следующие проблемы:
1. Параллельность рядов
2. За то время когда клей начинал уже затвердевать не удавалось проложить и приклеить все 128 рядов проволочек.
Поэтому приходилось распылять клей повторно.
А это приводило к тому, что свеже нанесенный слой клея растворял нанесенные ранее слои, что приводило к отклеиванию, ранее приклеенных проволочек.
3. По тем же причинам не удавалось провести и приклеить перпендикулярные ряды проволочек, т.к. они растворяли нижний слой.
4. Клей не удавалось нанести равномерно, поэтому были видны разводы.
Таким образом, экран терял свои качества чёткости изображения.

Surface with gluing wires: bad quality

Как только возникшие проблемы стали очевидны – был возобновлён поиск фирмы, способной решить проблемы.
И такая фирма была найдена в Эстонии – стране подарившей человечеству Скайп.

Эстонские решения для ёмкостного экрана

Для начала было проведено исследование по подбору подходящего клея. Кроме оптических качеств, особое внимание было сосредоточено на том, что бы последующий слой клея не растворял предыдущий. После того, как состав клея был подобран, решение задачи перешло к инженерам механикам.
Они создали полуавтомат (не все процессы удалось автоматизировать) для прокладки и приклеивания тончайших проводов. Это оборудование универсально и способно приклеивать проводники к полусферам диаметра до 3 метров!

Robot for laying and gluing thin wire

При этом были решены следующие проблемы:
1. Абсолютная параллельность рядов.
Минимально выставляемый шаг: 1 мм.
Таким образом, в зависимости от потребности, возможно приклеивать параллельные проводники на расстоянии одного и более миллиметра.

2. Обеспечение непрерывности и прямолинейности приклеиваемого проводника.
Это обеспечивалось оригинальным механизмом подачи проволочки и достаточным временем процесса самого приклеивания, позволяющего “прихватить” проволочку к поверхности.
Тем самым, не дать ей больше отклеиться, не смотря на силу натяжения.

3. Механическая не повреждаемость при приклеивании проволочек.
При неправильном выборе силы прижима проволочки к поверхности, при приклеивании первого слоя, так и перпендикулярного второго,
возникает опасность повреждения, как самой поверхности сферы, так и нанесенных ранее проводников.
Эта проблема была решена за счет тщательного подбора самого материала прижима и его геометрии.

Domed surface: backside with wires and electronic

Domed surface: backside with wires

Эстонские решения для ёмкостного контроллера.r

Для получения удовлетворительной резолюции, с учётом размера экрана (1 м в диаметре), было реализована сетка состоящая из 128 линий по вертикали на 128 линий по горизонтали.
Это соответствовало шагу около 7,8 миллиметра.

Изначально было понятно, что классический ёмкостной (PCT) подход не годится, т.к. экран слишком велик.
Поэтому эстонская компания, основанная на бывших сотрудниках Эстонской Академии Наук, и на учёных из Таллиннского технического университета, применила иной подход.
Сетка 128х128 на внутренней поверхности полусферы давала 16384 клеток.
Таким образом, задача была сведена к тому, чтобы определить наличие или отсутствие касания в каждой из клеток за счёт измерения изменения сигнала в каждой клетке.
Этот подход в современной литературе называется digital capacitive (дигитально ёмкостным).

Специалистам понятно, что для этого должен был быть правильно подобран референсный сигнал и применены, специальные алгоритмы цифровой обработки для выделения сигнала из шума для достоверного определения факта касания.

Projective capacitive digital multi-touch solution