Начать следует с того, что среди органов чувств человека главенствующая роль отводится органам зрения. Объясняется это способностью человека правильно и быстро оценивать визуальную информацию, воспринимаемую глазами, другими словами, способностью выделять такие неэлектрические характеристики объектов окружающего мира, как яркость, форма, цвет, удаленность, объемность, качество, а также размеры. Зрительный аппарат высокоорганизованных живых существ, включая и человека, работает, таким образом, что фокусируемое на сетчатке глазного дна изображение через зрительные нервы и проводящие пути центральной нервной системы передается в зрительные центры головного мозга, где возникает зрительное ощущение. Именно мозг обеспечивает основную обработку и осмысливание поступающих образов. Поэтому методология обработки визуальной информации, как наиболее типичной формы методологии распознавания образов является классическим примером современной проблематики искусственного интеллекта, о котором будет сказано далее. Хотя зрительные образы и изображения носят электрическую природу, они могут содержать информацию о неэлектрических характеристиках и параметрах объекта, который их представляет. Поэтому рассмотрение данного вопроса представляет интерес в рамках этого пособия.
Приборы, обеспечивающие техническое зрение роботов, называются визуальными датчиками и функционально подобны глазам человека, причем после преобразования датчиками оптического изображения в электрический сигнал вся основная обработка информации ведется ЭВМ. Чрезвычайно низкая скорость обработки при использовании подобных методов явилась причиной развития в США и Японии тенденции создания специализированных больших интегральных схем, предназначенных для типовых способов и алгоритмов обработки информации в форме двумерных изображений.
Способы обработки зрительной информации, поступающей в форме изображений от визуальных датчиков, можно разделить на две группы:
- способы, базирующиеся на методологии искусственного интеллекта, с характерной для них логической последовательностью организации обработки, что позволяет производить анализ и классификацию сравнительно сложных изображений (например, распознавание многогранников);
- способы изначально прикладной ориентации, целью которых является обеспечение требуемого быстродействия обработки информации, как правило, для ограниченного числа изображений объектов.
В первом случае исследования ориентированы на создание универсальной системы технического зрения — «глаз» ПР, во втором — на создание узкоспециализированной СТЗ с характеристиками, определяемыми потребностями промышленности.
Технология обработки информации
... человека в мире окружает море информации различных видов. Целью моей дипломной работы является изучение принципов обработки информации по ее форме представления, способам ее кодирования и ... и недостаточно точных средств ее фиксации. Полнота информации Точность информации Актуальность информации Полезность (ценность) информации Самая ценная информация - объективная, достоверная, полная, и актуальная. ...
гибких производственных систем
При создании адаптивных роботов весьма существенную роль среди возможных средств очувствления отводится СТЗ, обеспечивающим восприятие видеоинформации об окружающей среде, автоматическую обработку и анализ изображений рабочих сцен в целях формирования команд управления роботом в процессе работы.
Разработчики СТЗ роботов во многом опираются на опыт более традиционных применений технического зрения в устройствах промышленной автоматики и телемеханики, телевидении, дефектоскопии, при обработке фотоснимков, изображений биологических препаратов, текстов и т.п. В ряде случаев удается использовать те или иные из созданных ранее технических средств, методических решений, алгоритмов и программ или же приспособить их к задачам робототехники с небольшой модификацией.
2. Основные функциональные задачи СТЗ
видеосенсора
Основные задачи СТЗ, характерные для робототехнических приложений, можно разделить по уровню их относительной сложности. К элементарным задачам обычно относят: обнаружение наличия объекта; измерение расстояния до объекта; его линейных или угловых перемещения, скорости; измерение геометрических параметров объекта (линейных и угловых размеров, площади и т.п.) определение физических характеристик излучения от объекта (интенсивности, спектрального состава и пр.); подсчет числа объектов и др.
Более сложный круг задач выполняет, например, СТЗ, которая снабжает систему управления манипуляционного робота информацией, необходимой для захватывания неупорядоченных объектов. В число этих задач входят: обзор рабочей сцены (плоской или пространственной) для поиска представляющего интерес объекта — одиночного или одного из нескольких, лежащего изолированно от других или соприкасающегося (перекрывающегося) с ними; определение местоположения и ориентации этого объекта; его классификация (если имеется несколько различных классов объектов).
При этом объекты могут различаться не только размерами и формой (силуэтом), но и текстурой, цветом и т.п., покоиться и находится в движении. Это пример иллюстрирует тот факт, что относительная сложность функциональных задач СТЗ характеризуется целым рядом признаков, среди которых можно выделить следующие:
- размерность рассматриваемой сцены;
- степень изолированности объектов;
- однородность объектов;
- стационарность рабочей сцены;
- число элементов изображения;
- число градаций яркости;
- спектральный состав видеосигнала.
Общая функциональная схема очувствленного робота, снабженного СТЗ (возможно с другими датчиками внешней информации), представлена на блок-схеме рисунка 1. Сенсорная система робота должна снабжать его систему управления информацией о текущей ситуации во внешней среде: наличии, типе, параметрах, местоположении и ориентации объектов манипулирования (воздействия); правильности и качестве выполнения роботом технологических операций и/или других действий; существований препятствий и путях их обхода и т.д. В систему управления поступают также задания (команды) роботу от человека, оператора, других роботов, ЭВМ высших уровней, технологического оборудования или иных устройств. В современных робототехнических системах наиболее предпочтительна многоуровневая иерархическая структура управления.
Поняття переведення на іншу роботу
... пропонувалося ввести в законодавство різні визначення, а саме: переведення на іншу роботу, переведення на роботу з іншими істотними умовами праці, переведення на роботу в інший колектив, переведення на роботу в іншу місцевість [8,с.74]. Починаючи з 90-х років ...
Информация от СТЗ, вообще говоря, может поступать на разные уровни системы управления. Например, данные о расположении препятствий бывают нужны на высшем уровне для построения модели рабочей среды в целях планирования действий робота; результаты классификации объектов могут потребоваться на стратегическом уровне для расчленения общего плана действий на конкретные манипуляционные операции, задания их последовательности и параметров; сведения о местоположении и ориентации объектов необходимы для формирования на тактическом уровне требуемых движений рабочего органа и звеньев манипулятора, по которым, в свою очередь, строятся программные законы согласованного изменения соответствующих степеней подвижности; информация об отклонении фактической траектории (скажем сварного шва) от запрограммированной может быть использована непосредственно на исполнительном уровне для выработки управляющих сигналов на приводы при отработке программы в целях коррекции перемещения рабочего органа робота.
Рисунок 1 Структурная схема (СТЗ)
В рольных робототехнических системах часто трудно разграничить задачи описанных уровней управления. Функции верхних уровней во многом берет на себя человек оператор. Нижний уровень управляющей системы физически может быть реализован непосредственно в силовых блоках исполнительных устройств, а другие уровни обычно строятся на базе универсальных или специализированных вычислительных блоков.
3. Этапы формирования изображения
Этап формирования изображений включает следующие под этапы: настройка системы, в том числе подбор освещения рабочей сцены; аналоговые преобразователи видеосигнала; соответственно ввод изображения в ЭВМ или другое решающее устройство; предварительная обработка оцифрованного изображения в соответствии с различными алгоритмами его «улучшения» и сжатия информации в целях облегчения дальнейших этапов технического зрения.
Настройка СТЗ
Алгоритмы автоматизированной настройки системы очень сильно зависят от используемой аппаратуры (датчиков, источников света, вычислительных средств, оборудования рабочей среды), а также от конкретного вида рассматриваемой сцены (типов объектов, степени их изолированности, фона, наличия известных особенностей в поле зрения для «привязки» СТЗ).
Обычно алгоритмы освещения сцены сводятся к заранее задаваемым жестким программам управления моментами включения и выключения осветительных приборов в определенном порядке и др. В ряде современных систем применяется управляемая подстройка интенсивности источников света и/или их пространственной направленности, которая осуществляется в контуре обратной связи по специальным программам до удовлетворения выбранных критериев зрительного восприятия. Концептуально эти процедуры близки к алгоритмам подбора параметров яркости и контрастности в видеоканале СТЗ, с которыми они, вообще говоря, должны использоваться совместно, дополняя друг друга. Это же относится и к автоматизированному выбору светофильтров, согласованно устанавливаемых как перед источниками, так и перед приемниками излучения.
Система технического проектирования
... процесс проектирования, его стадии, структуру. Но главной нашей задачей является изучение системы технического проектирования и технического проекта, ... и их графическими изображениями (чертежи, эскизы, компьютерные модели). Эти модели и изображения, а также ... эксплуатации. Стадии создания других систем регламентируются своими стандартами, например, для автоматизированных систем - ГОСТ 34.601-90. ...
Автоматизация настройки видеосистемы предусматривает также наведение видеосенсора на нужный объект — выбор поля зрения, фокусировку и диафрагмирование объектива. При рассмотрении сцен с изолированными объектами определяется такое расположение камеры и такие параметры оптического тракта, при которых объекты полностью попадают в заданную рамку; в других случаях эту рамку можно наложить на нужный фрагмент сцены, «привязывая» ее к некоторым характерным точкам. В робототехнической практике получили распространение алгоритмы грубо-точного наведения, когда сначала поле зрения выбирают приближенно на основе наиболее резких отличий объекта от фона (по яркости, цвету, текстуре и т.д.), а затем интерактивно уточняют с увеличением разрешающей способности и нахождением более тонких характеристик. Появляются системы наведения, в которых используется более одного видеосенсора. Так, в СТЗ мобильного робота применяется одна подвижная камера с широкоугольным объективом, служащим для осмотра всей сцены, а вторая — с длиннофокусным объективом — наводится на выбранные участки для их укрупненного рассмотрения.
Аналоговые преобразования
Алгоритмы аналоговых преобразований видеосигнала на стадии формирования изображения в СТЗ, как правило, реализуются аппаратными средствами и служат для обеспечения требуемых электрических характеристик сигнала (амплитудного диапазона, спектра частот и др.), обеспечение приемлемого отношения сигнал/шум, подчеркивания тех или иных информативных компонент сигнала. С это целью используются многие широко применяемые в традиционных приложениях схемы полосовых, заградительных и комбинированных фильтров, линейные и нелинейные усилители (в том числе с управляемым коэффициентом усиления), пиковые детекторы, устройства слежения — хранения, логические элементы, операционные решающие устройства.
Например, в робототехническом комплексе “i-bot”, серийно выпускаемом в США, робот PUMA-560 благодаря сопряжению с СТЗ способен захватывать детали сложной формы, лежащие навалом в таре. Перед вводом видеоинформации в микропроцессор intel 8086 специальный аппаратный модуль выполняет расширение диапазона аналогового видеосигнала. Смысл этой операции состоит в усилении полезной составляющей и улучшении контрастности изображения. С помощью двух управляемых ограничителей «срезаются» нежелательные пики сигнала, вызванные слишком сильными бликами. Кроме того временно удаляются синхроимпульсы, знак которых относительно нулевого уровня, соответствующего фону, устанавливается противоположным знаку видеосигнала. При настройке систем человек-оператор имеет возможность указать уровень фона и наибольшую допустимую яркость в отсутствии световых помех. Схема управляемого смещения нулевого уровня в сочетании с автоматической регулировкой усиления обеспечивает нормализацию сигнала с максимальным растяжением его информативного диапазона. К нормализованному аналоговому сигналу непосредственно перед его оцифровкой снова добавляются синхроимпульсы.
Ввод изображения в ЭВМ
Видеосигнал преобразуется в цифровую форму в устройстве сопряжения с микро ЭВМ следующим образом. Поле зрения оптоэлектронного преобразователя разбивается на отдельные элементы, которые образуют сетку, состоящую, например, из 256х256 точек. Кроме того в системах технического зрения, различающих несколько уровней яркости, квантованию, т.е. преобразованию в цифровую форму, может подвергаться и амплитуда видеосигнала в каждой точке изображения. Рассмотрим более простой и распространенный случай системы технического зрения, оперирующий с двух градационными или бинарными изображениями. Чтобы такая система могла выделять, например, светлое изделие на фоне темного конвейера, задается «эталонный» серый цвет и все более темные элементы изображения относятся к фону, а более светлые считаются изделиями. Подобное искусственное деление исходного изображения только на черные и белые элементы позволяет существенно снизить время обработки одного изображения и уменьшить объем памяти, необходимой для его запоминания.
Разработка программного комплекса обработки информации со строчных ...
... помощи БЛА является задача наблюдения. Беспилотный летательный аппарат — это разновидность летательного аппарата, управление которым не осуществляется пилотом на борту. Различают беспилотные летательные аппараты: беспилотные неуправляемые; беспилотные автоматические; беспилотные дистанционно-пилотируемые летательные аппараты. При выполнении задач наблюдения на ...
В устройстве сопряжения датчика изображений с ЭВМ, осуществляется также фильтрация видеосигнала, представленного в цифровой форме, в результате которой снижается количество помех на изображении, всегда присутствующих в исходном сигнале.
Предварительная обработка изображений
Эта группа операций направлена на облегчение дальнейших этапов технического зрения в целях коррекции различных искажений, улучшения контрастности, удаления шумов и т.п. Следует отметить, что все чаще стадия предварительной обработки практически совмещается с вводом изображения, при этом в память ЭВМ заносится «улучшенное» изображение. С другой стороны, размыта грань между этапами предварительной обработки и сегментации изображения, которые иногда осуществляются общими комбинированными алгоритмами. Важной тенденцией является рост числа реализаций функций предварительной обработки аппаратными и аппаратно — программными средствами.
Обработка изображений
Последующие этапы преобразования и анализа изображения осуществляется микро-ЭВМ, входящей в состав системы технического зрения. Оперируя с массивом нулей и единиц, описывающих распределение яркости светового потока по полю зрения видео датчика, микро-ЭВМ последовательно выделяет точки изображения, в которых происходит резкое изменение яркости. Как правило, эти точки принадлежат контуру той или иной детали, находящейся на сцене, или являются точками, подчеркивающими различные особенности одной детали, например отверстия, ребра и др. В дальнейшем выполняется анализ связности, т.е. определяется принадлежность каждой точки тому или другому контуру, являющемуся замкнутой кривой, осуществляется сегментация изображения, представляющая собой процедуру выделения на изображении отдельных не связанных и не соприкасающихся объектов.
После выполнения этих предварительных преобразований можно подсчитать количество отдельных деталей, находящихся в поле зрения, и приступать к завершающей фазе анализа изображения, в ходе которой вычисляются характерные признаки каждого из выделенных объектов. В качестве таких признаков используются различные параметры изображения объекта, длина периметра, максимальный и минимальный моменты инерции, количество углов, радиусы вписанной и описанной окружностей и др. Одновременно могут быть измерены координаты центров тяжести и ориентация каждого объекта на изображении по отношению к системе координат оптоэлектронного преобразователя, знание которых необходимо, например, для захвата интересующей детали роботом и установки ее в заданное положение с требуемой ориентацией при сборке изделий.
Інтернет (електронна пошта, робота користувача)
... дослідження є електронна пошта як широковідома послуга мережі «Інтернет». Предметом дослідження є робота користувача з електронною поштою. Ключові терміни, що використовуються у роботі: Інтернет, електронна пошта, e-mail, ... повноцінного доступу (on-line) до Інтернету. Через електронну пошту можна отримати послуги інших сервісів мережі. Електронна пошта - типовий сервіс відкладеного зчитування (off- ...
Распознавание или выбор желаемой детали на сцене выполняется путем сравнения вычисленного для каждой детали списка признаков с аналогичными списками, полученными в процессе обучения системы технического зрения и хранящимися в запоминающем устройстве микро-ЭВМ.
Таким образом, системы технического зрения представляют собой перепрограммируемые, обучаемые автоматы, решающие в темпе протекания технологического процесса упрощенные задачи распознавания или идентификации деталей, определения их координат и характерных особенностей.
Этапы оцифровки и передачи изображения
Носителями видеоинформации в СТЗ, как правило являются аналоговые сигналы, преобразуемые затем в дискретные (цифровые) сигналы, обработка которых осуществляется аппаратными («жесткая» логика), программными (универсальные или специализированные микропроцессоры и ЭВМ) или аппаратно-программируемыми, (сочетание «жесткой» логики и ЭВМ) средствами. Соответственно электронные узлы, разделяют: на аналоговые, в которых информация содержится в принимающих непрерывный ряд значений силе тока, напряжений или фазе сигнала; цифровые (ключевые), в которых информация заключается в дискретных значениях силы тока или напряжения; аналого-цифровые или цифро-аналоговые, в которых одновременно используются обе формы представления информации (цифровая и аналоговая).
Так как электронный тракт СТЗ роботов, как правило, сложный, достаточно сложная система, то для его реализации преимущественно используют интегральные микросхемы (ИМС).
Основные системные функции, выполняемые электронными узлами для следующих четырех типовых структур электронного тракта СТЗ:
- с непосредственным «жестким» преобразованием;
- с «жесткой»;
- с «адаптивной» логикой;
- с программно-управляемой.
Независимо от способа преобразования и обработки сигналов электронный тракт СТЗ роботов обычно осуществляет выборку и усиление сигналов, снимаемых с приемника излучения, а также формирование управляющих сигналов, поступающих в исполнительные устройства робота или в его устройство управления. В зависимости от типа сигналов и их обработки, сложности решаемых задач электронный тракт СТЗ роботов имеет различную структуру.
Цифровые сигналы, поступающие от ЦАП, в электронном тракте СТЗ обрабатываются устройствами, построенными на базе цифровых ИМС.
Цифровые ИМС имеют на входах и выходах одно из двух возможных состояний и выполняются на основе элементарных транзисторных ключей, ТТЛ, ЭСЛ и комплементарной логики на МОП-транзисторах (КМОП).
Существуют также другие семейства логических элементов (инжекционные, на МОП-транзисторах с p- или n-каналом и т.п.).
Сущность цифровых преобразователей заключается в получении выходной информации по заданной входной. Такое непосредственное преобразование осуществляется средствами комбинационной логики, когда выходная информация является результатом логических (арифметических) операций над входной.
Электронный тракт СТЗ с непосредственным «жестким» преобразованием
Устройства обработки видеоинформации с непосредственным «жестким» преобразованием осуществляют формирование однозначной функциональной зависимости между входными сигналами, поступающими на исполнительные или управляющие устройства робота. Устройства обработки такого типа могут содержать только аналоговый и цифровой тракты.
Реферат бытовой робот
... Windows CE 3.0. ApriAlpha. Основное предназначение шарообразного робота -- управление домашними сетями, в которые вскоре будут объединяться вся бытовая электроника и средства связи. Среди функциональных особенностей ... робота можно отметить способность читать вслух входящие ...
Простейшая структурная схема аналогового электронного тракта приведена на рисунке 2.
Такой тракт выполняется на аналоговых ИМС, которые предназначены для генерирования, усиления, преобразования и формирования непрерывных и импульсных сигналов. По приведенной схеме может быть, например, построен следящий сервопривод робота с фото датчиком. Основой для построения устройств преобразования аналоговых видеосигналов являются: УП — усилитель преобразователь; Ф — фильтр; УУ — устройство управления; УАО — устройства аналоговой обработки, ими служат дифференциальные операционные усилители ОУ, которые обеспечивают усиление и преобразование постоянного и переменного напряжений (положительной и отрицательной полярности).
Рисунок 2 — Структурная схема электронного аналогового тракта
Аналого-цифровой электронный тракт СТЗ (рисунок 3) реализует функцию преобразования цифровых (релейных) видеосигналов. Аналоговая часть данного тракта подобна рассмотренному выше. Преобразование аналогового видеосигнала в цифровой осуществляется аналого-цифровым преобразователем. Простейшим преобразователем такого типа является компаратор — схема сравнения аналоговых сигналов, например, входного и фиксированного опорного напряжения U оп. . Входные сигналы компаратора являются непрерывными функциями времени, а выходные — дискретными, принимающими одно из двух возможных состояний: «0» (если Uвх < Uоп ) и «1» (если Uвх Uоп ).
Рисунок 3 — Простейшая типовая структурная схема электронного тракта: АЦП — аналого-цифровой преобразователь, УЦО — устройство цифровой обработки, УП — усилитель преобразователь, Ф — фильтр, УУ — устройство управления
Основными параметрами компараторов являются: пороговый ток I вх.ср. или напряжение срабатывания Uвх.ср. ; ширина зоны не чувствительности I,U.
На основе компараторов строят АЦП, решающие задачу поиска однозначного соответствия аналоговому сигналу, например видеосигналу цифрового кода.
Чтобы исключить необходимость построения ряда однотипных аналоговых или цифровых электронных трактов обработки видеоинформации, поступающих по различным каналам, используют аналоговые коммутаторы, или мультиплексоры. Управление каналами мультиплексора осуществляется с помощью цифровых сигналов, поступающих на управляющие электроды мультиплексора. Для коммутации аналоговых сигналов в мультиплексорах используют аналоговые ключи, выполняемые на полевых МОП транзисторах, на КМОП транзисторах, на полевых транзисторах с P-N переходом, а также на биполярных транзисторах.
Электронный тракт СТЗ с «жесткой» и «адаптивной» логикой
Устройства обработки видеоинформации с «жесткой» логикой представляют собой аналоговые или цифровые схемы, алгоритм которых определяется конфигурацией схемных взаимосвязей и набором управляющих сигналов с «жестко» заданной временной последовательностью. Временная последовательность управляющих сигналов генерируется с помощью специальной схемы, реализующей последовательную логику, на вход которой поступают опорные синхросигналы (тактовые импульсы).
Для реализации последовательной логики помимо комбинационных элементов необходимы элементы с памятью, которые реализуются на основе триггеров. «Жесткая» логика обработки видеоинформации может осуществляться, как в режиме непосредственного преобразования в заданные интервалы времени, так и в режиме последовательной обработки, когда результат является функцией видеосигналов, зарегистрированных в текущий и предшествующий моменты времени.
Автоматизированные системы управления непроизводственными объектами: ...
... обоснованного отбора лучших методов проектирования, производства и управления. Исследовательская — обеспечивать выполнение ... нейронами; массовый параллелизм обработки информации. Обработка ведется одновременно большим числом ... обязана, будет оберегать. Кропотливая работа сотен высококвалифицированных специалистов, позволяет ... проектирования систем автоматического управления (САУ)[11]. АСУ не может быть ...
Простейшая типовая схема электронного тракта СТЗ роботов с «жесткой» логикой реализуется при организации последовательной во времени обработки сигналов, поступающих от нескольких видео сенсоров.
«Адаптивная» логика работы электронного тракта СТЗ роботов реализуется при введении обратной связи, определяющей воздействия на алгоритм результата обработки видеоинформации в предшествующий момент времени. Наличие такой обратной связи позволяет существенно расширить функциональные возможности СТЗ, осуществлять адаптацию алгоритма обработки к изменяющимся условиям, например, к ориентации объекта, его удалению от рабочих органов робота и т.п.
Наибольшая гибкость в выборе обработки видеоинформации, его адаптации к изменяющимся внешним условиям обеспечивается при построении электронного тракта СТЗ на основе универсальной или специализированной ЭВМ. В этом случае электронный тракт содержит специальные и программные средства (интерфейсы) для связи ЭВМ с видеосенсорами и исполнительными устройствами робота.
В электронных трактах СТЗ роботов хранения видеоинформации после ее преобразования в цифровую форму представления, а также наборов команд (программ), определяющих алгоритм функционирования узлов обработки видеоинформации, осуществляется в оперативных запоминающих устройствах (ОЗУ), постоянных (ПЗУ), программируемых и репрограммируемых ЗУ (ППЗУ и РПЗУ), в долговременных внешних ЗУ (ДЗУ).
На первом этапе развития программно — управляемых СТЗ роботов они были ориентированы на использование достаточно высокопроизводительных больших ЭВМ. Основной тенденцией развития робототехнических систем управления на современном этапе является переход от централизованных систем, реализованных на базе большой ЭВМ, к децентрализованным, к использованию автономных управляющих устройств на все более низких уровнях управления. Автоматизация управления на нижних уровнях повышает надежность и живучесть систем робота.
Ввод видеоинформации в ЭВМ осуществляется тремя основными способами: по прерываниям, когда ЭВМ прерывает процесс выполнения программы для ввода видеоинформации по инициативе специального устройства, например таймера, через заданные промежутки времени; при исполнении специальной команды или группы команд в процессе выполнения программы; в результате прямого доступа к памяти ЭВМ.
4. Связь с системой управления
Связь с существующими устройствами управления роботов: требуется обеспечить аппаратную и программную совместимость со стандартными системами управления роботов, соответствие характеристикам применяемых вычислительных средств, возможность эффективного сопряжения с имеющимися интерфейсами.
Инновации в области управления персоналом
... управления трудовыми ресурсами. Инновация—нововведение, новшество, которое стало предметом освоения и внедрения. Что представляют собой инновации в кадровой работе в настоящий момент? Прежде всего, это инновационный подход к самому персоналу ... традиционных для предприятия видов продукции и услуг. 4. Создание условий для обеспечения более эффективной деятельности и повышения конкурентоспособности ...
Несколько менее специфичны, но также весьма важны такие требования, как: большая разрешающая способность и точность измерений; высокая надёжность; простота и удобство эксплуатации, технического обслуживания, ремонта; по возможности низкая стоимость.
С другой стороны, наличие в едином комплексе с СТЗ столь гибкого устройства, как робот, открывается определённые дополнительные возможности, которые в ряде случаев могут существенно облегчить процессы восприятия и анализа видеоинформации. Так, с помощью робота можно осуществлять активные воздействия на внешнюю среду в целях более эффективного осмотра сцен: убирать предметы, загораживающие нужные участки поля зрения, изолировать соприкасающиеся объекты друг от друга, подносить осматриваемые объекты к видео сенсору, поворачивать их, фиксируя в пространстве требуемым образом. При этом важно, что воздействие на среду формируется сразу же в процессе сбора видеоинформации по результатам её оперативной обработки и анализа.
Робот может также обеспечить для СТЗ режим динамического восприятия сцены, либо осуществляя управляемые движения объективов относительно неподвижного видео сенсора, либо целенаправленно перемещая сами видео сенсоры (типа «глаз на руке»).
Это позволяет вводить видеоинформацию путем последовательного сканирования рабочей области, осматривать сцены с разных точек зрения, находить и отслеживать характерные особенности объектов (края, места стыков, отверстия и т.п.).
Имеется возможность выводить в нужные точки пространства источники освещения, укрепляемые на звеньях робота, организовать управляемую подсветку объектов рассеянным светом с разных сторон.
Кроме того, СТЗ при решении своих функциональных задач может использовать дополнительную информацию от других систем очувствления робота: тактильных, силомоментных, локационных. Например, при определении текстуры поверхности объекта число вариантов анализа изображений снижается, если имеются данные о шероховатости материала, полученные от датчика проскальзывания.
Связь с системой управления робота включает в себя следующие этапы получения и обработки информации и управление исполнительными устройствами входящих в комплект робота:
- обмен логическими сигналами (командными, синхронизирующими, блокирующими, прерывающими, и др.);
- поддержка протокола обмена данными;
- получение от системы управления робота запросов на выполнение функциональных задач технического зрения;
- сообщение системе управления робота запросов на выполнение функциональных задач технического зрения;
- передача координат и параметров ориентации объектов и других количественных результатов обработки видеоинформации ;
- передача результатов интерпретации сцен и необходимых сведений о модели проблемной среды;
- посылка требований на выполнение воздействий на среду в целях облегчения зрительного восприятия.
В конкретных СТЗ, применяемых в робототехнике, удельный вес каждой из описанных операций неодинаков, те или иные из них могут отсутствовать, объединятся с другими, выполняться в различной последовательности.
По характеру организации процесса прохождения информации через систему функциональные схемы СТЗ можно разделить на три следующие группы:
- разомкнутые с неизменяемой последовательностью операций, когда видеоинформация регистрируется фиксированным способом, обрабатывается и анализируется по жестко определенной линейной цепочке алгоритмов;
- с условными переходами, в которых в зависимости от условий внешней среды и/или от результатов текущей операции предусмотрено изменение порядка выполнения различных процедур формирования, обработки и анализа изображений, повторение уже пройденных этапов, установка новых значений определенных параметров системы, прохождения новых ветвей выполнения алгоритмов (при этом все условия переходов и решающие правила однозначно задаются еще до начала работы СТЗ, алгоритмы и параметры системы выбираются из заранее фиксированного набора);
— адаптивные с обратной связью между различными этапами процесса технического зрения, позволяющей оперативно использовать новую информацию, приобретаемую по ходу их выполнения: автоматически настраивать аппаратную часть СТЗ, оптимизировать условия освещения, положения видео сенсоров, целенаправленно модифицировать классифицирующие признаки, гибко перестраивать алгоритмы в целях максимального приспособления к особенностям конкретной задачи.
Чем более высокий уровень функциональной гибкости требуется от робота с техническим зрением, тем более глубокая обратная связь необходима между всеми основными операциями СТЗ.
5. Идентификация объектов
Системы технического зрения связаны с задачами сегментации, описания и распознавания отдельных объектов.
Под сегментацией изображения сцены понимается процесс его разбиения на основные части, имеющие содержательный смысл: объекты, их границы или другие информативные фрагменты, характерные геометрические особенности и др. Количество предложенных алгоритмов сегментации исчисляется сотнями, однако, обобщая, большинство из них можно свести к выявлению одного из двух фундаментальных свойств изображения: сходства и различия.
Нахождения однородных областей
Рассмотрим более строго понятие связности элементов дискретизованного изображения. Формально можно считать, например, что каждый пиксель связан только с четырьмя элементами, примыкающими к нему по строке и столбцу, с не меньшим основанием можно полагать его связанным со всеми восемью элементами, включая диагональные. В первом случае говорят о 4-окрестности пикселя, во втором — о 8-окрестности.
Выделение контурных линий
В СТЗ роботов гораздо чаще применяют методы сегментации, основанные на выделении контуров. Контурные линии на изображении образуются из видимых участков границ объектов, причем они могут служить границами не только между предметами рабочей сцены и фоном, но и между изображениями различных предметов и даже между изображениями смежных поверхностей одного и того же предмета.
Наиболее простой способ нахождения контурных последовательностей, который широко используется в СТЗ роботов, работающих с достаточно контрастными изображениями, заключается в непосредственном прослеживании обнаруженных при бинаризации изображения точек перехода из «0» в «1» (или наоборот).
Более общий путь выделения контурных изображений базируется на расчете меры изменения яркости (т.е. той или иной оценки поля градиентов) с последующим ее сравнением с порогом. В принципе при этом могут быть использованы известные методы численного дифференцирования функций двух переменных на дискретной решетке.
На практике методы численного дифференцирования дают хорошие результаты только при условии, что изображение подвергается предварительной обработке (удаления шумов, повышения контрастности, обострения границ).
В целях повышения помехоустойчивости при выделении контурных изображений предлагалось использовать операторы, сочетающие в себе сглаживание и дифференцирование функции G(i, j).
Идея состоит в следующем: вводится многоугольное окно, аппроксимирующее круг, и в этом окне яркость представляется ступенчатой функцией, зависящей от четырех параметров, двух уровней яркости в точках по обе стороны искомого участка контура, пересекающего круг, расстояния этого отрезка контура от центра круга и наклона отрезка. Используя разложение функций яркости на введенной круговой области по специальной системе базисных функций, по методу наименьших квадратов можно найти указанные параметры, что полностью определит искомый отрезок контура.
В робототехнических приложениях при сегментации изображений иногда целесообразно выделять не весь контур объекта, а только его характерные фрагменты, которые наиболее важны для конкретной задачи, решаемой СТЗ данного робота (места взятия объекта, углы, выступы, отверстия и т.п.).
В заключении следует отметить, что для СТЗ роботов развиваются подходы к сегментации изображений пространственных сцен, основанные на дальнометрической информации. При квазиплоском представлении сцены в качестве свойства S, по которому проводится сегментация, будет выступать не только яркость пикселя G(i, j) но и его удаленность от видеосенсора (i,j).
6. Требования к передающим устройствам
Телевизионная передающая камера (ТПК) СТЗ робота представляет собой оптико-электронный функциональный преобразователь, который в общем случае содержит вакуумную передающую телевизионную трубку либо ПЗС-матрицу, оптическую систему основным элементом которой является объектив, блок формирования видеосигналов развертки, блок усиления и преобразования видеосигнала, устройство фокусирования и наведения. Состав и основные характеристики ТПК существенно зависят от её назначения, объема и характера передаваемой информации, условий работы и т.п. В СТЗ роботов находят применение ТПК для черно-белого и цветного телевизионного вещания промышленные ТПК, стереоскопические и панорамные ТПК.
Отечественная промышленность выпускает широкую номенклатуру передающих телевизионных трубок и ПЗС-матриц различного назначения. Диссекторы находят применение в специализированных ТПК, форма траектории развертки в которых существенно отличается от общепринятой телевизионной. Световые характеристики диссекторов линейны в широком диапазоне освещенностей (..5 порядков, от 0,2 до 100 лк).
В системах контроля линейных размеров используются высокочастотные диссекторы ЛИ605- Регистрация точечных объектов осуществляется диссекторами ЛИ604К1, ЛИ607-ЛИ612 (координаторы).
Регистрацию контрастных (графических) изображений в растровом режиме рекомендуется осуществлять диссекторами ЛИ605-1, ЛИ611. В условиях большой освещенности с высокой разрешающей способностью работают диссекторы ЛИ611, ЛИ612.
В ТПК общего назначения применяют суперортиконы и видиконы. Суперортиконы обладают высокой чувствительностью (от 510 4 лк), но сложны по устройству и в эксплуатации, имеют сравнительно большие размеры. Для прикладных ТПК используют суперортиконы ЛИ201, ЛИ204, ЛИ213, ЛИ215, ЛИ216, ЛИ219, ЛИ221-ЛИ224. Суперортиконы ЛИ207, ЛИ227-ЛИ234 позволяют длительное время проецировать на фотокатод неподвижное изображение без эффекта «выжигания». Видиконы имеют значительно меньшие размеры, чем суперортиконы, более просты в эксплуатации, но менее чувствительны и имеют достаточно высокую инертность. Материал мишени большинства видиконов трех сернистая сурьма. В некоторых видиконах мишени выполнены на основе оксида свинца (ЛИ432, ЛИ442, ЛИ457, ЛИ465), кремния (ЛИ446) и д.р. Видиконы с подобными мишенями иногда называют соответственно плюмбиконами, кадмиконами, пириконами, кремниконами и т.п. — по типу используемого материала, в мишенях. Принципиальное отличие кремниконов от видиконов других типов заключается в конструкции мишени. Мишень кремникона в виде матрицы фотодиодов формируется в пластине монокристаллического кремния методами фотолитографии, используемыми для изготовления интегральных схем.
В прикладных ТПК используют видиконы типа ЛИ426-ЛИ448. Видиконы ЛИ414 и ЛИ429 обеспечивают длительное хранение (5….10 мин.) изображения после разовой эксплуатации и многократного (до 20 тыс. раз) считывания. Видиконы ЛИ439 и ЛИ446 отличаются повышенной чувствительностью, однако имеют малый динамический диапазон по освещенности.
Спектральные характеристики передающих телевизионных трубок охватывают всю видимую и ближнюю инфракрасную части спектра. Распределение чувствительности по спектру для некоторых трубок существенно отличается от кривой видимости глаза, что необходимо учитывать при расчетах. Некоторые трубки способны регистрировать изображение в инфракрасной части спектра.
ТПК с ПЗС-матрицами обладают многими преимуществами перед телекамерами с передающими трубками. Основными преимущества ПЗС-ТПК в сравнении с телекамерами на передающих трубках: очень низкая минимальная освещенность (для черно-белых менее 1 лк на объекте); отсутствие геометрических искажений благодаря точной двумерной конструкции; низкое энергопотребление и напряжение питания; маленькие размеры; не подвержены воздействию внешних электромагнитных полей; неограниченное время жизни электронов, генерируемых фотоэффектом.
Чувствительность видеокамеры с ПЗС-матрицей характеризует способность видеокамеры наблюдать объекты при пониженной освещенности и даже в темноте. Сравнение по чувствительности дает явные преимущества ПЗС-матриц в отношении видикона и ньювикона. Средняя чувствительность черно-белой ПЗС-матрицы, выраженная в фотографических единицах ISO, равна 72 000 ISO (известные фотоматериалы, применяемые для съемки имели от 100 до 1600 ISO).
Эквивалентная чувствительность цветной ПЗС-телекамеры равна примерно 5000 ISO. технический зрение идентификация фотоприемный
Типичная черно-белая ПЗС-матрица без инфракрасного фильтра может дать приемлемый уровень видеосигнала всего на 0,01 лк. Та же телекамера с ИК-фильтром потребует освещенности на объекте в 0,1 лк.
Современные цветные телекамеры характеризуются минимальной освещенностью на объекте в 2 лк при F/1.4 и дают видеосигнал приемлемого уровня (от 0,3 до 0,5 В).
Разрешающая способность
Принцип работы приборов с зарядовой связью («charge-coupled devices») с сохранением и считыванием электронного заряда был разработан корпорацией Bell в конце 60-х годов. На рисунке 4 показана структура одного элемента, линейного трехфазного ПЗС в режиме накопления.
Рисунок 4 — Структура одного элемента, линейного трехфазного ПЗС в режиме накопления.
В основе работы ПЗС лежит явление внутреннего фотоэффекта. Когда, в кремнии поглощается фотон, то генерируется пара носителей заряда — электрон и дырка. Электростатическое поле в области пиксела (элемент изображения) «растаскивает» эту пару, вытесняя дырку в глубь кремния. Неосновные носители заряда, электроны, будут накапливаться в потенциальной яме под электродом, к которому подведен положительный потенциал.
Здесь они могут храниться достаточно длительное время, поскольку дырок в обедненной области нет и электроны не рекомбинируют. Носители, сгенерированные за пределами обедненной области, медленно движутся — диффундируют и, обычно, рекомбинируют с решеткой прежде, чем попадут под действие градиента поля обедненной области. Носители, сгенерированные вблизи обедненной области, могут диффундировать в стороны и могут попасть под соседний электрод. В красном и инфракрасном диапазонах длин волн ПЗС имеют разрешение хуже, чем в видимом диапазоне, так как красные фотоны проникают глубже в кристалл кремния и зарядовый пакет размывается.
Заряд, накопленный под одним электродом, в любой момент может быть перенесен под соседний электрод (рисунок 5), если его потенциал будет увеличен, в то время как потенциал первого электрода, будет уменьшен. Перенос в трехфазном ПЗС можно выполнить в одном из двух направлений (влево или вправо, по рисункам 5)..
Рисунок 5 — Формирование сигнала в трехфазном ПЗС
Все зарядовые пакеты линейки пикселов будут переноситься в ту же сторону одновременно. Двумерный массив (матрицу) пикселов получают с помощью стоп-каналов, разделяющих электродную структуру ПЗС на столбцы. Стоп каналы — это узкие области, формируемые специальными технологическими приемами в приповерхностной области, которые препятствуют растеканию заряда под соседние столбцы
При приложении к электродам ПЗС управляющих напряжений определенного значения заряды перемещаются вдоль поверхности от структуры к структуре. Вводят заряд (запись) и без светового воздействия через входную секцию записи, потенциал которой регулируют. Секция включает в себя диффузный исток неосновных носителей типа p-n-перехода и входной затвор секции (входной ключ), управляющий движением заряда из диффузионного истока в первую потенциальную яму.
Вывод заряда из системы (считывание) осуществляют через обратносмещенный правый p-n-переход, работающий как емкость, напряжение на которой меняется пропорционально перенесенному на нее пакету зарядов. Выходной затвор секции (выходной ключ) после считывания очередного пакета зарядов с правого р-n-перехода возвращает его в исходное состояние, т.е. подготавливает для следующего пакета зарядов.
Таким образом, ПЗС преобразует внешнюю информацию (световую, строки изображения объекта) в зарядовые пакеты подвижных носителей. Считывание осуществляют при их направленном управляемом перемещении вдоль поверхности при последовательной подаче внешнего напряжения на контакты ПЗС, например с кадровым переносом (рисунок 6).
Рисунок 6 — ПЗС с кадровым переносом
7. Разновидности ПЗС
Полнокадровая фотоприемная матрица ПЗС (ФПМ ПЗС)
ФПМ ПЗС с переносом кадра
Рисунок 7 — ФПМ ПЗС с переносом кадра: а — полнокадровая; б — c переносом кaдpа; в — c межстрочным переносом. 1 — тактовые импульсы последовательного регистра; 2 — детектор; 3 — последовательный регистр; 4 — выходной сигнал; 5 — тактовые импульсы параллельных регистров; 6.1 — секция накопления; 6.2 — секция хранения;7 — направление параллельного сдвига
На секции накопления фокусируется изображение, а секция хранения обеспечивает временное хранение накопленного изображения перед считыванием.
Обычно секция хранения имеет такие же размеры, как секция накопления, но она покрыта маской, предотвращающей освещение ячеек. После окончания времени экспозиции сформированная зарядовая картина быстро переносится в секцию хранения, которая связана c последовательным регистром для последующего считывания.
В то время как зарядовая картина считывается из секции хранения, в секции накопления может накапливаться зарядовая картина следующего кадра. Для режима переноса кадра между двумя секциями необходимо наличие двух независимых генераторов тактовых импульсов, как для секции накопления, так и для секции хранения. Следовательно, ФПМ ПЗС с переносом кадра может работать непрерывно, быстро и без механической шторок, рисунок 7. Кроме того, она может использоваться и с механической шторкой для приема двух изображений с быстрой сменой кадров. Такой режим применяется, если нужно принимать два изображения разной интенсивности или на разных длинах воли.
ФПМ ПЗС с межстрочным переносом.
Зарядовая картина накапливается в экспонируемой части параллельного регистра так же, как в ФПМ ПЗС с переносом кадра. Перед считыванием вся зарядовая картина сдвигается в скрытые от света регистры хранения. Затем следует обычный процесс считывания.
Поскольку сдвиг зарядовой картины происходит за мкс, размазывание изображения не успевает произойти при обычной длительности экспозиции. ФПМ ПЗС с чересстрочной передачей может обладать недостаточной чувствительностью к фотонам, поскольку большая часть матрицы закрыта непрозрачными полосками. Чтобы увеличить коэффициент заполнения, в высококачественных приборах используют микролинзы, которые фокусируют свет на фотодиодах. Такой прием позволяет увеличить коэффициент заполнения c 25 до 75 %, что приводит к увеличению квантовой эффективности в видимом диапазоне спектра.
ФПМ ПЗС с прямым и обратным освещением
Можно использовать технологию кислотного травления, чтобы равномерно утончить подложку ФПМ ПЗС до толщины примерно в 10 мкм и фокусировать изображение на обратную сторону параллельного регистра, где нет затворов. Такая утонченная ФПМ ПЗС с обратным освещением позволяет более чем вдвое увеличить квантовую эффективность по сравнению c прямым освещением в диапазоне спектра от мягкого рентгеновского излучения до ближнего инфракрасном излучения (БИК).
Побочный эффект — прибор становится полупрозрачным в БИК и отражение между передней и задней параллельными поверхностями ФПМ ПЗС делают её частотным резонатором. Такое поведение ведет к дополнительной нежелательной интерференции, которая делает ФПМ ПЗС менее пригодной для визуализации светящихся объектов.
ФПМ ПЗС с усилителем изображения.
усилителе изображения
