Мультиспектральные камеры высокого разрешения

[Ярослав С.]

грач тут в соседней теме заплатил сообщение о мультиспектральных матрицах:

«Швабе» приступил к выращиванию двухмерных наноструктур. Эта технология позволит уменьшить габариты тепловизионной аппаратуры в три-четыре раза и создать комбинированные фотосенсоры, способные «видеть» сразу в нескольких спектральных диапазонах: от ультрафиолетового до инфракрасного. Аналогов технологии получения таких сенсоров в мире не существует.
«Использование наноструктур позволяет совместить в одной камере функции нескольких устройств – обычной камеры, тепловизора и УФ-камеры. Универсальность и компактные размеры делают такое устройство очень функциональным и удобным для применения в самых разных сферах. В первую очередь, это новое слово в оснащении беспилотников, которые получат на борт одну легкую и эффективную камеру вместо нескольких. С ее помощью можно успешно вести поисковые операции в условиях плохой видимости, например при пожаре или в тумане, в густой растительности. Востребованными такие камеры будут и в сфере мониторинга энергетических объектов, где инфракрасный и ультрафиолетовый спектры позволят обнаружить повреждение изоляции и нарушение проводимости. Это уникальная технология, аналогов которой сегодня в мире нет», – исполнительный директор Госкорпорации Ростех Олег Евтушенко.
«Технология предполагает создание двумерных и одномерных наноструктур с применением передовых физических и химических методов. Наноструктуры обещают настоящий технологический прорыв не только в фотосенсорике, но и микроэлектронике, микросистемной технике и других областях современной науки и техники», – первый заместитель генерального директора по НИОКР и инновационному развитию холдинга «Швабе» Сергей Попов.

Возник тут такой вопрос, насколько на рынке военного оборудования будут востребованы мультиспектральные камеры, с высоким разрешением и количеством цветов большим, чем способен воспринимать человеческий глаз.
К примеру - два сенсора на ИК-спектр, для видимого цвета вместо 3-х базовых цветов - пять, и ещё парочку на ультрафиолет. Итого девять субпикселей на пиксель. Количество оттенков в миллиарды раз выше такового для человеческого зрения, но меньше чем у рака-богомола.
Ясно, что конечный пользователь столько не увидит. Тут надо использовать опыт КТ-диагностов и прочих рентгенологов. У них количество оттенков серого, которое выдаёт детектор, тоже намного больше воспринимаемого человеческим глазом, поэтому они используют так называемые "окна" - "костное", "мягкотканное", "лёгочное" да и вручную меняют что как отображается.
Грубо говоря, выезжает такая разведывательная машина на базе БТРа, поднимает штангу с камерой, делает снимок, штангу опускает (или продолжает снимать видео, если обстановка позволяет).
В самой машине сидят специально обученные разведчики-наблюдатели, перед ними - мониторы, с которых, они, собственно, снимки и анализируют.
Первый просмотр - максимально широкое цветовое окно. ИК-1 - оттенками красного, ИК-2 - оттенками оранжевого, видимый спектр - жёлто-зелёно-голубой, УФ-1 - оттенки синего, УФ-2 - оттенки фиолетового.
При таком обзоре можно определить и выделить нагретые предметы или там пластик и прочую синтетику с отличающимся ультрафиолетовым цветои. Подозрительные места можно увеличить, приблизить, сузить окно до видимого спектра (тогда цветопередача будет соответствовать реальной) или, например, ещё больше сузить, скажем, до зелёного. Красный, оранжевый и жёлтый становятся тёмно-красным, синий и голубой соединяются с тёмно-фиолетовым, оттенки зелёного - от красного до фиолетового, и даже чуть пожухшая трава или там очень близкий по окрасу камуфляж станет оранжевым на синем фоне.
Разведчики-наблюдатели приводят картинки в читаемый вид, скидывают командиру отделения, который формирует уже разведывательное донесение в приемлемом размере и доступное для чтения общевойсковым командиром.
Ну и ИИ, разумеется, пытается не тягаться с человеком в умении угадать, что изображено на чёрно-белой картинке, а анализирует сразу весь этот почти гигабайтный объём на заранее известные оттенки камуфляжа и стандартные объекты.
Есть ли потребность в таких машинах?

 

[Читатель]

грач тут в соседней теме заплатил сообщение о мультиспектральных матрицах:

Возник тут такой вопрос, насколько на рынке военного оборудования будут востребованы мультиспектральные камеры, с высоким разрешением и количеством цветов большим, чем способен воспринимать человеческий глаз.
К примеру - два сенсора на ИК-спектр, для видимого цвета вместо 3-х базовых цветов - пять, и ещё парочку на ультрафиолет. Итого девять субпикселей на пиксель. Количество оттенков в миллиарды раз выше такового для человеческого зрения, но меньше чем у рака-богомола.
Ясно, что конечный пользователь столько не увидит. Тут надо использовать опыт КТ-диагностов и прочих рентгенологов. У них количество оттенков серого, которое выдаёт детектор, тоже намного больше воспринимаемого человеческим глазом, поэтому они используют так называемые "окна" - "костное", "мягкотканное", "лёгочное" да и вручную меняют что как отображается.
Грубо говоря, выезжает такая разведывательная машина на базе БТРа, поднимает штангу с камерой, делает снимок, штангу опускает (или продолжает снимать видео, если обстановка позволяет).
В самой машине сидят специально обученные разведчики-наблюдатели, перед ними - мониторы, с которых, они, собственно, снимки и анализируют.
Первый просмотр - максимально широкое цветовое окно. ИК-1 - оттенками красного, ИК-2 - оттенками оранжевого, видимый спектр - жёлто-зелёно-голубой, УФ-1 - оттенки синего, УФ-2 - оттенки фиолетового.
При таком обзоре можно определить и выделить нагретые предметы или там пластик и прочую синтетику с отличающимся ультрафиолетовым цветои. Подозрительные места можно увеличить, приблизить, сузить окно до видимого спектра (тогда цветопередача будет соответствовать реальной) или, например, ещё больше сузить, скажем, до зелёного. Красный, оранжевый и жёлтый становятся тёмно-красным, синий и голубой соединяются с тёмно-фиолетовым, оттенки зелёного - от красного до фиолетового, и даже чуть пожухшая трава или там очень близкий по окрасу камуфляж станет оранжевым на синем фоне.
Разведчики-наблюдатели приводят картинки в читаемый вид, скидывают командиру отделения, который формирует уже разведывательное донесение в приемлемом размере и доступное для чтения общевойсковым командиром.
Ну и ИИ, разумеется, пытается не тягаться с человеком в умении угадать, что изображено на чёрно-белой картинке, а анализирует сразу весь этот почти гигабайтный объём на заранее известные оттенки камуфляжа и стандартные объекты.
Есть ли потребность в таких машинах?

Долго и нудно. Проще заложить алгоритмы обработки в компьютер, и пользоваться данными на выходе. Пусть автоматически определяются и классифицируются угрозы и особенности местности. Командованию задумываться о каждом неуставном оттенке серого вовсе ни к чему.

 

[Artemus]

Разведчики-наблюдатели приводят картинки в читаемый вид

 

[buterbrod2]

Разведчики-наблюдатели приводят картинки в читаемый вид, скидывают командиру отделения, который формирует уже разведывательное донесение в приемлемом размере и доступное для чтения общевойсковым командиром.

Цветопередача в условных цветах? Участков спектра, что не укладываются в видимый диапазон? Итак применяется в зондировании Земли из космоса, в радиоастрономии, имхо, в аэрофотосъемке для вскрытия замаскированных объектов? Правда, во всех этих случаях производится специальная расшифровка изображений....

 

[Ярослав С.]

Долго и нудно. Проще заложить алгоритмы обработки в компьютер, и пользоваться данными на выходе. Пусть автоматически определяются и классифицируются угрозы и особенности местности. Командованию задумываться о каждом неуставном оттенке серого вовсе ни к чему.

Одно дело, если компьютер получает сырую инфу в RGB, и видит менее половины оттенков доступных человеческому глазу,

Или даже, что пока чаще встречается, пытается анализировать чёрно-белое изображение.
И совсем другое дело, когда он различает в миллионы раз больше оттенков в более широком спектре. Понятно, что тут и вычислительные мощности нужны будут намного круче, и каналы связи намного более широкие, но именно алгоритмы будут намного проще. Как увидеть оранжевый объект на синем фоне.

 

[buterbrod2]

Одно дело, если компьютер получает сырую инфу в RGB, и видит менее половины оттенков доступных человеческому глазу,

Компутер не видит, видит датчик... А компутер обрисует уже так, как видит этот датчик по программе обработки сигнала этого датчика, а не какого другого. Имхо, достаточно будет, если внятно и четко обрисует вскрытый контур замаскированного объекта.......

 

[Ярослав С.]

Цветопередача в условных цветах? Тех участков спектра, что не укладываются в видимый диапазон?

Ага. И тех, что укладываются - тоже, когда спектральное окно делаем уже видимого спектра. Грубо говоря, разные оттенки зелёного растягиваем на весь спектр от красного до фиолетового. И камуфляж противника из "зелёного на зелёном" становится "оранжевым на синем".

Итак применяется в зондировании Земли из космоса, в радиоастрономии, имхо, в аэрофотосъемке для вскрытия замаскированных объектов? Правда, во всех этих случаях производится специальная расшифровка изображений....

Понятно. Для этого и нужен специально обученный наблюдатель - грубо говоря, движение мышки с зажатой левой кнопкой "вправо-влево" - движение по спектру от ИК1 до УФ2, движение мышки с зажатой левой кнопкой "вверх-вниз" - судение/расширение окна спектра (от всего наблюдаемого спектра, до минимально представляемого, скажем, сотых долей нанометра). Движения с зажатой правой кнопкой - движение самой картинки. Колёсико - яркость/контрастность.
Интерфейс интуитивно понятный, чтобы научить пользоваться нужно пять минут, но чтобы научиться пользоваться хорошо и быстро, чтобы привыкнуть работать в условных цветах - где-то с полгода потребуется.

 

[MRJING]

Понятно, что тут и вычислительные мощности нужны будут намного круче, и каналы связи намного более широкие, но именно алгоритмы будут намного проще. Как увидеть оранжевый объект на синем фоне.

Большие объёмы наоборот снизят потребности в выч.ресурсах так как четче будет распознание, а вот алгоритмы проверять будет ад. Так как он там таких призраков может навыдумывать что жуть.
Так как напихать ему для обучения миллиарды распознаных изображений не получится, так как такими мультиспектральными интернет не завален

 

[buterbrod2]

Длина волны инфракрасного излучения зависит от температуры объекта. Т.е. инфракрасный спектр можно заменять яркостью условного цвета....

 

[buterbrod2]

а вот алгоритмы проверять будет ад. Так как он там таких призраков может навыдумывать что жуть.

Стганно, это легко (во всяком случае без особых затруднений) делает расшифровщик, накладывая друг на друга две фотографии, сделанные в разных участках спектра..

 

[MRJING]

Стганно, это легко (во всяком случае без особых затруднений) делает расшифровщик, накладывая друг на друга две фотографии, сделанные в разных участках спектра..

У расщифровщика богатый жизненный опыт, а у ИИ чистый мозг.
Да и подходить к ИИ с точки зрения сложности человека нельзя. ИИ легко выносят высокоинтелектуальные профессии одну за другой, а уборщик и разнорабочий для них это адь и израиль.

 

[Ярослав С.]

Большие объёмы наоборот снизят потребности в выч.ресурсах так как четче будет распознание, а вот алгоритмы проверять будет ад. Так как он там таких призраков может навыдумывать что жуть.
Так как напихать ему для обучения миллиарды распознаных изображений не получится, так как такими мультиспектральными интернет не завален

На первом этапе я бы с нейросетками особо не заморачивался. Тупо запоминать цвета - "это оттенки травы, это оттенки формы вероятного противника, это краска используемая на бронетехнике" и стандартные паттерны - "это ткань, это стекло, это крашенный металл" и т.д.

 

[MRJING]

На первом этапе я бы с нейросетками особо не заморачивался. Тупо запоминать цвета - "это оттенки травы, это оттенки формы вероятного противника, это краска используемая на бронетехнике" и стандартные паттерны - "это ткань, это стекло, это крашенный металл" и т.д.

Без нейросеток это не работает, даже рядом. Экспертные системы на жёстких правилах давно капитулировали в этой области. И только нейросетки перепрыгнули барьер в распозновании.

 

[Ярослав С.]

Длина волны инфракрасного излучения зависит от температуры объекта. Т.е. инфракрасный спектр можно заменять яркостью условного цвета....

Так и яркость обычного цвета зависит от температуры излучателя. Другой вопрос, если мы анализируем отражённый от объекта спектр. И тут листва дерева и окрашенный зелёной краской металл будут поглощать и отражать ИК излучение по разному. Два одинаковых в видимом цвете зелёных объекта в условных цветах будут выглядеть как, скажем, синий и пурпурный. Это просто яркостью не заменить.

 

[Ярослав С.]

Без нейросеток это не работает, даже рядом. Экспертные системы на жёстких правилах давно капитулировали в этой области. И только нейросетки перепрыгнули барьер в распозновании.

Если надо распознать сильно пожатый jpg, весом в 100 килобайт, то да. Но если надо выделить синие объекты на фоне пурпурных, или там жёлтое на оранжевом, и каждый сырой снимок весит под гигобайт (а то и больше) - то тут, на транспортабельных аппаратах только жёсткие алгоритмы и работают.

 

[MRJING]

Если надо распознать сильно пожатый jpg, весом в 100 килобайт, то да. Но если надо выделить синие объекты на фоне пурпурных, или там жёлтое на оранжевом, и каждый сырой снимок весит под гигобайт (а то и больше) - то тут, на транспортабельных аппаратах только жёсткие алгоритмы и работают.

Нет, тут проблема с самими цветами. Они черти меняются от малейшего шороха. Свет там по другому падает, состоянии атмосферы изменилось или ещё, что.

 

[Ярослав С.]

Нет, тут проблема с самими цветами. Они черти меняются от малейшего шороха. Свет там по другому падает, состоянии атмосферы изменилось или ещё, что.

Это понятно. Но если у нас большой объём исходных данных, то контрастные объекты выделить, в том числе с подчёркиванием границ - проблемы нет.

 

[MRJING]

Это понятно. Но если у нас большой объём исходных данных, то контрастные объекты выделить, в том числе с подчёркиванием границ - проблемы нет.

Да и десяток экранов набитых контрастными изображениями везде где только можно. Так как без анализа объекта, вам каждую травинку выделит

 

[Ярослав С.]

Да и десяток экранов набитых контрастными изображениями везде где только можно. Так как без анализа объекта, вам каждую травинку выделит

Так и надо. Для этого живой наблюдатель и нужен, чтобы на фоне резко контрастного изображения луга, увидеть где общий рисунок травы нарушен, и где, соответственно, находится замаскированная позиция противника.

 

[MRJING]

Так и надо. Для этого живой наблюдатель и нужен, чтобы на фоне резко контрастного изображения луга, увидеть где общий рисунок травы нарушен, и где, соответственно, находится замаскированная позиция противника.

А нету этого общего рисунка. У нас в голове замечательная нейронная сеть очень чувствительная к контрастности. И если живой наблюдатель не видит контраста, то и экспертная система по умолчанию в разы худшая в этом деле не увидит. Хитрая специализированная нейросеть возможно смогла бы обойти человеческий результат , и то не факт. Учитывая как эволюционно важно отмечать контрастность.