УЛУЧШЕННЫЙ АЛГОРИТМ ЁЛОВ3 для определения состояния безопасности пантографа

Абстрактный:&NBSP ;Пантограф является важным компонентом, который соединяет подвижной состав с электросетью, поэтому состояние безопасности пантографа жизненно важно для бесперебойной и стабильной работы подвижного состава.

В этой статье путем покадрового анализа видеоизображений пантографа, отслеживаемых бортовой системой видеомониторинга, состояние безопасности пантографа отслеживается в режиме реального времени путем модификации алгоритма распознавания целей ЁЛОВ3 , широко используемого в промышленности для идентификации структурных объектов. аномалии, искры и проникновение посторонних предметов в пантограф одновременно. Эксперименты показали, что один канал может достигать 40 кадров в секунду на встроенном сервере интеллектуального анализа Тьенуо . Комплексная точность обнаружения карта @0,5 может достигать 98%, обеспечивая относительно точные результаты обнаружения в режиме реального времени.

1. Интеллектуальное наблюдение за пантографами

Сегодняшние типичные алгоритмы распознавания целей, основанные на глубоком обучении, представляют собой двухэтапные алгоритмы, такие как алгоритм Быстрее R-Си-Эн-Эн , и одноэтапные алгоритмы, такие как алгоритм ЁЛОВ3 . Алгоритму ЙОЛО не нужно заранее вычислять кадр-кандидат по сравнению с R- Сеть Си-Эн-Эн , которая уменьшает вычислительные усилия и может обеспечить более высокую скорость вычислений. А алгоритм ЁЛОВ3 устраняет недостаток многомасштабного обнаружения предыдущего поколения алгоритма ЙОЛО за счет наличия трех ветвей в сетевой части распознавания, которые могут справиться с задачей распознавания целей в трех масштабах: малом, среднем и большом. Кроме того, алгоритм ЁЛОВ3 имеет лучшую инженерную поддержку и используется в промышленных целях в большом количестве приложений. Поэтому в этой статье

2. Построение алгоритма определения безопасного состояния пантографа

2.1 Целевая абстракция

Обнаружение состояния безопасности пантографа можно разделить на обнаружение аномалий конструкции пантографа, обнаружение возгорания пантографа, обнаружение проникновения посторонних предметов и т. д. Среди них аномалии структуры пантографа можно разделить на деформацию углеродистой пластины скольжения, наклон, перелом левого и правого угла дуги, левый и отсутствует правый угол носовой части и т. д. Стандартные, ненормальные состояния показаны на рис. 1B-F.

Рис. 1 Стандарты маркировки состояний безопасности и алгоритмов пантографов

Чтобы использовать алгоритм идентификации цели, сначала необходимо абстрагировать цель идентификации, чтобы определить безопасное состояние пантографа, и абстрагированная цель идентификации показана на рисунке 1. Пантографы в нормальном состоянии и в ненормальном состоянии помечены одинаково. Маркируются такие цели, как носовой диск и угол наклона в нормальном состоянии, а также носовой диск и угол наклона в ненормальном состоянии, а также искры и посторонние предметы. Затем размеченные данные помещаются в единую модель для обучения идентификации всех состояний безопасности пантографов одновременно.

2.2 Улучшение данных набора данных на основе нейронной сети ГАН

После определения цели обнаружения нам необходимо создать собственный набор данных о состоянии безопасности пантографа, чтобы изучить необходимые функции из набора данных для различных состояний пантографа с использованием методов глубокого обучения. Набор данных, необходимый для построения алгоритма в этой статье, перехватывается из нескольких моделей всепогодного пантографного видеонаблюдения. Для уменьшения влияния окружающей среды на характеристики данных в процессе подготовки информационного материала полностью учитываются условия работы, такие как освещенность, окклюзия, пасмурные дни, дождь и снег, вход и выход и т.д. Состояния неисправности пантографа в наборе данных также все исходят из изображений видеонаблюдения, когда неисправность пантографа возникает в основной форме движения автопоезда.

Принимая во внимание, что некоторые типы отказов возникают реже в реальных условиях эксплуатации, что может привести к неадекватной подготовке данных. Дисбаланс между данными категорий значительно повлияет на эффект распознавания целей, поэтому в этой статье используется метод улучшения данных на основе нейронной сети ГАН для разных категорий данных.

Генеративно-состязательная сеть ГАН содержит две модели: генеративную и дискриминативную. Задача генеративной модели — генерировать экземпляры, которые выглядят естественно реалистично и похожи на исходные данные. Задача дискриминантной модели состоит в том, чтобы определить, кажется ли данный пример реальным по своей сути или искусственно сфальсифицированным.&NBSP ;

Это можно рассматривать как игру с нулевой суммой. Генератор пытается обмануть дискриминатор, а дискриминатор старается не дать себя обмануть генератору. Модели обучаются путем альтернативной оптимизации, и обе модели могут быть улучшены. На основе этих двух сетей для генерации изображения используется сеть Генератор, которая получает случайный шум z и вызывает изображение этим шумом, обозначаемым как G(z). Дискриминатор — это дискриминантная сеть, которая определяет, является ли изображение"настоящий"или нет. Его ввод равен x, x представляет изображение, а выход D(x) представляет вероятность того, что x является реальным изображением. Если он равен 1, это означает 100% точное изображение, а если выход равен 0, точное изображение быть не может. Затем сеть ГАН схематично показана на рисунке 2. x — это фактические данные, а точные данные соответствуют распределению пданные (x). Z представляет собой зашумленные данные, а зашумленные данные соответствуют распределению пз (z), такому как гауссовское или равномерное распределение. Затем выполняется выборка из зашумленного z, и данные x=G(z) генерируются после прохождения G. Затем фактические данные подаются в классификатор D, и сигмоидальная функция следует за сгенерированной информацией, а выходные данные определяют категория.

&NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; Рисунок 2 Принципиальная схема сети ГАН

Преобразование изображения в изображение — это класс проблем со зрением и графикой, целью которого является изучение сопоставлений между входными и выходными изображениями с использованием обучающего набора выровненных пар изображений. Наша цель — узнать отображение G:X → такое, чтобы распределение фотографий из G(X) было неотличимо от распределения Y с использованием состязательных потерь. Поскольку это отображение сильно недоограничено, мы связываем его с обратным отображением F: Y → и вводим циклическую потерю согласованности, чтобы подтолкнуть F(G(X)) ≈ X (и наоборот). Качественные результаты приведены для нескольких задач, в которых не существует парных обучающих данных, включая преобразование метода сбора, преобразование объектов, сезонное преобразование и улучшение фотографий. Насколько это возможно, выбираются сцены, которые похожи или похожи, но содержат разные характерные изображения. Например, в той же сцене камера грязная и не грязная; у камеры есть снимки дождя и дождя. Из результатов обучения мы видим, что если два выбранных изображения слишком различаются по местоположению, слишком много других включенных функций повлияет на эффект обучения и качество генерации изображения. И если изображения, созданные из выбранных похожих сцен, имеют приемлемое качество, влияние улучшения данных показано на рисунке 3.

&NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; Рис. 3. Эффект улучшения набора данных

Кроме того, в этой статье также используется метод передискретизации для расширения набора данных в сочетании с сетью ЁЛОВ3 , включающей средства улучшения данных, случайную обрезку пакетов, случайное переворачивание, преобразование цветности и другие операции;&NBSP ;

Данные эффективно расширяются, чтобы повысить адаптивность алгоритма и обеспечить более высокую надежность для обнаружения объектов на этапе развертывания практического использования. Однако для того, чтобы различать левый и правый углы наклона лука, в алгоритме этой статьи переключатели случайного переворота и поворота отключены.

2.3 Оптимизация алгоритма распознавания на основе сети ЁЛОВ3

В базовой части ЁЛОВ3 используется авторская структура Даркнет53 , которая может решить проблемы исчезновения градиента и взрыва градиента за счет объединения сверточной нейронной сети (Си-Эн-Эн ) и сети остаточной структуры (Реснет ), что делает возможным обучение глубоких сетей. Кроме того, алгоритму не нужно заранее вычислять блоки-кандидаты. Тем не менее, он получает априорную Бондингбокс путем кластеризации, выбора 9 кластеров и трех шкал и равномерного распределения этих 9 кластеров по этим трем шкалам. Однако из-за проблемы масштаба точность алгоритма ЙОЛО не самая лучшая среди алгоритмов распознавания целей, особенно при обнаружении мелких целей. Чтобы повысить точность обнаружения алгоритма ЁЛОВ3 при сохранении высокой скорости, основа ЁЛОВ3 модифицирована. Конкретный метод заключается в добавлении модуля ЮВ внимания канала к остаточной единице даркнета53. Структура остаточного узла сети до и после преобразования показана на рисунке 4.

&NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ; &NBSP ;Рис. 4 Остаточная структура модуля ЮВ до и после модификации

Модуль ЮВ исходит от SENet , что означает сети сжатия и возбуждения, получил чемпионат по классификации Имиджнет 2017, признан за свою эффективность и простоту реализации и может быть легко загружен в существующие структуры сетевой модели. SENet в основном изучает корреляция между каналами и отфильтровывает внимание к каналам, что немного увеличивает вычисление, но эффект лучше. Магистральная часть Даркнета имеет в общей сложности 23 остаточных модуля. В этой статье исходные единицы Рез преобразуются в единицы ЮВ -Рез для некоторых остаточных единиц. Для улучшения способности обнаружения сетью ЁЛОВ3 малых и средних целей измененные нами остаточные блоки также расположены в этих двух ветвях. Общая сетевая архитектура ЁЛОВ3 , преобразованная модулем ЮВ , показана на рисунке 5.

Рисунок 5 Схема структуры сети ЁЛОВ3

В части сети распознавания ЁЛОВ3 стал более мощным за счет повышения частоты дискретизации и межуровневого каскадирования для вывода результатов обнаружения в трех разных масштабах. В части проектирования функции потерь целевая достоверность, категория и положение изучаются сразу с помощью кросс-энтропийной функции потерь, и функция потерь показана в уравнении 1.

3. Анализ экспериментальных результатов.

3.1 Представление интеллектуального сервера анализа Тьенуо

Большинство существующих автомобильных систем видеонаблюдения имеют только функции видеомониторинга и хранения, но не имеют возможности интеллектуального онлайн-анализа. Аппаратное обеспечение в этой статье реализовано с помощью встроенного сервера интеллектуального анализа, разработанного Шаньдун Тьенуо Разумный Ко ., как показано на рисунке 6. Хост оснащен интеллектуальным чипом ИИ АТЛАС 3000 собственной разработки Хуавей с архитектурой Да Винчи , который может справляться с инновационными приложениями анализа в большинстве сценариев и реализовывать задачи декодирования и интеллектуального анализа до 16 каналов видео 720p. И результаты испытаний могут быть переданы в кабину водителя или механику в режиме реального времени, чтобы результаты испытаний можно было просмотреть вручную и принять соответствующие меры безопасности. В этой статье это оборудование используется для достижения вычислительной скорости 60 кадров в секунду при работе с одним видеоканалом камеры. Одновременный анализ 4 каналов нескольких видео также может обеспечить скорость расчета 25 кадров в секунду, что может удовлетворить потребность в интеллектуальном анализе многоканального видео в реальном времени.

Рис. 6 Сервер интеллектуального анализа и схема интерфейса

3.2 Результаты идентификации состояния пантографа

Для определения состояния безопасности пантографов в этой статье создается собственный набор данных о состоянии безопасности пантографов, содержащий 2388 изображений различных форм пантографов, включая изображения пантографов в нормальном состоянии и изображения мониторинга пантографов в ненормальном состоянии при различных условиях работы. Размеченный набор данных обучается с использованием фреймворка даркнета, и процесс обучения показан на рисунке 7. Из рисунка видно, что потери при обучении остаются стабильными после 12000 итераций, и модель может попасть в локальный оптимум. Скорость обучения корректируется один раз на 20000 итераций, и потери падают ниже 0,1. Повышение точности вычислений после 20 000 итераций незначительно, и соответствующий график карта показывает небольшую потерю способности модели к обобщению. Чтобы учесть потери при обучении и карта ,

Рис. 4. Тренировочный процесс определения безопасного состояния пантографа

Чтобы развернуть обученную модель на хосте интеллектуального анализа, обученную модель необходимо преобразовать в формат ом , поддерживаемый архитектурой Хуавей да Винчи , с небольшой потерей точности в процессе преобразования, но все в допустимых пределах.

4. Резюме и перспективы

В этой статье используется алгоритм ЁЛОВ3 для определения состояния безопасности пантографов, включая конструктивные аномалии, искры и проникновение посторонних предметов, посредством видеомониторинга в реальном времени с учетом скорости обнаружения, обеспечивая при этом точность обнаружения, соответствующую требованиям реального времени. анализ времени. Он предлагает новые идеи для использования бортовой интеллектуальной системы анализа при проверке безопасности пантографа.