BMECRA31210 потеря связи

[alessio]

Может быть кто сталкивался с данной проблемой?
В один прекрасный день стала самопроизвольно пропадать связь с RIO станцией. Причем она может как восстановиться, так и полностью перестать отвечать. После снятия питания - восстанавливается, но через какой-то промежуток времени все происходит заново. На BMECRA31210 модуле мигают зеленым светодиоды RUN и NS, что означает "IP address assigned but no CIP connections have been established". Сам модуль BMECRA31210 менял на новый - не помогло.
В чем может быть причина?

[ogorsv]

Добрый день!

Ничего не написали про архитектуру и версии firmware.

У вас подключение идёт по оптоволокну напрямую от ПЛК через NRP, или применён свитч или медиаконвертер?
Я бы начал проверять с физики: кабели, разъёмы, прокладка
Далее - убедился, что с питанием всё в порядке, потому как прерывание более 20 мс - power restart
Если версия firmware CRA до 2.40 - обновился бы, т.к. в этой версии устранена вот такие ошибки, например:

PEP0431883R Fix of a seldom reboot issue (after 500 power-cycles)
PEP0431883R fix of a seldom loss of communication with the CPU occurring 10 seconds after a power-cycle

Ну и если не помогло ничего - попробовать заменить блок питания с шасси и далее изучать, что у вас происходит с обменом по сети

[alessio]

Добрый день!

Ничего не написали про архитектуру и версии firmware.

У вас подключение идёт по оптоволокну напрямую от ПЛК через NRP, или применён свитч или медиаконвертер?
Я бы начал проверять с физики: кабели, разъёмы, прокладка
Далее - убедился, что с питанием всё в порядке, потому как прерывание более 20 мс - power restart
Если версия firmware CRA до 2.40 - обновился бы, т.к. в этой версии устранена вот такие ошибки, например:

PEP0431883R Fix of a seldom reboot issue (after 500 power-cycles)
PEP0431883R fix of a seldom loss of communication with the CPU occurring 10 seconds after a power-cycle

Ну и если не помогло ничего - попробовать заменить блок питания с шасси и далее изучать, что у вас происходит с обменом по сети

Добрый день! Благодарю за ответ!

1. Структуру добавил в приложение.
2. Версия BMECRA31210 - 2.40. Более старшие обновления не имеют каких-либо серьезных исправлений.
3. Менял шасси BMEXBP0800, блок питания BMXCPS3500, коммуникационный блок BMECRA31210, преобразователь оптики BMXNRP0201, пары самой оптики - без результатно.
4. Убрал опрос Modbus TCP устройства, подключенного к BMECRA31210 - тоже не помогло.
5. Щит автоматики подключен через UPS, проверял его работу, отключив питающий автомат, ничего не происходит.

[leon78]

У ШЭ была серьезная проблема с CRA после их появления. Примерно в 2019 г появилась новая АППАРТНАЯ версия, которая работает стабильно. Какой год выпуска у ваших CRA?

[ogorsv]

Не совпадают ваши картинки, где-то неточность

[alessio]

У ШЭ была серьезная проблема с CRA после их появления. Примерно в 2019 г появилась новая АППАРТНАЯ версия, которая работает стабильно. Какой год выпуска у ваших CRA?

Увы, год выпуска модулей нигде не нашел. Меняли контроллеры в 2020 году.

Не совпадают ваши картинки, где-то неточность

Добавил из проекта.

[leon78]

Увы, год выпуска модулей нигде не нашел.

Чаще всего 2 первые цифры в серийном номере - год выпуска.

[alessio]

Увы, год выпуска модулей нигде не нашел.

Чаще всего 2 первые цифры в серийном номере - год выпуска.

Не похоже. SN:21203880221

[ogorsv]

1. После чего обратили внимание на странное поведение RIO-дропа? Что меняли/менялось?
Сколько времени до этого работала система штатно?
2.Что с версиями firmware ЦПУ и NOC? Пробовали обновлять?
3. На NOC backplane порт открыт (на всякий уточняю)?
4. Как опрашиваете DIO по Ethernet (сканер/ФБ)? Слэйвы (слэйвы?) через NOM опрашиваете, скорее всего, через ФБ.
Сколько всего всех запросов (сканер+все ФБ) получается в течение цикла ПЛК? И сколько всего запросов приходится на этот дроп?
5. Есть ли корелляция сбоя с работой от ЦПУ А/ЦПУ В? Проявления сбоя связаны как-нибудь со swithcover?
6. На всякий уточняю: модуль меняли, оптические кабели меняли, а вот патчи NRP-CRA проверяли/меняли?
7. На всякий уточняю: длина общая оптического кабеля?
8. Что с временем цикла заданным и реальным? Что со статусом синхронизации MAST и FAST задач? Проверяли?

Если всё-таки проблема аппаратная, как говорит Леонид, нужно искать новый CRA на проверку

[leon78]

ogorsv, не могу найти, когда точно была замена CRA на другую аппаратную платформу и как это влияло на версию продукта (PV). У вас не сохранилась эта информация?

[ogorsv]

leon78, мне наш эксперт сказал, что проблема была решена для модулей BMXCRA31210, начиная с версий PV>=07, SV>=2.18
Про модули BMECRA речь не шла

[leon78]

Спасибо! С BMECRA не сталкивался. Думал, что там были аналогичные BMXCRA проблемы

[alessio]

1. После чего обратили внимание на странное поведение RIO-дропа? Что меняли/менялось?
Сколько времени до этого работала система штатно?
2.Что с версиями firmware ЦПУ и NOC? Пробовали обновлять?
3. На NOC backplane порт открыт (на всякий уточняю)?
4. Как опрашиваете DIO по Ethernet (сканер/ФБ)? Слэйвы (слэйвы?) через NOM опрашиваете, скорее всего, через ФБ.
Сколько всего всех запросов (сканер+все ФБ) получается в течение цикла ПЛК? И сколько всего запросов приходится на этот дроп?
5. Есть ли корелляция сбоя с работой от ЦПУ А/ЦПУ В? Проявления сбоя связаны как-нибудь со swithcover?
6. На всякий уточняю: модуль меняли, оптические кабели меняли, а вот патчи NRP-CRA проверяли/меняли?
7. На всякий уточняю: длина общая оптического кабеля?
8. Что с временем цикла заданным и реальным? Что со статусом синхронизации MAST и FAST задач? Проверяли?

Если всё-таки проблема аппаратная, как говорит Леонид, нужно искать новый CRA на проверку

Извиняюсь за долгий ответ. Постараюсь ответить на заданные вопросы на сколько могу.

1. Никаких серьезных изменений не делалось. Система работала стабильно в течение 3 лет. В какой-то момент заметили, что пропали показания в SCADA. Оказалось, что отвалился RIO-дроп. После снятия питания продолжил работу, затем это стало появляться все чаще.
2. BMEH584040 - 3.10, BMECRA31210 - 2.40, BMENOC0301.4 - 2.22, BMXNOM0200.4 - 1.50. Обновлять не пробовал.
3. Закрыт. В моем случае NOC модуль используется для связи со SCADA.
4. На данный CRA подключено 3 слейва. Один подключен к Service порту (Modbus TCP), другие два к NOM модулю (Modbus RTU). Слейвы опрашиваю через ФБ (READ_VAR). Нагрузка на CPU 12%. На остальные вопросы затрудняюсь ответить, нужно уточнение.
5. Не замаечал переключения ЦПУ А/ЦПУ Б.
6. Патчи NRP-CRA не меняли.
7. Общая длинна превышает 2км.
8. Судя по всему не превышает (фото в приложении). Имеем только MAST задачи.

Новый CRA менял - не помогло.

[ogorsv]

1.

Никаких серьезных изменений не делалось

Подробности интересны
2.

Слейвы опрашиваю через ФБ (READ_VAR)

какова частота опроса? Сколько всего READ_VAR? Какой объём данных считываете?
Не меняли ли в опросе что-то, после чего стал отваливаться дроп?
Фрагмент кода с опросом было бы полезно посмотреть
3.

Патчи NRP-CRA не меняли

Поменяйте, проверьте. Из того, что не меняли, только это осталось?
А как меняли: по очереди? Если всё новое поставить - тот же эффект?
4.

Щит автоматики подключен через UPS, проверял его работу, отключив питающий автомат, ничего не происходит.

Какого типа ИБП?
Я не понял сути вашего эксперимента: отключили питание, система питается от батарей и ничего не происходит.
А что должно?
Если что-то прилетает по питанию, а ваш ИБП не офлайновый, как вы это проверите?
Если ставили новое всё и такая картина повторяется, возможно, причина внешняя
Думайте, как отсечь