MQTT node-Red MySQL/Postgres для автоматизации

Сообщение **Miraflores** » 11 апр 2023, 20:14

Кто-то использует? Плюсы, минусы, подводные камни?

Сообщение **Jackson** » 12 апр 2023, 05:36

Miraflores писал(а): ↑11 апр 2023, 20:14 Плюсы, минусы

По сравнению с чем?

Сообщение **Miraflores** » 12 апр 2023, 10:46

Да, действительно и сравнивать то не с чем. Тогда только первый вопрос остаётся.

Сообщение **Miraflores** » 18 апр 2023, 22:37

Проверил вроде всё работает. Выложил сюда проекты, библиотеки и прочее.
http://gofile.me/400mr/CDA1kW0lb

Сообщение **keysansa** » 18 апр 2023, 22:45

Miraflores писал(а): ↑18 апр 2023, 22:37 Проверил вроде всё работает. Выложил сюда проекты, библиотеки и прочее.
http://gofile.me/400mr/CDA1kW0lb

Тугой у вас инет до хранилища.
MQTT в среде PLC - интересно, скачал, посмотрю, спасибо!
node-RED внутри PLC или на докере?
ЗЫ. У библиотеки 30 дней бесплатных. Для дома - незачем, для производства MQTT - не особо подходит (в смысле - не вижу особых его преимуществ, по сравнению с уже существующими).
ЗЫЫ. Почитал readme.txt
Как-то в 2001 году, нашу фирму (занимающуюся станками с ЧПУ) бывший сотрудник, устроившийся на бетонный завод, пригласил на новый проект, по автоматизации, собственно, бетонного завода.
В процессе работы, он подошел ко мне (я был 22 летним программистом, кроме станков ничего не видел, поэтому все его пожелания воспринимал как ТЗ) и сказал:
- Мда... Фирма как делала станки с ЧПУ так и тут пытается сделать из РБУ - станок.

И да, после этого, через 7 лет, я плотно занялся РБУ и снова вспомнил его слова, когда мне попалась наша тогдашняя поделка.

Сообщение **Miraflores** » 20 апр 2023, 09:44

node-RED на Linux машине, виртуалка. В этой же виртуалке MySQL. Тоже могу выложить. Потому что я хоть и не новичёк в Linux, но я помню что какие-то трудности с настройкой доступа и пользователей у меня возникли. Это я эксперементировал в январе дома. Сейчас уже развёрнуты node-RED и MySQL на работе, ИТ-шниками, где-то там у них в виртуальной среде. В качестве Industrial Edge Server (IES) у меня перепрошитые OpenWRT обычные TP-Link WR842 v5. Они у нас уже года 4-ре трудятся. Производственных линий около 30-ти, в каждой от 1-го до 3-х (есть и больше) контроллеров, а ещё HMI, привода и прочее. Хотелось не отрывая задницу от стула иметь возможность подключаться к ним проектом. Так появился первый вариант VPN. За основу был взят домашний NAS Synology, спасибо нашим ОИТ-овцам разрешили выпустить наружу один порт, и OpenVPN - потому что OpenVPN не только как туннель может работать, а есть зачатки маршрутизации сетей. Поначалу меди к линиям не было, в качестве аплинка использовался WiFi интерфейс. Но сейчас уже всё почти на меди. Понятно что уже давно сервер поддержки VPN наши ОИТ подняли свой, на каком-то мощном микротике. Иметь IES на производственной линии оказалось удобно и тем, что можно NAT-ить те устройства где невозможно изменить IP, для которых только среда исполнения есть у нас. Разбил встроенный коммутатор как надо и вопрос решён. Конечно, если HMI на Windows можно проще поступить - виртуализировать эту машину и NAT-ить средствами виртуализации, при этом основная машина может быть на Linux, и так мы тоже делаем, но а если HMI это панелька то только NAT на IES, другого варианта нет. Кстати виртуализировать HMI оказалось удобно тем. что в ЗИП достаточно иметь один ПК на несколько линий, при установке на линии этого ЗИП ПК достаточно прописать какая именно в автозапуске виртуалка должна стартовать.

Не понял про какие 30 дней бесплатных Вы говорите, у какой библиотеки? Всё бесплатное навсегда.
Про то, что MQTT для производства не очень подходит вопрос спорный. В ТЗ по обновлению MES было выдвинуто требование: возможность 4 часа работы производственных линий при отсутствии связи и при этом данные не должны теряться. Данных о выпущенной продукции за это время совсем немного, для любого передела не более 50 наборов общим весом примерно 10...15 кБ. Я думал как это требование обыграть в условиях того, что штат расширить никто не даст, то есть количество обслуживаемого оборудования не должно увеличиться и пришёл к выводу что другого выбора, кроме как MQTT, у меня нет.

Отправлено спустя 56 минут 25 секунд:
Хорошо ещё то, что IES в таком варианте практически не занимает места в шкафу.

ЗЫ: А там где телега сфоткана, вообще примечательная ситуация. К телеге подходил специализированный многожильный кабель, толщиной в руку, который примерно раз в два года менять приходилось. Цена у него космическая, а с началом СВО вообще недоступен стал. Возникла идея перенести управление на беспроводку, а по кабелю только силу пустить. Сказано - сделано. Локальная логика безопасности перетащена в установленный шкаф на телеге, если аварийка в зоне выгрузки нажата тупо обесточивается телега, если телега видит превышение времени полёта "бумеранга" она останавливается и пищит. А на стороне главного шкафа управления для связи используется незадействованный интерфейс WiFi, в варианте 802.11s.

Сообщение **keysansa** » 21 апр 2023, 22:34

Miraflores писал(а): ↑20 апр 2023, 10:40 Про то, что MQTT для производства не очень подходит вопрос спорный. В ТЗ по обновлению MES было выдвинуто требование: возможность 4 часа работы производственных линий при отсутствии связи и при этом данные не должны теряться.

А как сохранение данных о производстве - зависит от протокола передачи? Если есть требования об автономной работе - данные сохраняются локально, и передаются после появления связи. Однако, чаще всего, данные о производстве, сохраняются локально даже если производство работает online.

Отправлено спустя 9 минут 35 секунд:
Связку OpenWRT и OpenVPN поддерживаю, много лет использую. Однако рекомендую настроить разделение хотя бы по Vlan (работа/данные/администрирование). Я использую 3 OpenVPN сервера на устройствах (когда начинал - не было внутри VPN тунелей Vlanов).
Ну и вместо MySQL - Postgre или MS SQL.
Foreign Key в MySQL толкьо InnoDB поддерживает, а они - очень капризные.

Отправлено спустя 6 минут 28 секунд:

Miraflores писал(а): ↑20 апр 2023, 10:40 Не понял про какие 30 дней бесплатных Вы говорите, у какой библиотеки? Всё бесплатное навсегда.

После прочтения вашего сообщения, загуглил "MQTT дляSimatic". На сайте Siemens - было про ограничение данной библиотеки в 30 дней trial.

Сообщение **Miraflores** » 23 апр 2023, 11:23

1. Про сохранение данных. "как зависит ..." Зависит и даже очень. Наложите на требование автономной работы 4 часа, требования предъявляемые к КИИ и требование о не расширении штата (т.е. не увеличении количества обслуживаемого оборудования) и поймёте что очень даже зависит.
2. Это понятно что сети АСУТП и сеть офиса должны быть разделены. Между ними файервол. Наши хотят даже второй файервол поставить - до VPN сервера и после (сие мне не очень понятно, звучит как использование двух презервативов одновременно). Для разделения сетей две технологии мне известны: MPLS и VLAN. Первая для больших сетей, вторая для малых, её и используем. А вот зачем Вам аж 3 VPN сервера я не понял.
3. Забавная ситуация про 30 дней триал - я этого даже не заметил. Первое что я сделал это отвязал код от библиотеки :)

Сообщение **keysansa** » 23 апр 2023, 20:16

Miraflores писал(а): ↑23 апр 2023, 11:36 Наложите на требование автономной работы 4 часа, требования предъявляемые к КИИ и требование о не расширении штата (т.е. не увеличении количества обслуживаемого оборудования) и поймёте что очень даже зависит.

У меня получается карта памяти (CF или USB) на контроллере. И кусок кода для обработки "online" и "offline" ситуаций. Какой протокол при этом используется - не важно, хоть Modbus.

Miraflores писал(а): ↑23 апр 2023, 11:36 А вот зачем Вам аж 3 VPN сервера я не понял.

1. Канал "Супервайзер". Используется для контроля работы/помощи оператору. В него заворачивается трафик видеокамер и VNC. Допускает присоединение нескольких пользователей.
2. Канал "Данные". Связь между SCADA, комнроллерами, DB. В него - весь технологический трафик. Соединение "Точка-Точка".
3. Канал "Обслуживаение". Доступ к shell сетевых устройств, KVM серверов, порты программирования контроллеров. Допускает присоединение нескольких пользователей.

Сообщение **Miraflores** » 24 апр 2023, 09:54

1. Про CF. Это то что и мне казалось "лежащим на поверхности". Даже и CF не нужно - в контроллере ведь есть retentive memory. Создал там массив из структур, потом выкачиваешь его драйвером node-Red от Hilscher или ST-One и всё OK! И я действительно с начала пошёл по этому пути. Но даже при таком сравнительно небольшом массиве 40..50 элементов, то что я делал стремительно разросталось и в какой-то момент я понял что я занимаюсь не своим делом - вместо того чтоб конфигурировать готовое я фактически создаю свой протокол. И отказался от этого. о чем, кстати я сделал запись в выложенном файле экселевском. То есть то что я только что написал, я уже объяснял там.
2. Про 3 шт VPN. Мне всё же не понятно зачем Вам три VPN и как это устроено. Одно из требований предъявляемых к КИИ это шифрование от физической защиты до физической защиты. То есть шифрование от запираемого на ключ шкафа АСУТП, до запираемой на ключ серверной где-то в конторе. (кроме того авторизация по возможности типа знаю+имею, отслеживание по возможности всего) Возможность реализации 3 клиентов VPN на одном аппаратном устройстве не реализуемая без каких-то средств виртуализации типа как метароутер в микротике. И то я сомневаюсь что можно запустить больше чем один метароутер. У вас действительно в шкафу АСУТП 3 клиентских устройства? (На мой взгляд всё прекрасно рулится правами пользователей.)

Из того что писал ранее. Вспомнил чем объясняли необходимость двух файерволов ИТ-шники - удобством администрирования, так более однородная среда получается хорошо вписывающаяся в их систему управления сетью.

Сообщение **keysansa** » 24 апр 2023, 20:21

Miraflores писал(а): ↑24 апр 2023, 09:54 3 клиентов VPN на одном аппаратном устройстве не реализуемая без каких-то средств виртуализации типа как метароутер в микротике.

VLAN в OpenWrt.
ЗЫ. Прошу прощения, поднял исходники. VLAN тогда не поддерживался. Policy-routing был.

Сообщение **keysansa** » 24 апр 2023, 22:18

Miraflores писал(а): ↑24 апр 2023, 09:54 Даже и CF не нужно - в контроллере ведь есть retentive memory.

В основном, у вас она очень быстро закончится. Поэтому, CF - нужно.
ЗЫ. У вас за 4 часа offline 40-50 элементов набегает? Тогда это силами Modbus легко решить, скорее всего.

Сообщение **Miraflores** » 28 апр 2023, 10:30

И всё-таки возвращаясь к теме. Про плюсы, минусы и подводные камни.

Разработчики MQTT сосредоточили свои усилия на главном, и это правильно. А отсюда самое большое неудобство, с которым приходиться сталкиваться, это формат транспортного контейнера MQTT - набор байт.
Понятно что при помощи набора байт (строки) можно передать всё что угодно - главное хорошо договориться. Не я первый, поэтому изобретать ничего не планирую. Слава Богу до меня уже договаривались - для node-Red (он java based) нативным является формат JSON. Это типа XML.

Но этот формат более для человека чем для машины. Поэтому на передающей стороне надо заморачиваться для каждой переменной как её передавать в виде текста - сколько знаков надо передать, где десятичную точку расположить. С датой и временем вообще веселуха ...

Нашел что есть расширение стандарта JSON, называется UBJSON. Кстати, не только UBJSON, есть и другие, но это вроде как наиболее продуманное и поддержанное комьюнити. В связи с последними событиями на что-то проприетарное рассчитывать совсем не приходиться. Поддерживаются все основные типы данных, без существенной потери человекоориентированности стандарта. Буду попробовать.
Может уже кто-то применяет UBJSON?

Сообщение **keysansa** » 28 апр 2023, 21:07

Miraflores писал(а): ↑28 апр 2023, 10:30 это формат транспортного контейнера MQTT - набор байт.

Любой протокол - передача набора байт )

Miraflores писал(а): ↑28 апр 2023, 10:30 для node-Red (он java based) нативным является формат JSON. Это типа XML.

JSON - это далеко не XML.

Miraflores писал(а): ↑28 апр 2023, 10:30 Но этот формат более для человека чем для машины. Поэтому на передающей стороне надо заморачиваться для каждой переменной как её передавать в виде текста - сколько знаков надо передать, где десятичную точку расположить. С датой и временем вообще веселуха ...

Во всех протоколах это уже решено процедурами-обертками. sendDate, reciveDate - и тоже не думаешь, ни о разделителях, ни о формате MM/DD/YY

У JSON - два преимущества - человекочитаемо и поддержка передачи структур и массивов. Однако в контроллере сформировать JSON - бестолковая трата ресурсов. Контроллеру надо управлением заниматься.

ЗЫ. Да, я использую SQL запросы в некоторых своих проектах. Но именно для того, что бы избавиться от "прослойки", которая будет разбирать данные какого-то протокола и потом формировать SQL.
В остальном - только нативные протоколы, поддерживаемые контроллерами "искаропки".

Сообщение **Miraflores** » 28 апр 2023, 21:31

Мой вопрос всё же был про UBJSON. Если удастся UBJSON прикрутить к node-Red то формирование пейлоад в контроллере упрощается драматически. То есть как это будет выглядеть со стороны контроллера абсолютно понятно, а вот с другого конца нет.

Сообщение **keysansa** » 29 апр 2023, 23:33

Miraflores писал(а): ↑28 апр 2023, 21:31 Мой вопрос всё же был про UBJSON.

В автоматике редко применяются чеовекочитаемые форматы. Так как более важна скорость передачи.

Сообщение **Miraflores** » 07 май 2023, 18:39

Я протестировал все способы и сделал свои выводы. Времени увы потрачено немало.
Если кому интересно то тут https://discourse.nodered.org/t/ubjson- ... n/78082/15
Там как-то более отзывчивая аудитория оказалась :)
Всё тестовое окружение у меня в виртуалках, за исключением PLC конечно, если кому-то это интересно могу выложить по ftp.
Впрочем и проект TIA-портала для S7-300/400 и для S7-1200/1500 тоже выложу, если есть интерес.

Всех с праздником Великой Победы и всем творческих успехов!

Сообщение **Miraflores** » 09 май 2023, 02:24

Всё используемое ПО с открытым исходным кодом и свободными лицензиями. Поэтому нарушений авторских прав не будет.
Это так на всякий случай, чтоб админы не удалили ссылку. Если конечно это кому-то надо.

Сообщение **stesl** » 09 май 2023, 06:07

Miraflores писал(а): ↑09 май 2023, 02:24 Если конечно это кому-то надо.

Мне надо. Скорее всего )) Но знаний пока не хватает, того же Линукса не знаю. Но тему пометил ;)

Сообщение **keysansa** » 09 май 2023, 22:05

Miraflores писал(а): ↑07 май 2023, 18:39 Я протестировал все способы и сделал свои выводы.

Можно с условиями и результатами исследований ознакомиться?

Сообщение **Miraflores** » 25 июн 2023, 10:50

можно, тут, в разделе про MES:
доступ по FTP/FTPS (любой FTP клиент, например FileZilla) 83.69.12.45 имя пользователя ftpuser пароль ftp_user

Отправлено спустя 14 минут 39 секунд:
Там паблишер на основе сименсовского для S7-1200/1500, но у меня уже протестированы паблишеры для S7-300/400 как для TIA портала так и для Step7. Забавное дело, в паблишере от сименс для 300/400 были пропущены две строчки кода из-за чего не работала идентификация по логину и паролю. Это я поправил и портировал его в Step7. В папке отчёт_1 продуктивный проект лежит. Первый пошёл! Всего предстоит примерно 40 производственных единиц.

Сообщение **keysansa** » 25 июн 2023, 21:16

Miraflores писал(а): ↑25 июн 2023, 11:04 можно, тут, в разделе про MES:

Не пускает.

Сообщение **Jackson** » 26 июн 2023, 16:18

keysansa писал(а): ↑25 июн 2023, 21:16
Miraflores писал(а): ↑25 июн 2023, 11:04 можно, тут, в разделе про MES:
Не пускает.

Кто, кого и куда не пускает?

Сообщение **Miraflores** » 26 июн 2023, 18:02

keysansa писал(а): ↑25 июн 2023, 21:16 Не пускает.

проверил - пускает

Сообщение **Miraflores** » 21 сен 2023, 08:25

Внедрение MQTT тем не менее идёт полным ходом! Отчёты с проектами выкладываю там же.
Попутно удаётся совмещать необходимое с полезным. Например, ещё одна телега переделана с целью отказаться от использования импортных многожильных кабелей нормированной гибкости недоступных к заказу, а попутно на появившемся на телеге контроллере реализована MQTT связь и поддержка принтера этикеток. Это логично, то что отправлено в MES, то и распечатано на этикетке. Industrial Edge Server (IES то есть объектовый роутер TP-Link WR842 v5 перепрошитый OpenWRT) пришлось перенести так что-бы было прямая видимость между антеннами, на нём был незадействованный WiFi интерфейс. Для резервирования питания брокеров MQTT ставлю ИБП БИРП 12х1,6 с аккумулятором 7 Ач. Такого ИБП при потребляемом IES токе менее 250 мА должно хватать надолго.