Dz, mosquitto, MQTT, et base de données

Forum dédié au protocole MQTT : fonctionnement, intégration ...
Pour les questions concernant le plugin de FlyingDomotic, merci d'utiliser le sous-forum dédié.
papoo
Messages : 2029
Inscription : 10 janv. 2016, 11:29
Localisation : Limoges (87)
Contact :

Dz, mosquitto, MQTT, et base de données

Message par papoo »

Bonjour,
je me suis mis (récemment) à la domotique pour principalement superviser mes consommations d'eau de gaz et d'elec.
La première phase a été de récupérer les infos des compteurs sur Dz.

Je voudrais maintenant historiser ces consommations afin de les garder mais dz ne conserve pas les données journalières.
mes recherches s'orientent sur l'exportation de ces infos via Mosquitto sur une base de données influxDB et une génération des graphiques via Grafana.

j'ai installé mosquitto sur mon synology, je cherche encore comment y installer influxDb et grafana.

Est-ce que quelqu'un a un projet similaire? si c'est le cas, êtes vous satisfait de cette solution?
pour l'export de Dz vers mosquitto avez vous des tutos un peu plus clair que le wiki de Dz?

merci pour toutes vos réactions/suggestions.
domoticz beta/RaspBerry PI3 stretch
https://pon.fr github
rimram31
Messages : 659
Inscription : 04 oct. 2015, 11:22
Localisation : Toulouse

Re: Dz, mosquitto, MQTT, et base de données

Message par rimram31 »

Projet oui :-) mais uniquement dans l'idée en l'etat ... d'où l'intérêt que je portais a l'article sur Runabove (OVH) http://easydomoticz.com/iot-1/ (et le suivant http://easydomoticz.com/iot-2/). L'article utilise un script device (qui appelle lui-même un script python ensuite :-)) pour envoyer des données mais de ce que je vois, pour un device donné.

Dans le principe envoyer les données, idéalement toutes, a une autre db comme tu l'imagines avec influxDB (que je ne connaissais pas, elle apporte quoi a part le time series "natif" ?). Par contre je me pose des questions sur le fonctionnement asynchrone, l'idée de stocker localement pour réplication autorisant ce mode asynchrone (couchdb ?).

Dans les grandes lignes même objectif que toi, disposer des données dupliquées ailleurs et pouvoir les exploiter via un/des outils adaptés plutôt fournis et d'actualité autour de données de type Time Series.

Pour mqtt pas plus d'infos, pas essayé d'écouter le topic out (je suppose) pour voir si dz y poste tous les changements. J'avais jeté un oeil au code du hardware MQTT (https://github.com/domoticz/domoticz/bl ... e/MQTT.cpp) ou on découvre par exemple un topic non documenté MyMQTT utilisé pour mysensors.
Raspberry Pi 2 + carte RF pi "maison" + Domoticz
Sonde Oregon + Aliexpress - Prises Chacon (3500W) - 1wire DS18B20
papoo
Messages : 2029
Inscription : 10 janv. 2016, 11:29
Localisation : Limoges (87)
Contact :

Re: Dz, mosquitto, MQTT, et base de données

Message par papoo »

J'ai un peu avancé sur le sujet et en même temps beaucoup reculé.
je m'explique
j'ai installé les dernières versions de mosquitto, node-red, influxdb et grafana . Problème : les versions compatibles avec les scripts du wiki étaient déjà pré-installées sur l'image domoticz. du coup influxdb est en version 0.12 alors qu'il faut la 0.9.6. je n'ai pas pu tester la remontée sur la base.
mais j'ai réussi à faire fonctionner mosquitto et publié un topic domoticz out. j'ai un peu galérer pour trouver comment faire, en fait il faut créer un nouvel Hardware, et sélectionner MQTT Client Gateway with Lan interface. (voir tuto en anglais)

ensuite dans node-red je récupère bien les infos du topic domoticz out mais le code fourni sur le wiki n'est plus compatible avec ma version d'influxdb
{ "topic": "domoticz/out", "payload": "{\"error\":\"unable to parse '[{\\\"name\\\": \\\"Lighting 2\\\",\\\"columns\\\": [\\\"idx\\\", \\\"nvalue\\\", \\\"svalue1\\\"],\\\"points\\\": [[150, 1, 0]]}]': invalid field format\"}\n", "qos": 0, "retain": false, "_topic": "domoticz/out", "_msgid": "ca3e1191.35c1f", "statusCode": 400, "headers": { "content-type": "application/json", "request-id": "6c51213d-00a4-11e6-827d-000000000000", "x-influxdb-version": "0.12.0", "date": "Tue, 12 Apr 2016 11:48:07 GMT", "content-length": "155", "connection": "close" } }
je dois refaire une install propre de mon pi, je referais des essais ensuite.

pour ce qui s'agit d'influxdb, le seul avantage est sa compatibilité avec grafana pour générer des graphiques simplement. seul inconvénient le stockage des données est limité à 168 jours. je ne désespère pas de trouver comment exporter mes données sur une base sql stockée sur mon nas afin de garder l'ensemble des données. mais le problème reste entier pour la construction des graphiques.
j'ai zieuté un projet similaire en sql sur un forum fibaro nommé domocharts mais je n'ai pas encore avancé sur sa possible utilisation avec des données domoticz, la structure des tables étant assez différente.
domoticz beta/RaspBerry PI3 stretch
https://pon.fr github
Répondre