Script pour surveiller la taille de la bdd

Forum dédié aux problématiques concernant les scripts pour DomoticZ.
Entourez votre code et les logs avec les balises nommées code grâce au bouton <\>.
JC38
Messages : 286
Inscription : 29 déc. 2014, 20:47
Localisation : Lyon

Script pour surveiller la taille de la bdd

Message par JC38 »

Bonsoir,

J'ai constaté par hasard que la taille de Domoticz.db avait doublé (de 4 Mo à 8 Mo) en 48h00. Cela s'est terminé avec un rollback à j-2 pour la base.
Du coup, j'aimerais prévenir ce genre de mésaventure en pistant l'évolution de la taille de la bdd via un dummy sensor.
Mais pour faire cela, je n'ai pas encore les connaissances suffisante en linux pour pister la taille de Domoticz.db, mais je ne pense pas que cela soit bien compliqué.
Donc, si certains se sentent inspirés pour fournir un peu d'aide, je suis preneur.
Raspberry Pi3 sous Jessie 8.3 + Domoticz latest beta + RFXComm Usb + Aeon Labs Z-Stick + Weather Underground
Windows Server 2012 R2 + Domoticz Windows (latest) + Open Hardware Monitor
Clients : ImperiHome avec Mdah / Domoticz for Android
patrice
Messages : 1720
Inscription : 22 sept. 2014, 21:51

Re: Script pour surveiller la taille de la bdd

Message par patrice »

Bonjour
J'adore ces challenges :D

Code : Tout sélectionner

#! /bin/bash
taille=$(ls -lisa /home/pi/domoticz/domoticz.db|cut -d' ' -f7)
echo $taille

tu as donc une varaible $taille qui contient une valeur 1716224
A toi de l'afficher dans un widget, d'envoyer par mail, sms ....
Raspberry pi 3, Dongle RfxCom et Zigate +, plugin de pipiche, Volets Roulants profalux, contrôle d'éclairage, détecteurs de présence, alarme incendie, pilotage livebox ...
Objectif : WAF > 1
JC38
Messages : 286
Inscription : 29 déc. 2014, 20:47
Localisation : Lyon

Re: Script pour surveiller la taille de la bdd

Message par JC38 »

Merci Patrice.
Je vais essayer de faire cela dans la semaine.
Raspberry Pi3 sous Jessie 8.3 + Domoticz latest beta + RFXComm Usb + Aeon Labs Z-Stick + Weather Underground
Windows Server 2012 R2 + Domoticz Windows (latest) + Open Hardware Monitor
Clients : ImperiHome avec Mdah / Domoticz for Android
JC38
Messages : 286
Inscription : 29 déc. 2014, 20:47
Localisation : Lyon

Re: Script pour surveiller la taille de la bdd

Message par JC38 »

J'ai fait ce petit script que j'ai mis dans un cron.
#! /bin/bash
taille=$(ls -lisa /home/pi/domoticz/domoticz.db|cut -d' ' -f7)
json_command="http://127.0.0.1:8080/json.htm?type=com ... e="$taille
curl $json_command
Ma db fait 4 Mo environ mais je ne vois pas bouger sa taille. J'ai de vieilles sauvegardes qui montrent que la taille évolue mais il semblerait que ce soit par palier. Est-ce comme cela que fonctionne ces bdd Sqlite ? Si oui, est-il possible de les "compresser"
Raspberry Pi3 sous Jessie 8.3 + Domoticz latest beta + RFXComm Usb + Aeon Labs Z-Stick + Weather Underground
Windows Server 2012 R2 + Domoticz Windows (latest) + Open Hardware Monitor
Clients : ImperiHome avec Mdah / Domoticz for Android
patrice
Messages : 1720
Inscription : 22 sept. 2014, 21:51

Re: Script pour surveiller la taille de la bdd

Message par patrice »

Aucune idée de comment évolue la base sqlite, trop dépendante du nb de peripheriques, de la frequence , des periph connectés....
Non on ne peut pas la compresser

La base n'est pas chargée en mémoire dans son intégralité, les ecritures ont lieu au fil de l'eau
Le seul moment ou on charge un peu de datas c'est dans la visu des graphiques
Raspberry pi 3, Dongle RfxCom et Zigate +, plugin de pipiche, Volets Roulants profalux, contrôle d'éclairage, détecteurs de présence, alarme incendie, pilotage livebox ...
Objectif : WAF > 1
JC38
Messages : 286
Inscription : 29 déc. 2014, 20:47
Localisation : Lyon

Re: Script pour surveiller la taille de la bdd

Message par JC38 »

En 3 jours, domoticz.db n'a pas bougé d'un octet...
Raspberry Pi3 sous Jessie 8.3 + Domoticz latest beta + RFXComm Usb + Aeon Labs Z-Stick + Weather Underground
Windows Server 2012 R2 + Domoticz Windows (latest) + Open Hardware Monitor
Clients : ImperiHome avec Mdah / Domoticz for Android
JC38
Messages : 286
Inscription : 29 déc. 2014, 20:47
Localisation : Lyon

Re: Script pour surveiller la taille de la bdd

Message par JC38 »

Bonjour,

Voici l'évolution de la bdd ces derniers jours et mois.
ça me fait peur :oops:
Taille_par_mois
Taille_par_mois
backup_month.PNG (22.62 Kio) Consulté 10623 fois
Evolution_par_jour
Evolution_par_jour
backup_day.PNG (63.14 Kio) Consulté 10623 fois
Raspberry Pi3 sous Jessie 8.3 + Domoticz latest beta + RFXComm Usb + Aeon Labs Z-Stick + Weather Underground
Windows Server 2012 R2 + Domoticz Windows (latest) + Open Hardware Monitor
Clients : ImperiHome avec Mdah / Domoticz for Android
vil1driver
Messages : 5661
Inscription : 30 janv. 2015, 11:07
Localisation : Rennes (35)

Re: Script pour surveiller la taille de la bdd

Message par vil1driver »

Ici avec les réglages suivant

Luminaires/Interrupteurs: 3 jours
Petit log des capteurs: 1 jour

Ma base après environ 1 ans d'utilisation dépasse à peine les 3Mo..

Maintenant tu es loin de remplir ta carte.
Tu t'inquiètes peut être inutilement...
MAJ = VIDER LE CACHE(<-Clicable)
/!\Les mises à jour de Domoticz sont souvent sources de difficultés, ne sautez pas dessus
modules.lua

Un ex domoticzien
JC38
Messages : 286
Inscription : 29 déc. 2014, 20:47
Localisation : Lyon

Re: Script pour surveiller la taille de la bdd

Message par JC38 »

J'ai comme valeurs 30 et 3
Raspberry Pi3 sous Jessie 8.3 + Domoticz latest beta + RFXComm Usb + Aeon Labs Z-Stick + Weather Underground
Windows Server 2012 R2 + Domoticz Windows (latest) + Open Hardware Monitor
Clients : ImperiHome avec Mdah / Domoticz for Android
Répondre