DbLog - Versionsgeschichte

Caldir65: Bei Synology mit DSM 7.2 (z.B. beim DS923+) ist z.B. der Port der MariaDB wieder von Haus aus auf Standard gesetzt ...

2024-01-07T08:18:40Z

Bei Synology mit DSM 7.2 (z.B. beim DS923+) ist z.B. der Port der MariaDB wieder von Haus aus auf Standard gesetzt ...

← Nächstältere Version		Version vom 7. Januar 2024, 10:18 Uhr
Zeile 23:		Zeile 23:
	== Konfiguration ==		== Konfiguration ==
	=== Datenbank-Anbindung mittels db.conf ===		=== Datenbank-Anbindung mittels db.conf ===
	{{Randnotiz\|RNTyp=y\|RNText='''Anmerkung''': MariaDB10 nutzt nicht Port 3306 sondern 3307. Dies ist zum Beispiel bei Synology NAS der Fall.}}		{{Randnotiz\|RNTyp=y\|RNText='''Anmerkung''': MariaDB10 nutzt nicht Port 3306 sondern 3307. Dies ist zum Beispiel bei einigen Synology NAS der Fall.}}
	DbLog wird durch 2 verschiedene Einträge aktiviert/definiert. In einer Datei namens '''db.conf''' werden die Parameter für eine Verbindung zur Datenbank (host, username, password, etc.) hinterlegt. Diese Datei kann in einem beliebigen Verzeichnis angelegt werden. Für eine MySQL-Datenbank sieht die db.conf folgendermaßen aus:		DbLog wird durch 2 verschiedene Einträge aktiviert/definiert. In einer Datei namens '''db.conf''' werden die Parameter für eine Verbindung zur Datenbank (host, username, password, etc.) hinterlegt. Diese Datei kann in einem beliebigen Verzeichnis angelegt werden. Für eine MySQL-Datenbank sieht die db.conf folgendermaßen aus:

L2r am 18. September 2023 um 06:28 Uhr

2023-09-18T06:28:37Z

← Nächstältere Version		Version vom 18. September 2023, 08:28 Uhr
Zeile 284:		Zeile 284:

	Unter Ubuntu/debian:		Unter Ubuntu/debian:
	apt-get update && apt-get install mysql-server ~~mysql~~-client libdbd-mysql libdbd-mysql-perl		apt-get update && apt-get install mysql-server mariadb-client libdbd-mysql libdbd-mysql-perl

Bernd zwo: Hinweis auf mysql_secure_installation

2023-03-17T12:23:17Z

Hinweis auf mysql_secure_installation

← Nächstältere Version		Version vom 17. März 2023, 14:23 Uhr
Zeile 289:		Zeile 289:
	Bei der Installation sollte man aus Sicherheitsgründen ein Passwort für den mysql-root vergeben, wenn man nicht sogar ganz den Login verbietet.		Bei der Installation sollte man aus Sicherheitsgründen ein Passwort für den mysql-root vergeben, wenn man nicht sogar ganz den Login verbietet.

	Hinweis: im Folgenden ist "#" der normale Prompt und "mysql>" der prompt innerhalb mysql, dieser kann mit exit verlassen werden.		Hinweis: im Folgenden ist "#" der normale Prompt und "mysql>" der prompt innerhalb mysql, dieser kann mit exit verlassen werden.

	Zum Test mal mit mysql verbinden:		Eine erste Konfiguration von MariaDB / mySQL kann mit <pre>
			# sudo mysql_secure_installation
			</pre>vorgenommen werden.

			Zum Test mal mit mysql verbinden:
	# mysql -p -u root		# mysql -p -u root
	Enter password:		Enter password:

AlanBlack: /* Beispiel: Anlegen und Nutzung einer SQLite-Datenbank */

2023-01-26T18:09:23Z

Beispiel: Anlegen und Nutzung einer SQLite-Datenbank

← Nächstältere Version		Version vom 26. Januar 2023, 20:09 Uhr
Zeile 216:		Zeile 216:
	<ol>		<ol>
	<li>''Installation von SQLite:''		<li>''Installation von SQLite:''
	<pre>sudo aptitude install sqlite3 libdbi-perl libdbd-sqlite3-perl</pre>		<pre>sudo aptitude install sqlite3 libdbi-perl libdbd-sqlite3-perl

			oder auf aktuellerem Stand

			sudo apt install sqlite3</pre>
	</li>		</li>
	<li>''Anlegen der SQLite-Datenbank fhem.db'' (öffnet auch direkt eine SQL-Kommandozeile):		<li>''Anlegen der SQLite-Datenbank fhem.db'' (öffnet auch direkt eine SQL-Kommandozeile):

Andies: /* Links */

2022-12-30T07:16:22Z

Links

← Nächstältere Version		Version vom 30. Dezember 2022, 09:16 Uhr
Zeile 651:		Zeile 651:
	* [[Heizleistung_und_Gasverbrauch\|Beispiel das DbLog-Daten für SVG-Plots verwendet]]		* [[Heizleistung_und_Gasverbrauch\|Beispiel das DbLog-Daten für SVG-Plots verwendet]]
	* [[SVG-Plots von FileLog auf DbLog umstellen]]		* [[SVG-Plots von FileLog auf DbLog umstellen]]
			* Manchmal bereitet die Engine von mysql auf einem Raspberry Probleme: [https://forum.fhem.de/index.php/topic,131164.msg1253589.html#msg1253589\|Link zum Forum]

	[[Kategorie:Logging]]		[[Kategorie:Logging]]

Ph1959de: Sichtung / Bearbeitung der letzten Änderung

2021-11-21T09:10:03Z

Sichtung / Bearbeitung der letzten Änderung

← Nächstältere Version		Version vom 21. November 2021, 11:10 Uhr
Zeile 6:		Zeile 6:
	\|ModOwner=tobiasfaust ({{Link2FU\|118\|Forum}}/[[Benutzer Diskussion:Tobias.faust\|Wiki]])<br />DS_Starter ({{Link2FU\|16933\|Forum}}/[[Benutzer Diskussion:DS_Starter\|Wiki]])		\|ModOwner=tobiasfaust ({{Link2FU\|118\|Forum}}/[[Benutzer Diskussion:Tobias.faust\|Wiki]])<br />DS_Starter ({{Link2FU\|16933\|Forum}}/[[Benutzer Diskussion:DS_Starter\|Wiki]])
	}}		}}

	== Einleitung ==		== Einleitung ==
	Mit der Zeit entstehen in FHEM recht umfangreiche Log-Daten für die verschiedensten konfigurierten Devices. Die übliche Einstiegs-[[Konfiguration]] sieht vor, dass die Logs als {{Link2CmdRef\|Lang=de\|Anker=FileLog\|Label=FileLog}} gespeichert werden - je nach Einstellung in wenigen sehr großen oder vielen kleineren Dateien. Der Datei-basierte Zugriff ist allerdings nicht ~~wirklick~~ performant und kann schnell zum Flaschenhals werden (z.B. bei der Darstellung von Graphen über einen längeren Zeitraum).		Mit der Zeit entstehen in FHEM recht umfangreiche Log-Daten für die verschiedensten konfigurierten Devices. Die übliche Einstiegs-[[Konfiguration]] sieht vor, dass die Logs als {{Link2CmdRef\|Lang=de\|Anker=FileLog\|Label=FileLog}} gespeichert werden - je nach Einstellung in wenigen sehr großen oder vielen kleineren Dateien. Der Datei-basierte Zugriff ist allerdings nicht wirklich performant und kann schnell zum Flaschenhals werden (z.B. bei der Darstellung von Graphen über einen längeren Zeitraum).

	Alternativ kann FHEM die Log-Daten mittels {{Link2CmdRef\|Lang=de\|Anker=DbLog\|Label=DbLog}} in einer Datenbank speichern. Diese kann lokal als einfache SQLite- oder als zentrale Server-Datenbank (s.u.) gestaltet sein. Schon eine lokale einfache SQLite-Datenbank ist in der Regel deutlich performanter als File-basierte Logs.		Alternativ kann FHEM die Log-Daten mittels {{Link2CmdRef\|Lang=de\|Anker=DbLog\|Label=DbLog}} in einer Datenbank speichern. Diese kann lokal als einfache SQLite- oder als zentrale Server-Datenbank (s.u.) gestaltet sein. Schon eine lokale einfache SQLite-Datenbank ist in der Regel deutlich performanter als File-basierte Logs.
Zeile 18:		Zeile 17:
	# [[#Anpassen der gplot-Konfigurationen\|Ggf. Anpassen der gplot-Konfigurationen]]		# [[#Anpassen der gplot-Konfigurationen\|Ggf. Anpassen der gplot-Konfigurationen]]

	Eine weitere Alternative bietet ~~{{Link2CmdRef\|Lang=de\|Anker=InfluxDBLogger\|Label=InfluxDBLogger}}, was allerdings in einem anderen Artikel für~~ das Modul [[InfluxDBLogger]] ~~behandelt wird~~.		Eine weitere Alternative bietet das Modul [[InfluxDBLogger]].

	~~;Hinweis:~~
	Reporting und Management von DbLog-Datenbankinhalten kann mit dem Modul [[DbRep - Reporting und Management von DbLog-Datenbankinhalten\|DbRep]] stattfinden.		Reporting und Management von DbLog-Datenbankinhalten kann mit dem Modul [[DbRep - Reporting und Management von DbLog-Datenbankinhalten\|DbRep]] stattfinden.

Zeile 172:		Zeile 170:

	Für die fht.gplot Konfiguration sähe die Anpassung wie folgt aus (lediglich die vier DbLog-Zeilen wurden hinzugefügt):		Für die fht.gplot Konfiguration sähe die Anpassung wie folgt aus (lediglich die vier DbLog-Zeilen wurden hinzugefügt):
	<~~pre~~>		<syntaxhighlight lang="Perl">
	# Created by FHEM/98_SVG.pm, 2014-12-25 21:53:30		# Created by FHEM/98_SVG.pm, 2014-12-25 21:53:30
	set terminal png transparent size <SIZE> crop		set terminal png transparent size <SIZE> crop
Zeile 202:		Zeile 200:
	"<IN>" using 1:2 axes x1y2 title 'Desired Temperature' ls l2 lw 1 with steps,\		"<IN>" using 1:2 axes x1y2 title 'Desired Temperature' ls l2 lw 1 with steps,\
	"<IN>" using 1:2 axes x1y1 title 'Window' ls l3 lw 1 with steps		"<IN>" using 1:2 axes x1y1 title 'Window' ls l3 lw 1 with steps
	</~~pre~~>		</syntaxhighlight>

	Des Weiteren ist zu beachten:		Des Weiteren ist zu beachten:

Joshi04: Hinweis zur Alternative InfluxDBLogger hinzugefügt.

2021-11-20T19:55:44Z

Hinweis zur Alternative InfluxDBLogger hinzugefügt.

← Nächstältere Version		Version vom 20. November 2021, 21:55 Uhr
Zeile 17:		Zeile 17:
	# [[#Konfiguration als Device in fhem.cfg\|Anpassen aller (oder einzelner) Konfigurationen von FileLog nach DbLog]]		# [[#Konfiguration als Device in fhem.cfg\|Anpassen aller (oder einzelner) Konfigurationen von FileLog nach DbLog]]
	# [[#Anpassen der gplot-Konfigurationen\|Ggf. Anpassen der gplot-Konfigurationen]]		# [[#Anpassen der gplot-Konfigurationen\|Ggf. Anpassen der gplot-Konfigurationen]]

			Eine weitere Alternative bietet {{Link2CmdRef\|Lang=de\|Anker=InfluxDBLogger\|Label=InfluxDBLogger}}, was allerdings in einem anderen Artikel für das Modul [[InfluxDBLogger]] behandelt wird.

	;Hinweis:		;Hinweis:

Ph1959de: Sichtung / Korrektur der letzten Änderungen

2021-04-13T08:20:23Z

Sichtung / Korrektur der letzten Änderungen

← Nächstältere Version		Version vom 13. April 2021, 10:20 Uhr
Zeile 23:		Zeile 23:
	== Konfiguration ==		== Konfiguration ==
	=== Datenbank-Anbindung mittels db.conf ===		=== Datenbank-Anbindung mittels db.conf ===
			{{Randnotiz\|RNTyp=y\|RNText='''Anmerkung''': MariaDB10 nutzt nicht Port 3306 sondern 3307. Dies ist zum Beispiel bei Synology NAS der Fall.}}
	DbLog wird durch 2 verschiedene Einträge aktiviert/definiert. In einer Datei namens '''db.conf''' werden die Parameter für eine Verbindung zur Datenbank (host, username, password, etc.) hinterlegt. Diese Datei kann in einem beliebigen Verzeichnis angelegt werden. Für eine MySQL-Datenbank sieht die db.conf folgendermaßen aus:		DbLog wird durch 2 verschiedene Einträge aktiviert/definiert. In einer Datei namens '''db.conf''' werden die Parameter für eine Verbindung zur Datenbank (host, username, password, etc.) hinterlegt. Diese Datei kann in einem beliebigen Verzeichnis angelegt werden. Für eine MySQL-Datenbank sieht die db.conf folgendermaßen aus:

	~~[Anmerkung: MariaDB10 nutzt nicht Port 3306 sondern 3307. Dies ist zum Beispiel bei Synology NAS der Fall]~~

	%dbconfig= (		%dbconfig= (
Zeile 34:		Zeile 33:

	Im Verzeichnis '''contrib/dblog''' der FHEM-Installation befindet sich eine Beispielkonfiguration mit der Syntax für jeden unterstützen Datenbanktyp.		Im Verzeichnis '''contrib/dblog''' der FHEM-Installation befindet sich eine Beispielkonfiguration mit der Syntax für jeden unterstützen Datenbanktyp.
	Es wird empfohlen diese Datei zu kopieren und erst dann entsprechend zu bearbeiten. Am Besten kopiert man diese Datei in das FHEM Home Directory /opt/fhem/ und achtet auf die entsprechenden Rechte!		Es wird empfohlen, diese Datei zu kopieren und erst dann entsprechend zu bearbeiten. Am Besten kopiert man diese Datei in das FHEM Home Directory /opt/fhem/ und achtet auf die entsprechenden Rechte!
	chown fhem:dialout /opt/fhem/db.conf		<syntaxhighlight lang="bash">chown fhem:dialout /opt/fhem/db.conf</syntaxhighlight>

	=== Konfiguration als Device ===		=== Konfiguration als Device ===
Zeile 45:		Zeile 44:
	Die Angabe von <code>.:.</code> bedeutet, dass sämtliche DeviceMessages (Messwerte, Batteriestatus, KeepAlives, etc.) in die Datenbank geschrieben werden. Dies führt u.U. dazu, dass die Datenbank auch mit vielen teils irrelevanten Werten gefüllt wird. Man kann daher die zu loggenden Werte einschränken, indem man genau angibt welche Werte übertragen werden sollen. Dies ist in [[#Finetuning des Loggings]] beschrieben.		Die Angabe von <code>.:.</code> bedeutet, dass sämtliche DeviceMessages (Messwerte, Batteriestatus, KeepAlives, etc.) in die Datenbank geschrieben werden. Dies führt u.U. dazu, dass die Datenbank auch mit vielen teils irrelevanten Werten gefüllt wird. Man kann daher die zu loggenden Werte einschränken, indem man genau angibt welche Werte übertragen werden sollen. Dies ist in [[#Finetuning des Loggings]] beschrieben.

	Unbedingt beachten: bei Verwendung des Moduls configdb wird die Konfigurationsdatei aus der '''''Datenbank''''' gelesen. Deshalb ist es erforderlich, ~~das File~~ mittels <code>configdb fileimport db.conf </code> vorher zu importieren !		Unbedingt beachten: bei Verwendung des Moduls configdb wird die Konfigurationsdatei aus der '''''Datenbank''''' gelesen. Deshalb ist es erforderlich, die Datei mittels <code>configdb fileimport db.conf </code> vorher zu importieren !

	=== Finetuning des Loggings ===		=== Finetuning des Loggings ===

Amenophis86: /* Datenbank-Anbindung mittels db.conf */ Hinweis darauf erstell, dass Maria DB 10 Port 3307 nutzt und nicht 3306

2021-04-12T07:55:07Z

Datenbank-Anbindung mittels db.conf: Hinweis darauf erstell, dass Maria DB 10 Port 3307 nutzt und nicht 3306

← Nächstältere Version		Version vom 12. April 2021, 09:55 Uhr
Zeile 24:		Zeile 24:
	=== Datenbank-Anbindung mittels db.conf ===		=== Datenbank-Anbindung mittels db.conf ===
	DbLog wird durch 2 verschiedene Einträge aktiviert/definiert. In einer Datei namens '''db.conf''' werden die Parameter für eine Verbindung zur Datenbank (host, username, password, etc.) hinterlegt. Diese Datei kann in einem beliebigen Verzeichnis angelegt werden. Für eine MySQL-Datenbank sieht die db.conf folgendermaßen aus:		DbLog wird durch 2 verschiedene Einträge aktiviert/definiert. In einer Datei namens '''db.conf''' werden die Parameter für eine Verbindung zur Datenbank (host, username, password, etc.) hinterlegt. Diese Datei kann in einem beliebigen Verzeichnis angelegt werden. Für eine MySQL-Datenbank sieht die db.conf folgendermaßen aus:

			[Anmerkung: MariaDB10 nutzt nicht Port 3306 sondern 3307. Dies ist zum Beispiel bei Synology NAS der Fall]

	%dbconfig= (		%dbconfig= (

Ph1959de: Sichtung / Korrektur der letzten Änderungen

2021-04-09T05:47:52Z

Sichtung / Korrektur der letzten Änderungen

← Nächstältere Version		Version vom 9. April 2021, 07:47 Uhr
Zeile 335:		Zeile 335:
	Anscheinend gibt es bei der neuen Version MariaDB (im Gegensatz zu mysql) ein neues Anmeldeverfahren, so dass in der Datenbank selbst Veränderungen vorgenommen werden müssen, damit der Zugriff durch FHEM funktioniert: https://kofler.info/root-login-problem-mit-mariadb/		Anscheinend gibt es bei der neuen Version MariaDB (im Gegensatz zu mysql) ein neues Anmeldeverfahren, so dass in der Datenbank selbst Veränderungen vorgenommen werden müssen, damit der Zugriff durch FHEM funktioniert: https://kofler.info/root-login-problem-mit-mariadb/

	Die Daten im MySQL können auch für die längere Aufbewahrung partitioniert werden. Dabei wird pro Partition ~~1 File~~ erzeugt statt ~~einem gemeindamen File~~ für alle Daten. Je nach Wunsch zum Beispiel partitioniert nach Jahr.<syntaxhighlight lang="sql">		Die Daten im MySQL können auch für die längere Aufbewahrung partitioniert werden. Dabei wird pro Partition eine Datei erzeugt statt einer gemeinsamen Datei für alle Daten. Je nach Wunsch zum Beispiel partitioniert nach Jahr.
			<syntaxhighlight lang="sql">
	Alter table history PARTITION BY RANGE ( UNIX_TIMESTAMP(timestamp) ) (		Alter table history PARTITION BY RANGE ( UNIX_TIMESTAMP(timestamp) ) (
	PARTITION p0 VALUES LESS THAN ( UNIX_TIMESTAMP('2019-01-01 00:00:00') ),		PARTITION p0 VALUES LESS THAN ( UNIX_TIMESTAMP('2019-01-01 00:00:00') ),
Zeile 349:		Zeile 350:
	== Beispiel: Abfragescript PHP/MySQL ==		== Beispiel: Abfragescript PHP/MySQL ==
	Um eine schnelle Übersicht zu bekommen habe ich mir dieses Script geschrieben:		Um eine schnelle Übersicht zu bekommen habe ich mir dieses Script geschrieben:
	<syntaxhighlight lang="php"><?php $pdo = new PDO('mysql:host=localhost;dbname=fhem', 'fhemuser', 'fhempasswort');		<syntaxhighlight lang="php">
			<?php $pdo = new PDO('mysql:host=localhost;dbname=fhem', 'fhemuser', 'fhempasswort');
	echo '<h2>Tabelle Current</h1><br><table border="1">';		echo '<h2>Tabelle Current</h1><br><table border="1">';
	echo "<tr><th>Anzahl</th><th>Name</th><th>Readings</th></tr>";		echo "<tr><th>Anzahl</th><th>Name</th><th>Readings</th></tr>";
Zeile 369:		Zeile 371:
	</syntaxhighlight>		</syntaxhighlight>

	Bitte passt fhemuser und fhempasswort an. Das Ganze kommt dann nach ''/var/www/html/fhemdb.php'' und ist mit ''<IP>/fhemdb.php'' aufrufbar. Wenn ihr den 2. Block für die history Tabelle ausklammert oder entfernt läuft das Script viel schneller ab - klar die history Tabelle ist meist randvoll.		Bitte passt ''fhemuser'' und ''fhempasswort'' an. Das Ganze kommt dann nach <code>/var/www/html/fhemdb.php</code> und ist mit <code><nowiki><IP>/fhemdb.php</nowiki></code> aufrufbar. Wenn ihr den zweiten Block für die history Tabelle ausklammert oder entfernt, läuft das Script viel schneller ab - klar die history Tabelle ist meist randvoll.

	== Integration von DBLog in eigene Module ==		== Integration von DBLog in eigene Module ==
Zeile 389:		Zeile 391:

	== Werte auslesen ==		== Werte auslesen ==
	Manchmal möchte man Daten aus den Logs abrufen ohne händisch in der Datenbank herumzuwühlen (s.u.). Dies ist ~~insb.~~ auch dann hilfreich, wenn man ~~eigenen~~ Funktionen, Notifys oder spezielle Plots entwirft, bei denen man auf Logdaten zugreifen möchte.		Manchmal möchte man Daten aus den Logs abrufen ohne händisch in der Datenbank herumzuwühlen (s.u.). Dies ist insbesondere auch dann hilfreich, wenn man eigene Funktionen, Notifys oder spezielle Plots entwirft, bei denen man auf Logdaten zugreifen möchte.

	Grundsätzlich beschrieben ist dies in der {{Link2CmdRef\|Lang=de\|Anker=DbLog}} und unterscheidet sich minimal (aber entscheidend) von der Struktur bei [[FileLog#Werte_auslesen\|FileLogs]].		Grundsätzlich beschrieben ist dies in der {{Link2CmdRef\|Lang=de\|Anker=DbLog}} und unterscheidet sich minimal (aber entscheidend) von der Struktur bei [[FileLog#Werte_auslesen\|FileLogs]].