Bester Weg um Sensordaten zu speichern und auszuwerten

[basementmedia]

Hi zusammen,

ich hab wieder mal eine Anfängerfrage:
Was ist denn der beste Weg um Sensordaten auf SD Karte zu speichern, um diese nachträglich mit guter Performance auszuwerten.

Ich möchte quasi über einen längeren Zeitraum Sensordaten stündlich erfassen und speichern.
Später möchte ich dann die Möglichkeit haben, eine Tages-, Monats- oder Jahresauswertung zu machen.

Mein bisheriger Ansatz:
Pro Tag wird eine TXT-Datei angelegt. Die Datei wird mit dem Datum benannt, heißt also z.b. 2020-01-01.txt.

Wenn man dann eine Tagesauswertung macht, wird die entsprechende Datei ausgelesen und als Tabelle dargestellt.

Wenn man eine Monatsauswertung macht werden dann eben alle Dateien des Monats ausgelesen und ebenfalls wieder als Tabelle dargestellt.

Ich stelle mir diese Lösung aber Performancemäßig nicht wirklich gut vor. Spätestens bei der Monats- oder Jahresauswertung wirds dann ja ein wildes Auslesen von zig-Dateien.

In meiner bekannten PHP Welt würde ich dafür natürlich eine SQL Datenbank verwenden. Aber mit dem ESP8266 und einer SD Karte dürfte das ja nicht möglich sein.
Ich hab schon bissl mit der SQLite Library rumprobier bin aber mit den Ergebnissen nicht zufrieden.

Habt ihr da noch Ideen?

Lg und guts nächtle schon mal.

Daniel

[Fips]

(04.01.2021 01:38)basementmedia schrieb:  In meiner bekannten PHP Welt würde ich dafür natürlich eine SQL Datenbank verwenden. Aber mit dem ESP8266 und einer SD Karte dürfte das ja nicht möglich sein.
Ich hab schon bissl mit der SQLite Library rumprobier bin aber mit den Ergebnissen nicht zufrieden.

Dann schick die Sensordaten vom Esp an ein PHP Script, das den Eintrag in die DB übernimmt.

Eine Jahresauswertung aus 365 Datein ist doch Quatsch!

[basementmedia]

(04.01.2021 08:11)Fips schrieb:  

(04.01.2021 01:38)basementmedia schrieb:  In meiner bekannten PHP Welt würde ich dafür natürlich eine SQL Datenbank verwenden. Aber mit dem ESP8266 und einer SD Karte dürfte das ja nicht möglich sein.
Ich hab schon bissl mit der SQLite Library rumprobier bin aber mit den Ergebnissen nicht zufrieden.

Dann schick die Sensordaten vom Esp an ein PHP Script, das den Eintrag in die DB übernimmt.

Eine Jahresauswertung aus 365 Datein ist doch Quatsch!

Das das Quatsch ist weiß ich ;-)
Aber ich dachte es gibt vielleicht eine andere Offline-Lösung. Ich hätte in meinem Anwendungsfall gerne alles auf SD Karte ohne Online-Vebindung.
Gibts da wirklich nichts effizientes?

Lg Daniel

[Tommy56]

(04.01.2021 09:43)basementmedia schrieb:  Gibts da wirklich nichts effizientes?

Das Schreiben in eine Datenbank (egal ob über PHP oder direkt) ist doch der effizientesete Weg.

Gruß Tommy

[Fips]

(04.01.2021 09:43)basementmedia schrieb:  gerne alles auf SD Karte ohne Online-Vebindung.
Gibts da wirklich nichts effizientes?

Das beist sich doch!

Wenn du gerne Karten spazieren tragen möchtest, dann schreib halt später die Daten von der Karte in eine DB.

[basementmedia]

(04.01.2021 10:08)Tommy56 schrieb:  

(04.01.2021 09:43)basementmedia schrieb:  Gibts da wirklich nichts effizientes?

Das Schreiben in eine Datenbank (egal ob über PHP oder direkt) ist doch der effizientesete Weg.

Gruß Tommy

Ja schon, aber ich hätte eben gerne eine oreine Offline-Lösung auf SD-Karte gehabt. Und offline per ESP eine MySQL-Datenbank zu füttern, die sich auf einer SD-Karte befindet, ist glaube ich nicht möglich.

Ich hab mit der SQlite-Library rumgespielt, die es für den ESP gibt, aber da kam es sehr oft zu "out-of-memory"-Meldungen, manchmal schon nach 50 Einträgen in die Datenbank.

[basementmedia]

(04.01.2021 10:19)Fips schrieb:  

(04.01.2021 09:43)basementmedia schrieb:  gerne alles auf SD Karte ohne Online-Vebindung.
Gibts da wirklich nichts effizientes?

Das beist sich doch!

Wenn du gerne Karten spazieren tragen möchtest, dann schreib halt später die Daten von der Karte in eine DB.

Aber wenn es die DB gar nicht gibt.
Wie gesagt: Die Frage/Problemstellung lautet: Gibt es einen Weg REIN OFFLINE und zwar auf SD-KARTE Daten effizient zu speichern / abfragen zu können. Wenn die Antwort Nein lautet habt ihr natürlich recht: Dann bleibt nur der Weg über eine Online-Datenbank.

Ich wollte in meinem Fall eben ein in sich selbständig laufendes Gerätchen bauen, dass optional auch völlig ohne Internetverbindung betrieben werden KANN, wenn man das möchte. Und genau eben dann ist diese Sicherung auf eine Online-DB nicht möglich.

[Fips]

Eine Möglichkeit:

https://github.com/siara-cc/esp32_arduino_sqlite3_lib

Mir wurde gesagt das es mit dieser Lib funktioniert, probiert habe ich das aber noch nicht.