Bester Weg um Sensordaten zu speichern und auszuwerten
|
04.01.2021, 01:38
Beitrag #1
|
|||
|
|||
Bester Weg um Sensordaten zu speichern und auszuwerten
Hi zusammen,
ich hab wieder mal eine Anfängerfrage: Was ist denn der beste Weg um Sensordaten auf SD Karte zu speichern, um diese nachträglich mit guter Performance auszuwerten. Ich möchte quasi über einen längeren Zeitraum Sensordaten stündlich erfassen und speichern. Später möchte ich dann die Möglichkeit haben, eine Tages-, Monats- oder Jahresauswertung zu machen. Mein bisheriger Ansatz: Pro Tag wird eine TXT-Datei angelegt. Die Datei wird mit dem Datum benannt, heißt also z.b. 2020-01-01.txt. Wenn man dann eine Tagesauswertung macht, wird die entsprechende Datei ausgelesen und als Tabelle dargestellt. Wenn man eine Monatsauswertung macht werden dann eben alle Dateien des Monats ausgelesen und ebenfalls wieder als Tabelle dargestellt. Ich stelle mir diese Lösung aber Performancemäßig nicht wirklich gut vor. Spätestens bei der Monats- oder Jahresauswertung wirds dann ja ein wildes Auslesen von zig-Dateien. In meiner bekannten PHP Welt würde ich dafür natürlich eine SQL Datenbank verwenden. Aber mit dem ESP8266 und einer SD Karte dürfte das ja nicht möglich sein. Ich hab schon bissl mit der SQLite Library rumprobier bin aber mit den Ergebnissen nicht zufrieden. Habt ihr da noch Ideen? Lg und guts nächtle schon mal. Daniel |
|||
04.01.2021, 08:11
Beitrag #2
|
|||
|
|||
RE: Bester Weg um Sensordaten zu speichern und auszuwerten
(04.01.2021 01:38)basementmedia schrieb: In meiner bekannten PHP Welt würde ich dafür natürlich eine SQL Datenbank verwenden. Aber mit dem ESP8266 und einer SD Karte dürfte das ja nicht möglich sein. Dann schick die Sensordaten vom Esp an ein PHP Script, das den Eintrag in die DB übernimmt. Eine Jahresauswertung aus 365 Datein ist doch Quatsch! Gruß Fips Meine Esp8266 & ESP32 Projekte |
|||
04.01.2021, 09:43
Beitrag #3
|
|||
|
|||
RE: Bester Weg um Sensordaten zu speichern und auszuwerten
(04.01.2021 08:11)Fips schrieb:(04.01.2021 01:38)basementmedia schrieb: In meiner bekannten PHP Welt würde ich dafür natürlich eine SQL Datenbank verwenden. Aber mit dem ESP8266 und einer SD Karte dürfte das ja nicht möglich sein. Das das Quatsch ist weiß ich ;-) Aber ich dachte es gibt vielleicht eine andere Offline-Lösung. Ich hätte in meinem Anwendungsfall gerne alles auf SD Karte ohne Online-Vebindung. Gibts da wirklich nichts effizientes? Lg Daniel |
|||
04.01.2021, 10:08
Beitrag #4
|
|||
|
|||
RE: Bester Weg um Sensordaten zu speichern und auszuwerten
(04.01.2021 09:43)basementmedia schrieb: Gibts da wirklich nichts effizientes?Das Schreiben in eine Datenbank (egal ob über PHP oder direkt) ist doch der effizientesete Weg. Gruß Tommy "Wer den schnellen Erfolg sucht, sollte nicht programmieren, sondern Holz hacken." (Quelle unbekannt) |
|||
04.01.2021, 10:19
Beitrag #5
|
|||
|
|||
RE: Bester Weg um Sensordaten zu speichern und auszuwerten
(04.01.2021 09:43)basementmedia schrieb: gerne alles auf SD Karte ohne Online-Vebindung.Das beist sich doch! Wenn du gerne Karten spazieren tragen möchtest, dann schreib halt später die Daten von der Karte in eine DB. Gruß Fips Meine Esp8266 & ESP32 Projekte |
|||
04.01.2021, 10:26
Beitrag #6
|
|||
|
|||
RE: Bester Weg um Sensordaten zu speichern und auszuwerten
(04.01.2021 10:08)Tommy56 schrieb:(04.01.2021 09:43)basementmedia schrieb: Gibts da wirklich nichts effizientes?Das Schreiben in eine Datenbank (egal ob über PHP oder direkt) ist doch der effizientesete Weg. Ja schon, aber ich hätte eben gerne eine oreine Offline-Lösung auf SD-Karte gehabt. Und offline per ESP eine MySQL-Datenbank zu füttern, die sich auf einer SD-Karte befindet, ist glaube ich nicht möglich. Ich hab mit der SQlite-Library rumgespielt, die es für den ESP gibt, aber da kam es sehr oft zu "out-of-memory"-Meldungen, manchmal schon nach 50 Einträgen in die Datenbank. |
|||
04.01.2021, 10:32
Beitrag #7
|
|||
|
|||
RE: Bester Weg um Sensordaten zu speichern und auszuwerten
(04.01.2021 10:19)Fips schrieb:(04.01.2021 09:43)basementmedia schrieb: gerne alles auf SD Karte ohne Online-Vebindung.Das beist sich doch! Aber wenn es die DB gar nicht gibt. Wie gesagt: Die Frage/Problemstellung lautet: Gibt es einen Weg REIN OFFLINE und zwar auf SD-KARTE Daten effizient zu speichern / abfragen zu können. Wenn die Antwort Nein lautet habt ihr natürlich recht: Dann bleibt nur der Weg über eine Online-Datenbank. Ich wollte in meinem Fall eben ein in sich selbständig laufendes Gerätchen bauen, dass optional auch völlig ohne Internetverbindung betrieben werden KANN, wenn man das möchte. Und genau eben dann ist diese Sicherung auf eine Online-DB nicht möglich. |
|||
04.01.2021, 10:52
Beitrag #8
|
|||
|
|||
RE: Bester Weg um Sensordaten zu speichern und auszuwerten
Eine Möglichkeit:
https://github.com/siara-cc/esp32_arduino_sqlite3_lib Mir wurde gesagt das es mit dieser Lib funktioniert, probiert habe ich das aber noch nicht. Gruß Fips Meine Esp8266 & ESP32 Projekte |
|||
|
|
Möglicherweise verwandte Themen... | |||||
Thema: | Verfasser | Antworten: | Ansichten: | Letzter Beitrag | |
ESP32: Binärdaten mit LittleFS speichern / Zerobytes in Strings | ultralex | 14 | 817 |
15.12.2020 14:00 Letzter Beitrag: Tommy56 |
|
Struct im Spiffs speichern | Sh0rn | 10 | 2.271 |
13.05.2020 06:42 Letzter Beitrag: Fips |
|
Sensordaten werden nicht richtig berechnet | laserdoktor | 3 | 1.154 |
05.03.2020 23:03 Letzter Beitrag: laserdoktor |
|
Daten vom Sensor in einer Text-Datei auf meinem Web-Host speichern. | Manny | 45 | 10.658 |
27.04.2019 07:24 Letzter Beitrag: Fips |
|
SPIFFS Messwerte speichern | uk1408 | 8 | 5.725 |
16.03.2019 13:14 Letzter Beitrag: uk1408 |
Benutzer, die gerade dieses Thema anschauen: 1 Gast/Gäste