INFO: Dieses Forum nutzt Cookies...
Cookies sind für den Betrieb des Forums unverzichtbar. Mit der Nutzung des Forums erklärst Du dich damit einverstanden, dass wir Cookies verwenden.

Es wird in jedem Fall ein Cookie gesetzt um diesen Hinweis nicht mehr zu erhalten. Desweiteren setzen wir Google Adsense und Google Analytics ein.

Antwort schreiben 
 
Themabewertung:
  • 0 Bewertungen - 0 im Durchschnitt
  • 1
  • 2
  • 3
  • 4
  • 5
Bester Weg um Sensordaten zu speichern und auszuwerten
04.01.2021, 01:38
Beitrag #1
Bester Weg um Sensordaten zu speichern und auszuwerten
Hi zusammen,

ich hab wieder mal eine Anfängerfrage:
Was ist denn der beste Weg um Sensordaten auf SD Karte zu speichern, um diese nachträglich mit guter Performance auszuwerten.

Ich möchte quasi über einen längeren Zeitraum Sensordaten stündlich erfassen und speichern.
Später möchte ich dann die Möglichkeit haben, eine Tages-, Monats- oder Jahresauswertung zu machen.

Mein bisheriger Ansatz:
Pro Tag wird eine TXT-Datei angelegt. Die Datei wird mit dem Datum benannt, heißt also z.b. 2020-01-01.txt.

Wenn man dann eine Tagesauswertung macht, wird die entsprechende Datei ausgelesen und als Tabelle dargestellt.

Wenn man eine Monatsauswertung macht werden dann eben alle Dateien des Monats ausgelesen und ebenfalls wieder als Tabelle dargestellt.

Ich stelle mir diese Lösung aber Performancemäßig nicht wirklich gut vor. Spätestens bei der Monats- oder Jahresauswertung wirds dann ja ein wildes Auslesen von zig-Dateien.

In meiner bekannten PHP Welt würde ich dafür natürlich eine SQL Datenbank verwenden. Aber mit dem ESP8266 und einer SD Karte dürfte das ja nicht möglich sein.
Ich hab schon bissl mit der SQLite Library rumprobier bin aber mit den Ergebnissen nicht zufrieden.

Habt ihr da noch Ideen?

Lg und guts nächtle schon mal.

Daniel
Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren
04.01.2021, 08:11
Beitrag #2
RE: Bester Weg um Sensordaten zu speichern und auszuwerten
(04.01.2021 01:38)basementmedia schrieb:  In meiner bekannten PHP Welt würde ich dafür natürlich eine SQL Datenbank verwenden. Aber mit dem ESP8266 und einer SD Karte dürfte das ja nicht möglich sein.
Ich hab schon bissl mit der SQLite Library rumprobier bin aber mit den Ergebnissen nicht zufrieden.

Dann schick die Sensordaten vom Esp an ein PHP Script, das den Eintrag in die DB übernimmt.

Eine Jahresauswertung aus 365 Datein ist doch Quatsch!

Gruß Fips

Meine Esp8266 & ESP32 Projekte
Webseite des Benutzers besuchen Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren
04.01.2021, 09:43
Beitrag #3
RE: Bester Weg um Sensordaten zu speichern und auszuwerten
(04.01.2021 08:11)Fips schrieb:  
(04.01.2021 01:38)basementmedia schrieb:  In meiner bekannten PHP Welt würde ich dafür natürlich eine SQL Datenbank verwenden. Aber mit dem ESP8266 und einer SD Karte dürfte das ja nicht möglich sein.
Ich hab schon bissl mit der SQLite Library rumprobier bin aber mit den Ergebnissen nicht zufrieden.

Dann schick die Sensordaten vom Esp an ein PHP Script, das den Eintrag in die DB übernimmt.

Eine Jahresauswertung aus 365 Datein ist doch Quatsch!

Das das Quatsch ist weiß ich ;-)
Aber ich dachte es gibt vielleicht eine andere Offline-Lösung. Ich hätte in meinem Anwendungsfall gerne alles auf SD Karte ohne Online-Vebindung.
Gibts da wirklich nichts effizientes?

Lg Daniel
Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren
04.01.2021, 10:08
Beitrag #4
RE: Bester Weg um Sensordaten zu speichern und auszuwerten
(04.01.2021 09:43)basementmedia schrieb:  Gibts da wirklich nichts effizientes?
Das Schreiben in eine Datenbank (egal ob über PHP oder direkt) ist doch der effizientesete Weg.

Gruß Tommy

"Wer den schnellen Erfolg sucht, sollte nicht programmieren, sondern Holz hacken." (Quelle unbekannt)
Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren
04.01.2021, 10:19
Beitrag #5
RE: Bester Weg um Sensordaten zu speichern und auszuwerten
(04.01.2021 09:43)basementmedia schrieb:  gerne alles auf SD Karte ohne Online-Vebindung.
Gibts da wirklich nichts effizientes?
Das beist sich doch!

Wenn du gerne Karten spazieren tragen möchtest, dann schreib halt später die Daten von der Karte in eine DB.

Gruß Fips

Meine Esp8266 & ESP32 Projekte
Webseite des Benutzers besuchen Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren
04.01.2021, 10:26
Beitrag #6
RE: Bester Weg um Sensordaten zu speichern und auszuwerten
(04.01.2021 10:08)Tommy56 schrieb:  
(04.01.2021 09:43)basementmedia schrieb:  Gibts da wirklich nichts effizientes?
Das Schreiben in eine Datenbank (egal ob über PHP oder direkt) ist doch der effizientesete Weg.

Gruß Tommy

Ja schon, aber ich hätte eben gerne eine oreine Offline-Lösung auf SD-Karte gehabt. Und offline per ESP eine MySQL-Datenbank zu füttern, die sich auf einer SD-Karte befindet, ist glaube ich nicht möglich.

Ich hab mit der SQlite-Library rumgespielt, die es für den ESP gibt, aber da kam es sehr oft zu "out-of-memory"-Meldungen, manchmal schon nach 50 Einträgen in die Datenbank.
Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren
04.01.2021, 10:32
Beitrag #7
RE: Bester Weg um Sensordaten zu speichern und auszuwerten
(04.01.2021 10:19)Fips schrieb:  
(04.01.2021 09:43)basementmedia schrieb:  gerne alles auf SD Karte ohne Online-Vebindung.
Gibts da wirklich nichts effizientes?
Das beist sich doch!

Wenn du gerne Karten spazieren tragen möchtest, dann schreib halt später die Daten von der Karte in eine DB.

Aber wenn es die DB gar nicht gibt.
Wie gesagt: Die Frage/Problemstellung lautet: Gibt es einen Weg REIN OFFLINE und zwar auf SD-KARTE Daten effizient zu speichern / abfragen zu können. Wenn die Antwort Nein lautet habt ihr natürlich recht: Dann bleibt nur der Weg über eine Online-Datenbank.

Ich wollte in meinem Fall eben ein in sich selbständig laufendes Gerätchen bauen, dass optional auch völlig ohne Internetverbindung betrieben werden KANN, wenn man das möchte. Und genau eben dann ist diese Sicherung auf eine Online-DB nicht möglich.
Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren
04.01.2021, 10:52
Beitrag #8
RE: Bester Weg um Sensordaten zu speichern und auszuwerten
Eine Möglichkeit:

https://github.com/siara-cc/esp32_arduino_sqlite3_lib

Mir wurde gesagt das es mit dieser Lib funktioniert, probiert habe ich das aber noch nicht.

Gruß Fips

Meine Esp8266 & ESP32 Projekte
Webseite des Benutzers besuchen Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren
Antwort schreiben 


Möglicherweise verwandte Themen...
Thema: Verfasser Antworten: Ansichten: Letzter Beitrag
  C++ Frage: Parameter in TXT-File speichern, auslesen und variable zuweisen basementmedia 6 176 21.07.2021 19:02
Letzter Beitrag: basementmedia
  ESP32: Binärdaten mit LittleFS speichern / Zerobytes in Strings ultralex 14 1.743 15.12.2020 14:00
Letzter Beitrag: Tommy56
  Struct im Spiffs speichern Sh0rn 10 3.394 13.05.2020 06:42
Letzter Beitrag: Fips
  Sensordaten werden nicht richtig berechnet laserdoktor 3 1.524 05.03.2020 23:03
Letzter Beitrag: laserdoktor
  Daten vom Sensor in einer Text-Datei auf meinem Web-Host speichern. Manny 45 13.422 27.04.2019 07:24
Letzter Beitrag: Fips
  SPIFFS Messwerte speichern uk1408 8 7.114 16.03.2019 13:14
Letzter Beitrag: uk1408

Gehe zu:


Benutzer, die gerade dieses Thema anschauen: 1 Gast/Gäste