Svenska ElektronikForumet

Mitt hemsnickrade energi- och miljöloggsystem producerar datafiler enligt nedan:

2019-07-01 00:01:00   60   1.39   1.12   1.05   0.00    370.20    597.37     8942.3                                                              21.8  63.6
2019-07-01 00:02:00   60   1.39   1.12   1.05   0.00    369.50    594.82     8942.3  20.9  57.6                                                            
2019-07-01 00:03:00   60   1.51   1.12   1.05   0.09    451.98    614.04     8942.3                                                                        
2019-07-01 00:04:00   57   1.42   1.12   1.05   0.00    448.82    592.09     8942.3                          28.5  32.8                                    
2019-07-01 00:05:00   60   1.43   1.12   1.05   0.00    451.13    593.77     8942.3                                      30.9  35.8                        
2019-07-01 00:06:00   60   1.57   1.25   1.05   0.19    602.58    710.51     8942.3                                                  19.5  78.4            
2019-07-01 00:07:00   60   1.50   1.40   1.05   0.00    721.82    796.84     8942.3                                                              21.8  63.6
2019-07-01 00:08:00   60   1.43   1.39   1.05   0.00    704.54    780.91     8942.3  20.7  58.4                                                            
2019-07-01 00:09:00   60   1.44   1.40   1.05   0.00    705.66    782.39     8942.3              26.8  35.7                                                
2019-07-01 00:10:00   60   1.43   1.40   1.05   0.00    706.89    783.30     8942.4                          28.3  32.9                                    
2019-07-01 00:11:00   60   1.43   1.41   1.04   0.00    707.44    784.55     8942.4                                      30.9  35.9                        
2019-07-01 00:12:00   60   1.43   1.41   1.05   0.00    706.99    784.08     8942.4                                                  19.5  78.4            
2019-07-01 00:13:00   56   1.44   1.26   1.04   0.00    577.92    690.77     8942.4                                                              21.8  63.5
2019-07-01 00:14:00   60   1.43   1.12   1.05   0.00    449.83    596.41     8942.4  20.6  59.1                                                            
2019-07-01 00:15:00   60   1.42   1.12   1.05   0.00    448.38    595.56     8942.4              26.6  36.1                                                
2019-07-01 00:16:00   60   1.42   1.12   1.04   0.00    447.50    594.34     8942.4                          28.1  33.1                                    
2019-07-01 00:17:00   60   1.42   1.12   1.05   0.00    446.65    593.79     8942.4                                      30.9  35.9                        
2019-07-01 00:18:00   60   1.42   1.12   1.05   0.00    446.54    593.70     8942.4                                                  19.5  78.2            
2019-07-01 00:19:00   56   1.41   1.12   1.04   0.00    445.78    591.89     8942.4                                                              21.8  63.4

ca 43000 rader per månad eller drygt ~500k rader per år.

Jag letar efter nått verktyg som kan läsa in och plotta datan. Excel/Libre Office Calc i all ära men jag önskar något lite mer "dynamiskt", där man kan "tända/släcka" data man inte vill inte se, zooma in/ut (framförallt över tidsaxeln), panorera över tid osv. Helst då något där man kan spara en "template" över hur datan är formaterad, vilka kolumner som är vad osv, så man inte behöver sätta upp det varje gång man skall importera datan.

Jag hittade DatPlot (http://www.datplot.com/) men dels så vill det inte riktigt lira med formatet på min data, i synnerhet det faktum att det i kolumn 11-22 bara finns data för respektive kolumn på var sjätte rad och dels verkar det vara mer för att "skapa" diagram för presentationer etc än för att grafiskt "titta på" datan.

OS i fråga är företrädesvis Windows, gratis är gott men en femhundring kan jag lägga ut för rätt verktyg.

Tacksam för tips!

Jag har valt att lägga all min data i en MySQL server och sen med en härlig blandning av PHP och javascript plotta det jag vill..
Fördelen är ju att det blir oändligt flexibelt, nackdelen är att man behöver behärska SQL och något programmeringsspråk (eller bra på att googla)

Nu stoppas min mätdata via mobildata abb rakt in i SQL databas som ligger på ett webhotell, så jag kan se värdena var jag än är i världen..
Men det beror mest på att ingen av systemen finns i mitt hem..

Excel eller motsvarande kan göra mycket med Pivottabellerer Men jag skulle dunka data rakt in i en SQL databas.
Ett par standardfrågor med filter i TS (TimeStamp) ÅÅMMDDMMSS skulle vara rätt.

Behåll filerna i csv-format och använd gnuplot.

+1 för gnuplot.

För oss som inte (längre) är kommandoradsdyrkare kan det vara lite jobbigt igång men hjälpen är ok och det finns exempel att finna på nätet.

Kika på InfluxDB för datalagringen (jag tolkar det som att du använder tid som bas) och Grafana för att visa datat.

Det är lätt att vrida och vända på datat och man kan få grafer att uppdatera i realtid etc. etc.

Så här ser lita av Telemetrin på mitt hus ut

Namnlös.png

Tack för svar och idéer!
Innan jag började koda systemet tittade jag på lite olika "färdiga" hemautomation/energilogglösningar och konstaterade att alla var på tok för komplicerade för det jag ville göra. Jag tittade på InfluxDB och Grafana, för de tillsammans verkar göra exakt det jag vill, och FÖRSÖKTE följa någon guide men lyckades inte ens ta mig igenom installationen. Det förutsätts alltid att man är nån Linux command line ninja. Jag hade antagligen fortfarande hållt på med det om jag inte istället valt att helt enkelt skriva data till textfiler. Tänkte i min enfald att finns bara datan som (typ) .csv så måste det finnas mängder med verktyg för att "titta på den".

Angånde GNU-plot, är det inte för att plotta EN statisk "bild" av datan? Vill jag "zooma in" eller "panorera" så måste jag på generera en ny plot? Det jag önskar är något "musdrivet", tänk mjukvaran för Saleae LOGIC för er som har eller känner till det.

Jag har inget större behov av att komma åt datan från massa olika ställen osv, det enda jag vill är att kunna "analysera" den grafiskt, se hur den relativa fuktigheten på vinden håller sig kontra utemiljön över året osv. Kanske får ta ännu en titt på InfluxDB och Grafana, har en RaspberryPi till liggandes...

EDIT: Just det, det är korrekt, X-axeln är alltid datum och tid.

EDIT2: ToPNoTCH, verkligen snyggt, imponerande!

Många använder http://belok.se/verktyg-hjalp/driftanalys/ för att visualisera stora mängder data.
Tydligen kostnadsfritt.

Har kört highcharts (lib för javascript) på jobbet ett tag nu för att visualisera data, väldigt trevligt.

Beloks verktyg är framtagna för just energihantering i fastigheter.

MySQL och Grafana kör jag
Sedan jag installerade det för första gången för något år sedan är det bara en sak jag ångrat,
att jag inte gjorde det tidigare

Satt tidigare och plottade i kalkylark på tok för länge.
kan du inte få din mjukvara att logga direkt till SQL?

Jag är övertygad om att vi kan hjälpa dig här på forumet att få igång det på en raspberrypi utan allt för mycket lidande .

MySQL Grafana Och MySQLWorkbench använder jag, samtliga gratis.

Med dagens moderna Containerbaserade installationer är det ju väldigt enkelt att få upp enskilda installationer

Exempel för att installera och köra InfluxD:
sudo docker run -p 8086:8086 -v $PWD:/var/lib/influxdb influxd

Exempel för att installera och köra Grafana:
sudo docker run -d -p 3000:3000 --name=grafana -e "GF_SERVER_ROOT_URL=http://grafana.server.name" -e "GF_SECURITY_ADMIN_PASSWORD=secret" grafana/grafana

Det blir tyvärr lite krångligare när dessa två skall nå varandra.

Men det är klart du får hjälp om du vill testa.

p.s
För er som håller på eller tänker prova Containerbaserade installationer så
vill jag slå ett slag för Portainer. Det ger ett väldigt trevligt grafiskt gränssnitt
för administration av containers. Givetvis går den själv i en Container och är smidig att starta.
d.s

Börjar med att slänga in en "udda" fågel som flugit många förbi. KST-plot som kan vara trevligt som ren desktop-mjukvara för att utforska och göra saker.
Annars är mitt gift python + pandas + något plot/graf-paket (+ dash/plotly) för att göra saker kvickt...

Tack igen för all input!
KST-plot hade mycket riktigt flugit mig förbi, ser ut att vara i linje med vad jag söker. Det skall utforskas!
Det kan ju till och med plotta data "live", efterhand som den skrivs till filen. Tack för det tipset!

Svenska ElektronikForumet

Mjukvara för att plotta/visualisera stora .csv-filer

Mjukvara för att plotta/visualisera stora .csv-filer

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Re: Mjukvara för att plotta/visualisera stora .csv-filer