Mjukvara för att plotta/visualisera stora .csv-filer

Elektronik- och mekanikrelaterad mjukvara/litteratur. (T.ex schema-CAD, simulering, böcker, manualer mm. OS-problem hör inte hit!)
H.O
Inlägg: 5683
Blev medlem: 19 mars 2007, 10:11:27
Ort: Ronneby

Mjukvara för att plotta/visualisera stora .csv-filer

Inlägg av H.O »

Mitt hemsnickrade energi- och miljöloggsystem producerar datafiler enligt nedan:

Kod: Markera allt

2019-07-01 00:01:00   60   1.39   1.12   1.05   0.00    370.20    597.37     8942.3                                                              21.8  63.6
2019-07-01 00:02:00   60   1.39   1.12   1.05   0.00    369.50    594.82     8942.3  20.9  57.6                                                            
2019-07-01 00:03:00   60   1.51   1.12   1.05   0.09    451.98    614.04     8942.3                                                                        
2019-07-01 00:04:00   57   1.42   1.12   1.05   0.00    448.82    592.09     8942.3                          28.5  32.8                                    
2019-07-01 00:05:00   60   1.43   1.12   1.05   0.00    451.13    593.77     8942.3                                      30.9  35.8                        
2019-07-01 00:06:00   60   1.57   1.25   1.05   0.19    602.58    710.51     8942.3                                                  19.5  78.4            
2019-07-01 00:07:00   60   1.50   1.40   1.05   0.00    721.82    796.84     8942.3                                                              21.8  63.6
2019-07-01 00:08:00   60   1.43   1.39   1.05   0.00    704.54    780.91     8942.3  20.7  58.4                                                            
2019-07-01 00:09:00   60   1.44   1.40   1.05   0.00    705.66    782.39     8942.3              26.8  35.7                                                
2019-07-01 00:10:00   60   1.43   1.40   1.05   0.00    706.89    783.30     8942.4                          28.3  32.9                                    
2019-07-01 00:11:00   60   1.43   1.41   1.04   0.00    707.44    784.55     8942.4                                      30.9  35.9                        
2019-07-01 00:12:00   60   1.43   1.41   1.05   0.00    706.99    784.08     8942.4                                                  19.5  78.4            
2019-07-01 00:13:00   56   1.44   1.26   1.04   0.00    577.92    690.77     8942.4                                                              21.8  63.5
2019-07-01 00:14:00   60   1.43   1.12   1.05   0.00    449.83    596.41     8942.4  20.6  59.1                                                            
2019-07-01 00:15:00   60   1.42   1.12   1.05   0.00    448.38    595.56     8942.4              26.6  36.1                                                
2019-07-01 00:16:00   60   1.42   1.12   1.04   0.00    447.50    594.34     8942.4                          28.1  33.1                                    
2019-07-01 00:17:00   60   1.42   1.12   1.05   0.00    446.65    593.79     8942.4                                      30.9  35.9                        
2019-07-01 00:18:00   60   1.42   1.12   1.05   0.00    446.54    593.70     8942.4                                                  19.5  78.2            
2019-07-01 00:19:00   56   1.41   1.12   1.04   0.00    445.78    591.89     8942.4                                                              21.8  63.4
ca 43000 rader per månad eller drygt ~500k rader per år.

Jag letar efter nått verktyg som kan läsa in och plotta datan. Excel/Libre Office Calc i all ära men jag önskar något lite mer "dynamiskt", där man kan "tända/släcka" data man inte vill inte se, zooma in/ut (framförallt över tidsaxeln), panorera över tid osv. Helst då något där man kan spara en "template" över hur datan är formaterad, vilka kolumner som är vad osv, så man inte behöver sätta upp det varje gång man skall importera datan.

Jag hittade DatPlot (http://www.datplot.com/) men dels så vill det inte riktigt lira med formatet på min data, i synnerhet det faktum att det i kolumn 11-22 bara finns data för respektive kolumn på var sjätte rad och dels verkar det vara mer för att "skapa" diagram för presentationer etc än för att grafiskt "titta på" datan.

OS i fråga är företrädesvis Windows, gratis är gott men en femhundring kan jag lägga ut för rätt verktyg.

Tacksam för tips!
Användarvisningsbild
AndLi
Inlägg: 17045
Blev medlem: 11 februari 2004, 18:17:59
Ort: Knivsta
Kontakt:

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Inlägg av AndLi »

Jag har valt att lägga all min data i en MySQL server och sen med en härlig blandning av PHP och javascript plotta det jag vill..
Fördelen är ju att det blir oändligt flexibelt, nackdelen är att man behöver behärska SQL och något programmeringsspråk (eller bra på att googla)

Nu stoppas min mätdata via mobildata abb rakt in i SQL databas som ligger på ett webhotell, så jag kan se värdena var jag än är i världen..
Men det beror mest på att ingen av systemen finns i mitt hem..
Användarvisningsbild
Lennart Aspenryd
Tidigare Lasp
Inlägg: 12607
Blev medlem: 1 juli 2011, 19:09:09
Ort: Helsingborg

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Inlägg av Lennart Aspenryd »

Excel eller motsvarande kan göra mycket med Pivottabellerer Men jag skulle dunka data rakt in i en SQL databas.
Ett par standardfrågor med filter i TS (TimeStamp) ÅÅMMDDMMSS skulle vara rätt.
guckrum
Inlägg: 1669
Blev medlem: 19 juni 2012, 09:04:27
Ort: Lund

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Inlägg av guckrum »

Behåll filerna i csv-format och använd gnuplot.
kodar-holger
EF Sponsor
Inlägg: 916
Blev medlem: 26 maj 2014, 12:54:35
Ort: Karlskoga

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Inlägg av kodar-holger »

+1 för gnuplot.

För oss som inte (längre) är kommandoradsdyrkare kan det vara lite jobbigt igång men hjälpen är ok och det finns exempel att finna på nätet.
ToPNoTCH
Inlägg: 4847
Blev medlem: 21 december 2009, 17:59:48

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Inlägg av ToPNoTCH »

Kika på InfluxDB för datalagringen (jag tolkar det som att du använder tid som bas) och Grafana för att visa datat.

Det är lätt att vrida och vända på datat och man kan få grafer att uppdatera i realtid etc. etc.

Så här ser lita av Telemetrin på mitt hus ut
Namnlös.png
Du har inte behörighet att öppna de filer som bifogats till detta inlägg.
H.O
Inlägg: 5683
Blev medlem: 19 mars 2007, 10:11:27
Ort: Ronneby

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Inlägg av H.O »

Tack för svar och idéer!
Innan jag började koda systemet tittade jag på lite olika "färdiga" hemautomation/energilogglösningar och konstaterade att alla var på tok för komplicerade för det jag ville göra. Jag tittade på InfluxDB och Grafana, för de tillsammans verkar göra exakt det jag vill, och FÖRSÖKTE följa någon guide men lyckades inte ens ta mig igenom installationen. Det förutsätts alltid att man är nån Linux command line ninja. Jag hade antagligen fortfarande hållt på med det om jag inte istället valt att helt enkelt skriva data till textfiler. Tänkte i min enfald att finns bara datan som (typ) .csv så måste det finnas mängder med verktyg för att "titta på den".

Angånde GNU-plot, är det inte för att plotta EN statisk "bild" av datan? Vill jag "zooma in" eller "panorera" så måste jag på generera en ny plot? Det jag önskar är något "musdrivet", tänk mjukvaran för Saleae LOGIC för er som har eller känner till det.

Jag har inget större behov av att komma åt datan från massa olika ställen osv, det enda jag vill är att kunna "analysera" den grafiskt, se hur den relativa fuktigheten på vinden håller sig kontra utemiljön över året osv. Kanske får ta ännu en titt på InfluxDB och Grafana, har en RaspberryPi till liggandes...

EDIT: Just det, det är korrekt, X-axeln är alltid datum och tid.

EDIT2: ToPNoTCH, verkligen snyggt, imponerande!
Användarvisningsbild
TomasL
EF Sponsor
Inlägg: 45168
Blev medlem: 23 september 2006, 23:54:55
Ort: Borås
Kontakt:

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Inlägg av TomasL »

Många använder http://belok.se/verktyg-hjalp/driftanalys/ för att visualisera stora mängder data.
Tydligen kostnadsfritt.
zealotry
Inlägg: 918
Blev medlem: 9 oktober 2004, 22:28:40
Ort: Västerås

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Inlägg av zealotry »

Har kört highcharts (lib för javascript) på jobbet ett tag nu för att visualisera data, väldigt trevligt.
Användarvisningsbild
TomasL
EF Sponsor
Inlägg: 45168
Blev medlem: 23 september 2006, 23:54:55
Ort: Borås
Kontakt:

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Inlägg av TomasL »

Beloks verktyg är framtagna för just energihantering i fastigheter.
nifelheim
Den första
Inlägg: 2318
Blev medlem: 27 mars 2008, 22:31:16
Ort: stockholm

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Inlägg av nifelheim »

MySQL och Grafana kör jag
Sedan jag installerade det för första gången för något år sedan är det bara en sak jag ångrat,
att jag inte gjorde det tidigare :)

Satt tidigare och plottade i kalkylark på tok för länge.
kan du inte få din mjukvara att logga direkt till SQL?

Jag är övertygad om att vi kan hjälpa dig här på forumet att få igång det på en raspberrypi utan allt för mycket lidande .

MySQL Grafana Och MySQLWorkbench använder jag, samtliga gratis.
ToPNoTCH
Inlägg: 4847
Blev medlem: 21 december 2009, 17:59:48

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Inlägg av ToPNoTCH »

Med dagens moderna Containerbaserade installationer är det ju väldigt enkelt att få upp enskilda installationer

Exempel för att installera och köra InfluxD:
sudo docker run -p 8086:8086 -v $PWD:/var/lib/influxdb influxd

Exempel för att installera och köra Grafana:
sudo docker run -d -p 3000:3000 --name=grafana -e "GF_SERVER_ROOT_URL=http://grafana.server.name" -e "GF_SECURITY_ADMIN_PASSWORD=secret" grafana/grafana

Det blir tyvärr lite krångligare när dessa två skall nå varandra.

Men det är klart du får hjälp om du vill testa.

p.s
För er som håller på eller tänker prova Containerbaserade installationer så
vill jag slå ett slag för Portainer. Det ger ett väldigt trevligt grafiskt gränssnitt
för administration av containers. Givetvis går den själv i en Container och är smidig att starta.
d.s
mounte
Inlägg: 204
Blev medlem: 14 november 2010, 13:15:00
Ort: Sandviken

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Inlägg av mounte »

Börjar med att slänga in en "udda" fågel som flugit många förbi. KST-plot som kan vara trevligt som ren desktop-mjukvara för att utforska och göra saker.
Annars är mitt gift python + pandas + något plot/graf-paket (+ dash/plotly) för att göra saker kvickt...
H.O
Inlägg: 5683
Blev medlem: 19 mars 2007, 10:11:27
Ort: Ronneby

Re: Mjukvara för att plotta/visualisera stora .csv-filer

Inlägg av H.O »

Tack igen för all input!
KST-plot hade mycket riktigt flugit mig förbi, ser ut att vara i linje med vad jag söker. Det skall utforskas!
Det kan ju till och med plotta data "live", efterhand som den skrivs till filen. Tack för det tipset!
Skriv svar