Jag kikade lite på MFCC och tyckte detta såg intressant ut. Men det verkar vara ganska beräkningskrävande. Som tur finns det CMSIS för ARM processorer som innehåller MFCC funktioner. Men jag tänkte att om man lade denna beräkningsdel på en extern IC-krets istället.
Finns det IC-kretsar/ljudgivare som fungerar som att dom tar in ljudsignaler och sedan snabbt konverterar om ljudsignalen till MFCC spektrum, eller annat typ av spektrum, för att kunna göra analys med denna data? Detta skulle vara uppskattat.
Finns det ljudgivare som kan ge tillbaka data i from av ett spektrum?
Re: Finns det ljudgivare som kan ge tillbaka data i from av ett spektrum?
Heltals-FFT går att göra i realitid på en Arduino.
Vad som behövs beror på vilken upplösning och vilken noggrannhet du vll ha.
/Pi
Vad som behövs beror på vilken upplösning och vilken noggrannhet du vll ha.
/Pi
Re: Finns det ljudgivare som kan ge tillbaka data i from av ett spektrum?
Om du vill inte vill göra det i MCU och det inte finns dedikerade kretsar borde det vara enkelt att få in det i en FPGA eller CPLD?
Re: Finns det ljudgivare som kan ge tillbaka data i from av ett spektrum?
Alla beräkningar vill jag helst att min mikrokontroller ska undvika.
Finns det inget som kan göra något spektrum i t.ex. tid som MFCC gör?
Jag kan ju använda FFT över tid också, alltså jag samplar FFT rad efter rad. Då får jag ett spektrum. Men jag vet inte om detta spektrum är tolkningsbart.
Fast FFT gör ju bara amplituder över frekvens?
Finns det inget som kan göra något spektrum i t.ex. tid som MFCC gör?
Jag kan ju använda FFT över tid också, alltså jag samplar FFT rad efter rad. Då får jag ett spektrum. Men jag vet inte om detta spektrum är tolkningsbart.
Re: Finns det ljudgivare som kan ge tillbaka data i from av ett spektrum?
går att göra analogt med, men det blir jobbigare 
Re: Finns det ljudgivare som kan ge tillbaka data i from av ett spektrum?
Menar du något i den här stilen?
Den här gjorde jag med en app som heter SpectrumView, i luren.
Det är väl egentligen samma som FFT, men att den visar vad som händer över tid, eller historik, om man så vill?
/Pi
Den här gjorde jag med en app som heter SpectrumView, i luren.
Det är väl egentligen samma som FFT, men att den visar vad som händer över tid, eller historik, om man så vill?
/Pi
Du har inte behörighet att öppna de filer som bifogats till detta inlägg.
Re: Finns det ljudgivare som kan ge tillbaka data i from av ett spektrum?
Ja. Om MFCC är "typ" FFT över tid så är nog detta jag söker.
Målet är att kunna använda denna data för analys.
Målet är att kunna använda denna data för analys.
Re: Finns det ljudgivare som kan ge tillbaka data i from av ett spektrum?
STM32 med inbyggd FPU klarar FFT på floats i realtid, har för mig en STM32h7 gör en FFT med 2048 värden på nån millisekund.
Re: Finns det ljudgivare som kan ge tillbaka data i from av ett spektrum?
Vad använder du för bibliotek då?
CMSIS?
CMSIS?
Re: Finns det ljudgivare som kan ge tillbaka data i from av ett spektrum?
Det är ganska enkelt att skriva en egen FFT, eftersom den är reguljär, det finns massor av exempel, och det är förhållandevis enkelt att testa den. Det du sedan vill ha, tror jag, är absolutbeloppet på de komplexa utsignalerna. Eller första halvan av dem, eftersom den andra halvan är spegling av den första om insignalen är reell.
Re: Finns det ljudgivare som kan ge tillbaka data i from av ett spektrum?
Här finns benchmark för FFT med STM32h7:
https://www.st.com/resource/en/applicat ... ronics.pdf
Den säger runt 0,3 ms för en FFT
Notera att man får göra toppletning själv och det är vitkigt man kör SQRT i FPU om man vill få det snabbt.
FFT lib finns i CMSIS i STM32Cube:
en.stm32cubeh7\STM32Cube_FW_H7_V1.5.0\Drivers\CMSIS\DSP\Source\TransformFunctions
https://www.st.com/resource/en/applicat ... ronics.pdf
Den säger runt 0,3 ms för en FFT
Notera att man får göra toppletning själv och det är vitkigt man kör SQRT i FPU om man vill få det snabbt.
FFT lib finns i CMSIS i STM32Cube:
en.stm32cubeh7\STM32Cube_FW_H7_V1.5.0\Drivers\CMSIS\DSP\Source\TransformFunctions
Re: Finns det ljudgivare som kan ge tillbaka data i from av ett spektrum?
Tackar så mycket.
Då vet jag att STM32, åter igen, kan axla en sådan uppgift.
Jag håller nämligen på med något som heter klassificering av bilder.
Jag har redan lyckats att kunna klassificera Ronald Fishers Iris datasamling med 96.7% noggrannhet.
Då tänkte jag att om jag byter ut datan mot vanliga FFT-frekvenser. Då kommer detta säkert fungera.
Modellen jag använder är ett neuralt nätverk (inte djupt) som tränades med Support Vector Machine. Gav ett riktigt bra resultat.
Då vet jag att STM32, åter igen, kan axla en sådan uppgift.
Jag håller nämligen på med något som heter klassificering av bilder.
Jag har redan lyckats att kunna klassificera Ronald Fishers Iris datasamling med 96.7% noggrannhet.
Då tänkte jag att om jag byter ut datan mot vanliga FFT-frekvenser. Då kommer detta säkert fungera.
Modellen jag använder är ett neuralt nätverk (inte djupt) som tränades med Support Vector Machine. Gav ett riktigt bra resultat.
Re: Finns det ljudgivare som kan ge tillbaka data i from av ett spektrum?
Jag gjorde en "Guitarhero kopia" med en STM32F1 på 72 MHz.
Kopplade elgitarr till analog ingång, samplade ADC med timer och DMA. Sedan parallellt med datainsamlingen körde jag FFT och skicka över FFT topparna till ett C# programmet som visade tabulatur på olika låtar och även gav poäng om man spelade.
Var rätt skoj projekt, men lite svårt avkoda ackord då det förutom det förväntade frekvenserna blir en massa andra pga strängarna.
Kör man int i FFT så klarade de flesta STM32 det väldigt snabbt.
Vore trevligt se lite bilder från ditt projekt när du får det funka.
grym:
Du får gärna förklara hur man gör an analog FFT.
Kopplade elgitarr till analog ingång, samplade ADC med timer och DMA. Sedan parallellt med datainsamlingen körde jag FFT och skicka över FFT topparna till ett C# programmet som visade tabulatur på olika låtar och även gav poäng om man spelade.
Var rätt skoj projekt, men lite svårt avkoda ackord då det förutom det förväntade frekvenserna blir en massa andra pga strängarna.
Kör man int i FFT så klarade de flesta STM32 det väldigt snabbt.
Vore trevligt se lite bilder från ditt projekt när du får det funka.
grym:
Du får gärna förklara hur man gör an analog FFT.
Re: Finns det ljudgivare som kan ge tillbaka data i from av ett spektrum?
Jag har testat med Yolo datasamling(100%) och Iris datasamling (96.7%).
Det fungerar riktigt bra att kombinera flera SVM till ett neuralt nätverk.
Finns många fördelar. Nackdelen är att det tar längre tid att träna ett nätverk. Men med tanke på att datorer blir snabbare och snabbare, så tolkar jag detta som ett problem som försvinner med tiden
Jag skulle gärna vilja ha lite förslag från er övriga hur jag kan utveckla detta.
Utgå från att jag har byggt ett lagers neuralt nätverk.
Yolo algoritmen använder flera neurala nätverk, dvs djupa nätverk. För mig är det inget problem att använda flera neurala nätverk.
Men jag undrar hur man ska få till detektionen av objekt. Dom där fyrkantiga boxarna i en Yolo-bild. Hur skapas dom? Vissa är rektangulära, vissa är fyrkantiga. Men det går ju bara träna en Yolo-modell/neuralt nätverk med en fixerad antal pixlar. Hur har dom lyckats göra detta?
Det fungerar riktigt bra att kombinera flera SVM till ett neuralt nätverk.
Finns många fördelar. Nackdelen är att det tar längre tid att träna ett nätverk. Men med tanke på att datorer blir snabbare och snabbare, så tolkar jag detta som ett problem som försvinner med tiden
Jag skulle gärna vilja ha lite förslag från er övriga hur jag kan utveckla detta.
Utgå från att jag har byggt ett lagers neuralt nätverk.
Yolo algoritmen använder flera neurala nätverk, dvs djupa nätverk. För mig är det inget problem att använda flera neurala nätverk.
Men jag undrar hur man ska få till detektionen av objekt. Dom där fyrkantiga boxarna i en Yolo-bild. Hur skapas dom? Vissa är rektangulära, vissa är fyrkantiga. Men det går ju bara träna en Yolo-modell/neuralt nätverk med en fixerad antal pixlar. Hur har dom lyckats göra detta?
