Elektronikinstrument till personer med syn/hörsel-skada

[Magnus_K]

Hej!

Har gått och spånat lite för mig själv om man inte skulle kunna fila lite på något hjälpmedel till elektronikintresserade personer som är syn och/eller hörselskadade.

Det första som slog mig var att det kanske inte finns så många "där ute" som är synskadade och som mekar elektronik men nog fasen måste det finnas någon, och hur lätt är det för den personen att utöva sitt intresse i så fall?

Med lite surfande så fanns det en kille i Italien som gjort en talande multimeter till en synskadad kompis. Väldigt smart. En liten extern högtalar-grunka som tog in seriell data från multimeter och talade siffrorna.
Visst att det var en bra lösning men jag funderade på det här med punktskrift (brailleskrift). Visst hade det varit roligt att få till en multimeterdisplay som skriver detta istället? Alternativt göra likadant; att man plockar ut seriell data och har en separat ergonimskt bra dosa som skriver.
Med det senare alternativet blir det ju också två flugor i en smäll då en hand alltid är på dosan och en i elektroniken.

Får väl också tillägga att jag tänker enbart på riktig klenspänning här. Alltså rent hobbymässigt med batteridrift "ofarliga spänningar/strömmar".

Min idé hur man kanske kan göra displayen är att ha ett ytskikt av mjukt och elastiskt material och under sitter små pluttiga elektromagneter som i rätt kombination trycker sin kärna mot ytskiktet och formar punktskriften.
Kanske går att göra mer strömsnålt med en liten trumma per siffra som roterar. På så sätt drar det ju bara ström vid omställningen.

Ja, ni får gärna hjälpa till och spåna lite. Tråden är öppen för alla!
Vet inte vart det slutar men tycker ändå att det är kul att diskutera och höra andras lösningar.

[sm7tix]

Synskadade som jag, blind på ett öga och 30% på andra, kan ofta inte låsa brail. För mig är det svåraste att sätta proberna på rätt ställe och inte kortsluta något annat. Men fortsätt spåna. Tråden är unik.

[Magnus_K]

Jo jag måste få tillägga att jag har mycket ringa erfarenhet av syn/hörsel-skadade personer och hur dess vardag ser ut så det uppskattas otroligt om du/ni vill dela med er.

Det du skriver sm7tix är bra information. För att få en väldigt bra hjälpmedel så skulle man nog egentligen ha en dosa som både kan skriva brail och tala, där man kan deaktivera den funktion man inte önskar.
Detta borde innebära att man kan nyttja dosan även för personer som har både en syn och hörselskada.

Det jag reagerade på Italienarens talade grunka var att jag tyckte det gick långsamt. Om man vill ha i alla fall en tiondels upplösning så kan ju detta värdet variera en del, vilket brailskrift hade löst snyggt. Talmässigt blir det värre.

Jag har vidare tankar kring prob-utformning och andra instrument men det ska få gro lite till först.

[baron3d]

Den första talande apparat jag byggde, när dom populära ispxxx-kretsarna kom, var en talande multimeter. Jag satte en liten strömbrytare på proben som kunde styra så att den sa värdet.
Mycket bra eftersom man slapp att ta blicken från mätstället, eller i de situationer man står och skall mäta i ett skåp utan plats att lägga voltmetern i.

[Magnus_K]

Det lät ju riktigt snyggt!
Får man fråga hur du gjorde med upplösningen? Läste du värdet just när knappen trycktes och detta lästes upp eller kunde du hålla nere knappen och rösten pratade konstant?

Du råkar inte ha den kvar, alternativt schema, bilder eller dylikt?

[E Kafeman]

Jag gjorde en kommersiell talsyntes för dator, som hjälpmedel för synskadade. Det var ett DOS-program, långt innan Windows fanns, så det var ett tag sedan. Det var vid den tiden förmodligen ett av de bättre tal-synteserna vad gäller ljudkvalitet och det nyttjade grafik-minnet för att buffra ljudet som streamades till inbyggda högtalaren som satt på en digital port. 32 kHz var högsta enbits samplingshastighet. Det speciella med programvaran var att det dynamiskt skapade tal baserat på en verklig inspelad talslinga, så ljudet blev betydligt mindre robotaktigt. Även fonetiken och uttalsregler optimerades mot för att få naturligt svenskt uttal.

Vid arbetsbänk har man ofta tillgång till dator som kanske även är kopplad till hyggliga högtalare så då har man det mesta gjort vad gäller hårdvaran.
Instrument som har någon form av kommunikationsport kan lätt kopplas till datorn.
Programvara för talsyntes finns inbyggt åtminstone sedan WinXP, "Narrator". Uttalar text och försöker även tolka ljud från mikrofonen till text eller kommandon.
Narratorn går att styra programmässigt att t.ex. på begäran läsa något som kommer in via en serieport, men den är rätt enkel, det finns säkert plats för förbättringar.
Narratorn måste givetvis ha svensk språkfil för att kunna läsa och tolka svenskt tal och det låter inte allt för illa. Den är däremot helt kass på uttalet om det står MHz, uV, pF och liknande.

Den talsyntes jag gjorde byggde på korta fonetiska ljud-bitar. Ljuden var en inspelad röst som fick säja ett antal ord som sedan sparades ned i en ljudbank och sedan dynamiskt satte ihop passande bitar för att kunna läsa valfri bildskärmstext, tangentbordseko eller menyer.
Använde inte vanlig fonetik för siffror då kostnaden för att lägga in hela siffror i ljudbanken var låg. Med hela siffror var det lättare att få sifferserier att låta naturlig.
Siffrona som las in var 0-20,40 samt orden hundra, tusen och miljon(er). På det viset kunde talet 31943 uttalas trehundranitton-tusen-fyrtiotre. Programvaran försökte vara smart och i sammanhanget bara läsa på detta sättet om det inte var typ personnummer, postnummer eller telefonnummer, vilka lästes som enskildas siffror. 31943 blir då "tre ett nio fyra tre + kort konstpaus".
Det fanns även snabbläsningsfunktion. För att snabbläsa text utan att det blir Kalle Anka delades den dynamiska ljudfilen upp i små stycken på ca 100mS stycket, baserat på modulationen, och därefter dumpades vartannat stycke innan det streamades. Det blev dubbla läshastigheten utan att det blev Kalle Anka även om man tappade lite i uttals-kvaliteten. Det gick även köra i fyrdubbel hastighet, för att t.ex. skumma sej fram till ett text-avsnitt men då var uttalskvaliteten knappt duglig

Skriver numera en del Windows-program som kommunicerar med mätinstrument via typ GPIB, men det är för att i Windows sammanföra och bearbeta data lite längre än vad instrumenten själva klarar av och har inget med synnedsättning att göra.

Är någon intresserad av att skriva ny talsyntes kan jag fritt bidra med min gamla källkod och syntes-regler. Inte för att det är något användbart numera utan mer kanske att få en ide på hur olika saker kan lösas. Vill man göra något mer portabelt så kan man porta till Raspberry som inte skulle behöva bli större än en mindre multimeter inklusive batteri och högtalare. Ersätter man högtalaren med Bluetooth så kan man pressa storleken ytterligare.
En Raspberry borde ledigt klara att läsa valfri text med hygglig kvalitet, då min gamla talsyntes gick köra på 286:a i våldsamma 4 MHz, fast det krävdes då klockcykel optimerad assembler för att få ljudet att flyta på i jämn takt.

[Magnus_K]

Imponerande historikE Kafeman.

Själv är jag precis kass på att programmera men utav intresse så skulle det vara väldigt roligt att ta en kik på källkoden och syntesreglerna.
Använda en hallonpaj är nog ingen dum idé det heller!

Personligen har jag aldrig provat Narratorn men min grundtanke var att ha ett mer mobilt instrument. Man måste ha möjligheten att förvara "dosa" tillsammans med tex en multimeter och inte vara upplåst till en dator.

Som sagt, har du lust att dela med dig så skicka gärna PM om hur vi går vidare eller så tar du det i tråden.

[chille]

När man använder en multimeter så vill man ju ibland kunna se förändringar som är så pass långsamma att de syns på en vanlig multimeter, men så snabba att det kan bli lite jobbigt för en talsyntes. Med en digital multimeter som kan ställa parametrar för lågpassfilter, RMS, peak-to-peak etc, skulle det nog fungera bra. Sedan hakar man på en VCO (Voltage Controlled Oscillator), altså en oscillator som ändrar frekvens beroende på spänningen på ingången. På så vis skulle man kunna höra rippel och snabba förändringar.

Det vore förvisso ganska intressant att testa detta även som icke synskadad. Det skulle till exempel visa väldigt tydligt om det finns ett 50Hz rippel överlagrat på en 5V DC signal.

Är det nu ska ha en bra bänkmultimeter?

[Magnus_K]

Grymt bra ideér chille!

Mmm, mycket intressant. VCO, det var något nytt för mig, och smart!

[qx5]

Hur skall en person som är blind kunna koppla ihop något ..?

[Magnus_K]

Känner du inte skillnad på den positiva och negativa polen på ett 9V-batteri eller ett AA-batteri? Kan du inte känna vilken sida som är katod resp anod på en LED? Har du en multimeter som du kan få ut värdet från, antingen genom punktskrift eller tal så tror jag nog att du löser biten med resistor också.
Redan här kan vi nog konstatera att både du och jag hade kunnat få en LED att lysa med förbundna ögon på en kopplingsbräda.

Ytterligare hjälpmedel jag har funderat på är små hattar som innehåller ljussensorer som man kan lägga över en LED. Denna "hatt" är sedan kopplad till en enhet som gör om ljus till ljud. Kanske volym eller frekvens baserat på ljusstyrka, vad vet jag.

Alternativa "breadboards" går nog också att ordna.

Ja, listan kan nog göras lång. Om man vill.

[MiaM]

VCO som indikerar spänningsändringar är en mycket bra idé!

Jag tror att näst intill alla som något sånär seriöst sysslat med satellit-tv-installationer använt ett simpelt mätinstrument som detekterar hela bandet och där den detekterade signalnivån driver en VCO. Ett sådant instrument är helt överlägset alla andra instrument när man ska rikta in en parabolantenn. Detta gäller för den som har vanlig syn, så idén är faktiskt bra även för den utan synskada.


I trådstarten nämner du även hörselskador. Vad kan vara relevant där? Någon slags detektorer för typiska "nu går det åt skogen"-ljud, kanske?

[E Kafeman]

En multimeter med seriellt gränsnitt kräver ingen intilliigens alls av tal hård och mjukvaran, då formatet oftast är siffrona rätt upp och ner.
Nöjer man sej med att bara få något som kan läsa "ett tre nio" så duger en Atmel eller PIC som kan klocka ett eprom med siffrrorna inbrända som adresserbara wav-sekvenser.
Ska man satsa på något lite mer allsidigt verktyg som klarar fler instrumentsamtidigt, kunna göra egen prioritering vad som ska läsas mm, det är först då en RPI möjligen är motiverad.
Även en värdestyrd oscillator som kan följa typ +/- 0-1999 går köra på samma PIC-kapsel som kan mata fram wav-siffror, men få multimetrar har någon nämnvärd samplingsfrekvens på A/D och snabbt seriellt snitt. Rent praktisk måst man lösa hur man får tonmässigt tillräcklig dynamik och hur man ska hantera visning av långsamt svepande värden som skiftar polaritet eller om multimetern auto-skiftar mätområde, men det är säkert lösbart med lite tanke.

Mina talsyntes-regler är en slags pseudo assembler-kod för att göra exekveringen så effektiv som möjligt. Den styr dels rena fonetiska regler för svenska språket dels om bokstavssekvensen typ om Datum eller Tel nyligen lästs så ska efterföljade siffror läsas på särskilt sätt, där även DTMF ingår som möjlghet. Praktiskt med DTMF om man vill ringa ett telefon-nummer, då det räcker att hålla upp telefonluren i närheten av högtalaren.
Slutliga reglerna är inte självstående utan ett resultat av flera regler och är stort oläsbara om man inte kan assembler men grundrelerna är så enkla som möjligt för att kräva så lite processorkraft som möjligt.

Fonetikregler för svenska språket implementerades så enkelt som möjligt. Man kommer rätt längt om man kan hantera undantagen typ de olika sje-ljuden, dubbelkonsonater inklusive typ "ck" och splitta vissa längre konsonant-kombinationer. Sedan tillkommer vissa uttalsregler som skiljer sej från den vanliga texten, såsom längd på paus mellan ord, egen-namn, matematiska utryck, och enheter, i synnerhet förkortningar typ mm & kg och & samt uttal av sifferkombinationer enligt regler som tidigare nämnts.
För de ljud ord som inte hanteras av dessa undantag skapades en lista på alla uttalbara bokstavskombinationer på en, två och tre bostäver. Alla kombinationer på tre bokstäver som kunde hanteras av att sätta samman kombinationer av de kortare listorna på en eller två bokstäver ströks. Även sådant som var fullständigt outtalbart ströks. Samma sak med listan på två bokstäver, kunde en sträng göras uttalbar med de enskilda bokstävernas fonetik så ströks dubbelbokstäverna och ersattes med dubbla pekare till kombinationen av enkel-ljud. För bättre fonetik fanns tillläggen om fallande eller stigande volym och hastighet den enskilda strängen skulla uttalas med, men bara om nödvändigt för att uttalet skulle bli hyggligt. Slutligen styckades ljudbanken upp i en mängd sub-delar där där dubblet-ljud ströks och ersattes med pekare till lämligt alternativt ljudstump. Ett enskilt ljud är typiskt vara mellan 100-300 byte långt. Slutligen gjordes en manuell fin-editering av varje ljud-stump så att de kunde sammanfogas med varandra utan hack eller klick.
Själva ljudbanken blev på detta sättet kort. Det är nödvändigt för att kunna hålla allt ständigt inladdat i grafikminnet och snabbt hittas via enkla pekare. Det hade blivit för slött att dynamiskt ladda in ljud genom att läsa in filer från hårddisken på en 286:a.

Har du god språk/ljud-känsla så kan du med ovanstående rätt enkelt skriva dina egna syntes-regler i passande dator-språk.

Så här ser några delar av programkoden/syntax-uppbygnaden ut:

Kod: Markera allt

;___________________________________________________
; Spy at keybord whitout any software knows about it. 
; INT9
;___________________________________________________
 IN AL,060
 CMP AL,0E0
 JAE EXIT_INT9
 MOV AH,AL
 AND AL,07F
L1:
 PUSH CS
 POP ES
 XOR DI,DI
 MOV CX,SCAN_LEN
 REPNE SCASB
L2:
 JNE EXIT_INT9
L1:
 CMP AH,AL
 JNE RET_INT9

SET_TKN:
 MOV CL,3
 DEC DI
 AND DX,0840    ;DH CAPS DL R ALT
 OR DH,DH
 JNE>L3
 DEC CX
 OR DL,DL
 JE>L0
 CMP DI,CX
 JA>L0
L1:
 OR BL,BL
 JNE>L4
 INC CX
L0:
 OR BL,BL
 JE>L4
L3:
 ADD DI,SCAN_LEN
L4:
 LOOP L3
L7:
 ES MOV AL,[DI]
L8:

TILL_KEY_BUF:
 MOV DI,01C
 MOV BX,[DI]
 MOV [BX],AX
 CMP BL,03C
 JNE>L0
 MOV BX,DI
L0:
 INC BX
 INC BX
 CMP BX,[01A]
 JE>L9
L0:
 MOV [DI],BX
L9:
RET_INT9:
 IN AL,061
 MOV AH,AL
 OR AL,080
 OUT 061,AL
 MOV AL,AH
 OUT 061,AL
 MOV AL,020
 OUT 020,AL
 POPA
 POP ES
 POP DS
 IRET

;_____________________________________________
;Read size of number sekvens bigger then 99
HUNDRAUT:         ;A number in AL
;_____________________________________________
L9:
 OR AL,AL
 JE>L4
L1:
 CMP AL,200
 JB>L1
 SUB AL,100
 PUSH AX
 MOV AL,'2'
 CALL AL_UT
 POP AX
L1:
 CMP AL,100
 JB>L1
 SUB AL,100
 PUSH AX
 MOV AL,110 
 CALL AL_UT
 POP AX
 OR AL,AL
 JE RET
L1:
 CMP AL,19
 JBE>L1
 XOR AH,AH
 PUSH CX
 MOV CL,10
 DIV CL
 POP CX
 ADD AL,110
 CALL AL_UT
 MOV AL,AH
 JMP>L2
 RET
L1:
 CMP AL,9
 JBE>L4
 ADD AL,42
L2:
 OR AL,AL
 JE RET
L4:
 ADD AL,'0'

;__________________________________________
AL_UT: ;Numberic in AL, if AL=0FF => Sign in AH
;__________________________________________
 MOV B[ASCII_FL],RET_
 CALL AL_UT2
 CMP VERSAL_FL,081
 JNE>L0
 PUSH AX
 PUSH CX
 CALL TON_KORT
 POP CX
 POP AX
L0:
ASCII_FL:
 NOP
ASCII_UT:
 PUSH AX
 MOV AL,120     ;ASCII
 CALL AL_UT2
 POP AX
 XOR AH,AH
 JMP HUNDRAUT
 RET

Detta är bara ett litet stycke av all kod som behövs för att plocka ihop en någorlunda välljudande eller åtminstone förståelig ljudstream.
Den som kollar lite närmare ser att det finns självmodifierande kod. Betyder mycket för exekveringseffektiviteten på en 286:a men är närmast ett fult ord när man har överflöd på processor-resurser. Det finn även kod som förefaller omotiverad men det är för att försäkar sej att vissa exekveringar sker från jämna adresser, vilket kan spara en klockcykel eller två.

Hur skall en person som är blind kunna koppla ihop något ..?

Ja man kan undra. Det gjorde jag också första gången jag gjorde kundbesök med mitt tal-program. Programmet var utvecklat i samråd med en synskadad kompis men det fanns situationer som man inte tänkt på från början. En inköpare av handikapp-hjälpmedel hade åsikter om programfunktionen och ville träffa mej.
Inköparen satt på ett större landstings-kontor och skulle själv vara synskadad, det var ungefär vad jag visste när jag kom till kontoret. Efter lite letande hittar jag hans kontors-cell men det var ingen där. Går tillbaka till receptionen och frågar efter honom.
Efter en stund kommer en person och går i rätt rask takt, svänger runt en korridorshörna, passerar förbi receptionen och utan att stanna säjer att jag kan hänga på honom då han är på väg till kontoret.
Jag pratar med honom på vägen och frågar om han är rätt kille, då den jag skulle träffa var synskadad. Jodå försäkrar han, han är helt blind. Utan tvekan svängar han in på sitt kontor och sätter sej vid datorn och ber mej sätta mej jämte.
Här ska du få se, sa han till mej, började knappa på vanligt tangentbord och startade ett bokföringsprogram, öppnade en klient, och startade konto-upplägg där det fanns popup-menyer som inte fungerade på rätt sätt med mitt program.
Eller det var vad denne handikappskonsulent iallafall sa till mej. Jag satt som ett fullständigt frågetecken, hade inte en aning om vad som hände för bildskärmen var kol-svart och jag var förlorad redan efter uppstarten av dator-programmet.
Total-blinda är hopplösa att dator-supporta för det är jag som är handikappad när de "visar". Blotta åsynen av någon som hackar på ett vanligt tangentbord framför en avslagen bildskärm är frustrerande.
Numera finns punktdisplaer men tror detta var ca 1990 då det inte ens fanns någon dator på alla kontor.

Den synskadade inköparen, det var ett av hans många knep, det var ren taktik att gå hastigt förbi receptionen då han slapp leta efter mej, och när jag tvingades gå lite raskare så hörde han väl var han hade mej trots att andra personer rörde sej samtidigt i korridorena. Otrolig förmåga att ändå inte gå på mötande folk eller föremål. Att känna igen vilken av arbetskamrater som råkade kom in på hans kontor var också imponerande men enligt honom var det enkelt att identifiera hur fotstegen lät.

Många synskadade har upptränad fingertopps-känsla för att snabbt kunna läsa punkt-text och om bara intresset finns kan man säkert koppla ihop relativt komplicerade kretsar på ett kopplingsdäck.
Ett problem som är lätt att tänka är att många komponeter är symetriska i formen, 1N4148 t.ex. och tråd-motstånd är färgkodade men tror åtminstone på denna nivån är det inga problem.
Har själv mycket samma situation då jag handlöder prototyper baserade på 0402 SMD eller ännu mindre. Då finns ingen märkning på komponenterna och de är komplicerade att verifiera mätvärde på då de är så små. Då måste man hålla ordning på sortimentaskar, kan bara ha en komponent framme i taget för inlödning osv.

[Magnus_K]

VCO som indikerar spänningsändringar är en mycket bra idé!

I trådstarten nämner du även hörselskador. Vad kan vara relevant där? Någon slags detektorer för typiska "nu går det åt skogen"-ljud, kanske?

Håller helt med dig. VCO för spänningsändringar får det bli.
Om man tänker sig vidare för hörselskadade så tänker jag direkt vibrationer. Antagligen blir det olika hjälpmedel för synskadade, hörselskadade eller om man har av båda.
Det absolut bästa är om man kan klämma in allt i ett och aktivera/deaktivera de funktioner man vill använda.

Satt i bilen och funderade hur man ska lösa det smidigt för en synskadad att proba specifika pinnar på en kapsel och jag tror faktiskt det borde gå att lösa relativt lätt. Tänker mig typ en sån lösning som finns för att programmera monterade µC:s. En slags plastklamma över kapseln där fjädrande stift får kontakt med alla ben och toppen av klammanär helt enkelt en "bananpluggs-breakout".

@E Kafeman: Uppskattar verkligen tiden du lägger ner på dina inlägg.
Med missnöje förstår jag inte något av assemblerkoden men hänger någorlunda med på hur ni komposerade ljudet. Den här delen skulle jag själv inte klara av men det kanske redan finns ljudbibliotek färdiga att köpa?

[Lennart Aspenryd]

Imponerande tråd och utmärkta inlägg.
Hoppas att många läser och förstår.
När jag själv jobbade med ABC80 och taktila displayer, samt någon talsyntes.
Då funderade jag över vilket sinneshandikapp jag skulle kunna leva med, var otroligt imponerad över vad blinda kunde hantera.
Tack för tråden säger Lasp