Söka igenom annonser på en sida efter specifika detaljer?

C, C++, Pascal, Assembly, Raspberry, Java, Matlab, Python, BASIC, SQL, PHP, etc.
Användarvisningsbild
teljemo
Inlägg: 1622
Blev medlem: 5 februari 2011, 12:08:13
Ort: Getinge
Kontakt:

Söka igenom annonser på en sida efter specifika detaljer?

Inlägg av teljemo »

Hej,

Det finns ju nåt verktyg vissa programmerar för att leta upp info och använda. Web scraping eller nåt sånt.

Jag vill söka på Bokbörsen då deras sök funktion saknar funktion för årtal..
Kan man på nåt smart sätt skapa en kod som söker igenom Bokbörsen efter lite mer specifika detaljer som man själv väljer och få ett resultat i form av text eller länkar kanske?

Tänkte att jag hör med er här om det låter möjligt innan jag ser på mer om det.. kanske har ni en bättre idé?
Kanske finns ett färdig verktyg? (Säg inte Google) :lol:
Användarvisningsbild
TomasL
EF Sponsor
Inlägg: 45167
Blev medlem: 23 september 2006, 23:54:55
Ort: Borås
Kontakt:

Re: Söka igenom annonser på en sida efter specifika detaljer?

Inlägg av TomasL »

Du får kontakta dem och fråga om de har något API.

Annars får du söka på titel/författare och sedan själv använda din browsers sökfunktion på resultatet
Användarvisningsbild
Mickecarlsson
EF Sponsor
Inlägg: 3743
Blev medlem: 15 april 2017, 18:06:15
Ort: Malmö
Kontakt:

Re: Söka igenom annonser på en sida efter specifika detaljer?

Inlägg av Mickecarlsson »

Deras sökning genererar denna rad:

Kod: Markera allt

https://bokborsen.se/?g=0&c=0&q=a&qa=&qt=&qi=&qs=&f=1&fi=&fd=&fs=&pb=&_s=created_at&_d=desc
Jag sökte efter något som börjar med a
Kollade igenom källkoden och fick fram vad de olika söktermerna gör:

Kod: Markera allt

https://bokborsen.se/
?g=0 - genre
&c=0 - alla böcker
&q=a - sök efter a 
&qa= - författare
&qt= - title
&qi= - ISBN
&qs= - säljare
&f=1 - format
&fi= - image
&fd= - metadata
&fs= - free shipping
&pb= - publisher
&_s=created_at& 
&_d=desc
Sen verkar sökningen ha en inbyggd funktion som bara ger 30 resultat och om man går till sidan 2 får man detta anrop

Kod: Markera allt

https://bokborsen.se/?_p=2&f=1&q=a
Det är nog det närmaste du kan komma.
Användarvisningsbild
swesysmgr
Inlägg: 14127
Blev medlem: 28 mars 2009, 06:56:43
Ort: Göteborg

Re: Söka igenom annonser på en sida efter specifika detaljer?

Inlägg av swesysmgr »

Det funkar att dra ner en sidas textinnehåll (med Powershell i mitt fall) och bearbeta texten lite med regexar men jag skulle avråda från denna lösning. Du får då ange ett fungerande sökbegrepp och sedan filtrera ut de år eller intervall du önskar ur sökresultatet.

Det är mycket handpåläggning och koden måste uppdateras varje gång Bokbörsen ändrar något i sin kod. Att hålla på och banka på Bokbörsens sida med en massa nedladdningar i snabb takt.

Sök på elektronik, url: https://www.bokborsen.se/?g=0&c=0&q=ele ... at&_d=desc

Elektronrörsförstärkare" Gunnar Markesjö 1966

El ombord : praktiskt för båtägare" Anders Jangö 2006

Stjärnklart : Stjärntrilogin, del 1" Lars Wilderäng 2015

Fysik lV Elektronik" 1962

iWoz - computer geek to cult icon: how I invented the personal computer, co-founded Apple, and had fun doing it" Wozniak, Steve 2006

Rapporter och uppsatser " Jarl BackmanElfyma tabellen : Tabeller. Formler. Nomogram inom områdena matematik, fysik, elektronik" Erik Ingelstam och Stig Sjöberg (sammanställd av) 1967

Digital teknik + Övningsbok (2 vol.)" Danielsson, Per-Erik m.fl.ELFA-boken - Fakta om elektronik" Agneta Lindström - Stefan Karnebäck 2003

Elektronik i teori och praktik nr 11 1968" John Schröder (redaktör)Elektronik i teori och praktik nr 7/8 1967" John Schröder (redaktör)Elektronik i teori och praktik nr 1 1966" John Schröder (redaktör)Elektronik i teori och praktik nr 4 1964" John Schröder (redaktör)Elektronik i teori och praktik nr 1-3 1961 + 1 1962" John Schröder (redaktör)Likströmslära" Erik T. Glas 1962

Redan i framtiden" Jungk, Robert 1953

The inmates are running the asylum - Why high-tech products drive us crazy and how to restore the sanity" Alan Cooper 2004

ADB-service. Handbok för beställare" Ole Heise 1973

Strategiutveckling och scenarioanalys. IT management för sjukvård" Kalevi Pessi (red.) 2006

IT och verksamhetsnytta. IT management för sjukvård" Kalevi Pessi (red.) 2006

Arkitekturell design och management. IT management för sjukvård" Kalevi Pessi (red.) 2006

Elektronik i båten - Radiopejl, ekolod, loggar, radar, vindmätare m. m. Tips och råd om installation användning och underhåll. " Öhman, Anders. Vetenskap i närbild : Elektronik" Bridgman, Roger - Lindelöf, Karin - Streeter, Clive - Science Museum (London) 1998

Katalog 1970. teknik, elektronik, mekanik"Jag har inte råd : Sorrow nr 5" Stenberg, Marcus 2017

NTI-skolan : Formelsamling" 1991

NTI-skolan : Tekniskt lexikon" 1991

Elektronik för modelljärnvägen 5 : digital styrteknik för hobbybruk + analo" Friberg, Rutger 1995

Teknik & Hobby 1993 - Elektronik, Modellbygge, Radiostyrning" Jan Jangö 1992

Elektronik för modelljärnvägen 4 : mer än 17 byggprojekt! + 33 minitips, nybörjartips, lampguide mm" Friberg, Rutger 1994

Att år inte är med som sökbegrepp beror antagligen på att många poster i Bokbörsens databas saknar uppgitt om år, det är alla säljare som väljer vilka data de har tid och lust att ange.

Om du vill uppdatera dit bibliotek med mer data om dina gamla böcker skulle jag rekommendera KB istället, de har en mycket bra sökmotor: http://libris.kb.se/form_extended.jsp?f=ext
Användarvisningsbild
GeekJoan
Admin
Inlägg: 10642
Blev medlem: 26 maj 2003, 15:59:27
Ort: Solna

Re: Söka igenom annonser på en sida efter specifika detaljer?

Inlägg av GeekJoan »

Eller så använder du google direkt.
Ex.
test1.png
Ska vi hitta den där boken Fantastiska fåglar
test1b.png
Första resultatet blir då:
test1c.png
Du har inte behörighet att öppna de filer som bifogats till detta inlägg.
Användarvisningsbild
teljemo
Inlägg: 1622
Blev medlem: 5 februari 2011, 12:08:13
Ort: Getinge
Kontakt:

Re: Söka igenom annonser på en sida efter specifika detaljer?

Inlägg av teljemo »

Jag frågade bokbörsen om dom hade en lösning åt mig innan jag skrev här i forumet.
Det ända som kan se är att söka årtalet som fritext i deras sökning.

Saken är ju den att jag inte vill söka efter en specifik bok.
Jag vill söka efter en kategori och bara få resultat på böcker i den kategorin som är äldre en ett bestämt årtal.

Det är för att kolla av vad som finns för spännande som man inte känner till. Att gå igenom och skrolla alla tusentals böcker är inte lönt.
På antikvariat går man till rätt kategori och ser på bokryggen om det är lönt att kika. Det är det jag vill göra online.. Filtrera bort nyare böcker ur min sökning.

Det närmaste jag kan komma isåfall är att skriva in ett årtal som fritext och sen fortsätta så med ett nytt årtal för varje sökning.
Är detta nåt man isåfall kan göra nåt program av för att slippa det manuella arbetet med att söka på varje årtal?
Någon typ av macro? (Om det nu är nåt man kan skapa för ett sånt här ändamål?)

"välja kategori > Fritextsöka på 1950 > spara resultat från alla sidor > fritext söka på 1949 > spara resultat osv..." ?
"om; 0 svar > sök nästa"
Även trevligt om man då kunde spara resultaten inkl bilden och på något sätt läsbart?
Som "markera allt > copy > paste (I Excel lr word?)"
Användarvisningsbild
Zanshi
Inlägg: 1
Blev medlem: 17 december 2021, 18:17:19

Re: Söka igenom annonser på en sida efter specifika detaljer?

Inlägg av Zanshi »

Du kan använda Python(eller grep + bash) + Curl. Varje book får ju ett ID på 8 siffror, just nu är det högsta IDt: 11044240 men den ökar hela tiden!

Så gör en loop som laddar ner och scannar efter attributen, lägg in dessa i ett objekt som du kan kalla för bok. Sen kan du spara all dess info till en eller flera filer, så har du ett eget register med alla böcker och all dess attribut.

Ända nackdelen med detta är att du behöver göra 11044240 curls, vilket betyder att du skicka 11044240 requests till deras hemsida, vilket kan uppfattas som en DOS-attack. Jag gjorde dock detta på svtradio och blev aldrig blockerad.

Ett tips är också att radera varje html-fil så fort du har extraherat attributen. 11044240 HTML-filer från bokbörsen tar upp ca 662.6544 gigabytes så du vet.

MVH
Användarvisningsbild
JimmyAndersson
Inlägg: 26308
Blev medlem: 6 augusti 2005, 21:23:33
Ort: Oskarshamn (En bit utanför)
Kontakt:

Re: Söka igenom annonser på en sida efter specifika detaljer?

Inlägg av JimmyAndersson »

Även om det inte tolkas som en DOS-attack så kan det påverka systemet.
(SVT och Sveriges Radio har ju större kapacitet.)

Man bör nog inte göra så pass många requests på en gång…
Ta ett par stycken varje minut, så är du klar ungefär vid den här tiden nästa år. :)

Edit: Skrev om en luddig formulering.
danei
EF Sponsor
Inlägg: 26335
Blev medlem: 2 juni 2003, 14:21:34
Ort: Östergötland
Kontakt:

Re: Söka igenom annonser på en sida efter specifika detaljer?

Inlägg av danei »

Jag har en annan fundering gällande sökningar på bokbörsen. Närman är ute efter flera böcker vill man gärna minimera antalet säljare efter som frakten ofta blir en signifikant del av priset. Att skrolla igenom sökresultaten på de aktuella böckerna och försöka memorera handlare tycker jag inte funkar särskilt bra. Finns det någon bra lösning på det problemet?
Användarvisningsbild
Hobbyisten
Inlägg: 2531
Blev medlem: 3 december 2017, 22:55:25

Re: Söka igenom annonser på en sida efter specifika detaljer?

Inlägg av Hobbyisten »

Dock är ju chansen att en säljare har mer än 1 titel av alla böcker du är ute efter ganska liten, möjligtvis antikvariat undantaget.
danei
EF Sponsor
Inlägg: 26335
Blev medlem: 2 juni 2003, 14:21:34
Ort: Östergötland
Kontakt:

Re: Söka igenom annonser på en sida efter specifika detaljer?

Inlägg av danei »

Ja, det handlar främst om antikvariat. Men när det är flera böcker i samma serie man är ute efter kan även mindre säljare ha flera böcker. Om jag tex är ute efter alla tre böcker om ringens brödraskap.
robinr
Inlägg: 12
Blev medlem: 11 februari 2011, 16:44:21

Re: Söka igenom annonser på en sida efter specifika detaljer?

Inlägg av robinr »

Jag har byggt mycket web scraping botar genom åren, bla för börsen, passbokning, uppkörning hos Trafikverket för att nämna några.

Uteslutande har jag alltid använt python och BS (beautifulsoup) som är ett bibliotek till python som tar en hemsida och du kan i princip hitta vad som helst. Även om alla klasser skapa helt dynamiskt.

Du kan också använda egentligen vilket språk som helst men personligen gillar jag python mer.

Det som är nice med python och BS är att du kan i princip gör ett eget API. Så du enkelt kan integrera med andra program eller system.

Finns många tutorials på hur du gör detta men helt klart är det att föredra om du kan python sen innan.

EDIT:
Ett tips är också att skaffa postman eller liknande program. Då blir det väldigt enkelt att testa olika http request. Det är också utmärkt för att göra olika förfrågningar mot APIer och även testa sina egna APIer
Användarvisningsbild
JimmyAndersson
Inlägg: 26308
Blev medlem: 6 augusti 2005, 21:23:33
Ort: Oskarshamn (En bit utanför)
Kontakt:

Re: Söka igenom annonser på en sida efter specifika detaljer?

Inlägg av JimmyAndersson »

Visste inte att du var medlem här. :)
(För visst är det du som fick uppmärksamhet för ett tag sedan?)
Jag har koppling till ”andra sidan” av det du berättar.

Så, tack så förbaskat mycket för allt extrajobb. :wink: :jimmyhacker:
robinr
Inlägg: 12
Blev medlem: 11 februari 2011, 16:44:21

Re: Söka igenom annonser på en sida efter specifika detaljer?

Inlägg av robinr »

Om du syftar på han som Aftonbladet hade en artikel med så är det inte jag.. jag brukar hålla väldigt låg profil med alla scrapers eller bottar jag gör. Det ses ju inte alltid som moraliskt korrekt 🤓

Ja men sen är det också så att för att säkra ett system eller en tjänst så är det bra att veta hur man kan ta sönder det. Annars blir det också svårt att skydda sig. Hittat en hel del goa säkerhetshål genom åren, i samband med att jag hjälpt företag att få upp ögonen för it-säkerhet. 😁

Haha, sköna övertidspengar mao 🤭😂

Nu blev det mycket off topic. Dock väldigt intressant ämne!
Användarvisningsbild
JimmyAndersson
Inlägg: 26308
Blev medlem: 6 augusti 2005, 21:23:33
Ort: Oskarshamn (En bit utanför)
Kontakt:

Re: Söka igenom annonser på en sida efter specifika detaljer?

Inlägg av JimmyAndersson »

Ja det var han jag tänkte på. :)
(Hade för mig att ni hette likadant.)

Jag håller definitivt med. Det ”ni” gör kan ju ställa till med stora problem, men personligen har aldrig tyckt illa om personerna som ligger bakom. Tycker snarare att det är väldigt intressant att få höra ”er” sida av saken. Det är ju som sagt så man lär sig saker man inte hade upptäckt annars. (Även om det finns lite lugnare sätt….)

Jepp, mer övertid och mindre ro i huvudet. :D
Skriv svar