Webscraping och excelintegrering

Ja, det går.
Openpyxl kan lägga in både formler och hyperlänkar i Excel-filer, precis som en användare kan.
Det går inte riktigt att jämföra med Pandas. Pandas är bättre för stora beräkningar (som Python-motorn utför). Openpyxl är bättre för att automatisera komplexa Excel-beräkningar, eller andra övningar som Bonnatorps där man behöver Excel-funktionalitet i kalkylarket (här hyperlänkar).

Aha, jag tänkte mer att Pandas var perfekt för att spara skräpet till excell. Tänkte inte ens att han behövde röra data utan bara skrapa upp skiten, in i det till en dict eller list och sedan in i DataFrame och in i Excell.

Men då skippar han Pandas om han skall göra mer saker.

Jo det var så förut, det räckte gott och väl för ursprungsfunktionen som bara var till att jag skulle slippa sitta och leta telefonnummer för hand.
Men projektet blev lite större, och eftersom slutprodukten ska ligga i excel blev det enklast med openpyxl då alla iterationer och jox redan är anpassat för det.
Däremot är det fortfarande lite av intresse att ha en enskild tabell i något format för hela sveriges företag när jag vill plocka ut hela branscher över hela landet.
Excel passar inte till det då det antagligen överstiger gränsen på dryga miljonen rader, även om det i övrigt hade varit perfekt för ändamålet om det var prestandamässigt anpassat för sådana mängder.
Gjorde en tråd som var mer inriktad på SQL-delen, om det blir SQL jag använder. Det blir förmodligen det då excel enkelt kan koppla upp mot det, även om det kanske blir klurigt med hyperlänkfunktionaliteten jag är ute efter just nu.

Kanske jag kan göra en fuling och ge ut primärlistan till kunden, och kräva en månadskostnad för att deras hyperlänkar (för finansbladen) som går till en server på min hemdator ska fungera.
Då får de ju extra funktionalitet i att de slipper hålla reda på var alla de extra filerna ligger, och jag sparar tid i att jag kan stoppa exakt allt i samma mapp

Okej, nu är det tillslut knapphändigt hopsnickrat.
Lite som när man är ute och åker på en gammal moppe som man hoppas att förgasaren inte lossnar allt för ofta på, men som går framåt så längde det vill sig.

Om vi räknar grovt på att alla företagsregister jag kommer åt innehåller en miljon företag (lite mer än hälften av sveriges företag), och jag snittar sex sekunder per företag (scrapar flera sidor) så kommer det ta lite över två månader för allting, förutsatt att programmet aldrig stannar och behöver lite kärlek.
Det går att leva med, men det är ändå lite väl länge. Hade hoppats på kanske två eller tre veckor max.

Problemet är att jag har blivit tvungen att använda time.sleep(), som visserligen antagligen går sänka en aning på sina ställen, men det är en klumpig lösning som är väldigt öppen för fel.
Jag lyckas dock inte använda waiten, den bara felar.

Har en funktion som bara ser ut så här:
Men det felar allt som oftast. Antingen får jag stale elements, eller så dyker det upp en mystisk kombination av tecken som ger 0 träffar på google. Ser ut lite som två minnesadresser, men jag tror inte det var hexadecimalt.
Har tyvärr inte den sparad just nu, och det verkar vara lite slumpmässigt när den dyker upp.

Finns det några generella tips på hur man torde handskas med waitfunktionen för att få ner tiderna framgångsrikt?

Har du provat implicit wait?
Alltså att man ställer in en maxtid en gång och sedan kör på utan uttryckliga wait.
Nackdelen med det, antar jag är det kan göra ett program långsammare om man kollar efter element på "chans", alltså att man inte "vet" huruvida de ska finnas eller inte (när det alltså inte nödvändigtvis är en timingfråga)

Källa: https://selenium-python.readthedocs.io/waits.html

Förresten använder du try/except-block för dina uttryckliga wait-satser?

Jajusteja, try borde man nog göra.
Glömmer ofta det.

Ett av problemen är t.ex. När jag kör ratsit.
Dels så byter sökrutorna element beroende på om jag har klickat in på ett resultat eller är kvar i söklistan, sköter det via en bool som ändras beroende på om ett resultat öppnats eller inte.
Men jag vet inte om det blir något resultat alls eller ej, och sökresultaten laddar sist av hela sidan. Så det känns klurigt hur jag ska lägga en wait på något som kanske inte dyker upp.

Jag spånar fritt här, men på klientsidan kan man ofta använda jQuery för att kolla om dokumentet har laddat färdigt, se: https://learn.jquery.com/using-jquer...ocument-ready/

Selenium kan, som jag tror jag skrivit i annan tråd, köra Javascript också på klientsidan:
https://www.guru99.com/execute-javas...webdriver.html

Jag tänker mig därför att det borde vara möjligt att låna Selenium vänta på Browser kör färdigt ett viss JS-skript.

Ja det igen, då blir dey första grejen nästa tillfälle jag sätter mig på projektet.

Såg förresten idag att Nvidia presenterar sina nya grafikkort 20:e september.

Om det är humana priser på deras egna grafikkort på de första köparna så skulle det vara lajbans att snickra ihop en bot som håller koll på sidan och köper ett 4080 eller så så fort det är tillgängligt.

Hur torde man gå tillväga för detta om man inte vet precis hur sidan kommer vara utformad?
Hoppas på att den är identisk med deras andra kort?

Har fastnat på min proxy nu.
Den slutade plötsligt att fungera med selenium.

Har testat några olika metoder i selenium att mata in proxyn på, men fick alltid omedelbart "www.exempel.com returnerade ingen data".
Slår jag in proxyn i windows nätverksinställningar så kan jag surfa, och IP:n blir ändrad.
Men samma problem kvarstår när jag använder selenium.

Det är så märkligt då det fungerade för en timme sedan.
Någon som stött på något liknande?

Visade sig vara Stormproxies det var fel på.
Bytte till Webshare, vilket var ett fantastiskt val.
Dels är den bättre på alla tänkbara sätt (mycket snabbare och har statistik över användning), utom att den inte är automatiskt roterande, och dels betalar jag nu typ 20 kronor per månad för att täcka behoven, istället för 140.