Fil lesing i python og æøå

[Refragatio]

Hei, driver på med et lite prosjekt i python som inngår en del fillesing. Det er ingen problemer med å for eksempel ta:

 

print 'æøå'

 

i scriptet mitt, men når eg leser inn filer følger ikkje dei tegna med, noen som har en forklaring på det?

[BlueEAGLE]

Høres veldig ut som UTF-8-problematikk.

[Refragatio]

Har med coding linje, men virker ikkje som den vil virke inn på filene som leses inn?

[etse]

Men filen du leser fra, hvilken encoding bruker den?

[Refragatio]

Usikker, vanlig .txt fil med dictionaries, hvordan kan jeg sjekke?

[zotbar1234]

Usikker, vanlig .txt fil med dictionaries, hvordan kan jeg sjekke?

 

Så du vet ikke hva du leser inn? Så fint...

 

(Men file-verktøyet kan jo brukes til slikt i *nix-verden. F.eks.)

[etse]

Om du ikke finner ut av det, er det noe hemmelige greier? Hvis ikke kan du bare legge den ut sånn at vi kan sjekke for deg.

[Refragatio]

http://pastebin.com/61F5N3RL

 

Her er kodene, informasjonen blir hentet fra linken i kodene. På forhånd takk

[zotbar1234]

http://pastebin.com/61F5N3RL

Her er kodene, informasjonen blir hentet fra linken i kodene. På forhånd takk

 

Ok, så kildefilen er i cp1252 (*why* would you do **THAT**?!), mens du får (ikke uventet) data kodet i utf-8. Så langt, så vel. Men hva spesifikt er problemet? "tegna følger ikke med" gir simpeltheten ikke mening ("od -c" sier at de gjør det, og det ville vært fryktelig merkelig om å hente et dokument over http skulle medføre noe annet). Etter å ha fått dataene i utf-8, kan du enten bearbede dem videre som unicode-objekter i Python internt (og da må du decode() dem (beklager språkblandingen) fra en strøm i utf-8 til unicode-objekter), eller beholde dataene som strings (altså str), men da må du huske på at for å få noen tegn kodet i utf-8 som ikke finnes i cp1252 (og det er jaggu meg mange), vil du måtte ta visse grep.

 

Hva rent konkret er det du mener er feil?

[snippsat]

return f.read().decode('utf-8')

Da ser du nok 'æøå'

[Refragatio]

Då var problemet løst, takker så meget for hjelp