Finnes det lister over alle registrerte domenenavn?

[Hefalompen]

Er det mulig å finne lister over registrerte domenenavn under f.eks. .no? (og hele verden)

 

Dette trenger jeg til en crawler som jeg har planer om å få laget. Hadde ikke lyst til at den skulle følge linker, men gå systematisk etter domenenavn. Denne crawleren skal fange opp filer som er tilgjengelige for nedlastning fra det aktuelle domenet, etter hvilke filtyper jeg vil den skal fange opp.

 

Prøvde lenge å finne noe tilsvarende program, men det har jeg ikke lykkes med. Brukte kanskje 50 timer på å søke etter spider, crawler osv osv. webwolf var det nærmeste, men det manglet endel funksjoner.

 

Så nå må jeg finne ut hvordan jeg kan få laget dette selv. Planen er å lage en søkemotor utelukkende for filer. Eller er det noen som kjenner til en slik søkemotor fra før?

[Glenn F. Henriksen]

Hvis det er en bestemt filtype du leter etter så gjør Google jobben for deg med "filetype:" argumentet.

 

"filetype:pdf crawler" finner f.eks. bare PDF-er.

 

Ellers så kjenner jeg ikke til noen publiserte lister over domenenavn.

[Hefalompen]

Jeg er klar over at google har en funksjon, jeg har selv testet den og den er ikke særlig bra. Hvis du prøver å søke opp en fil så får du ofte dårlige resultat. Jeg hadde ønsket link direkte til filen og ikke til siden den ligger på.

 

Jeg tenkte å få laget en søkemotor for alle filtyper. søkbart på filnavn, filtype, domenenavn og domene "etternavn" f.eks. .com (Husker ikke hva enden på domenenavn heter)

Hvis jeg da vil vite hvilke .doc filer jeg kan laste ned fra www.bergen.kommune.no så kunne jeg brukt en slik søkemotor. Eller finne ut hvilke .mp3 filer jeg kan laste ned fra tono.no

 

Noen som har en ide på hvordan lage en slik søketjeneste? Jeg har testet et snes (20) crawler programmer som ikke har fungert godt nok. Jeg har alt domenenavn, servere og webtjeneste.

Endret 13. august 2008 av Hefalompen

[Glenn F. Henriksen]

Tror nok du er nødt til å bruke en tradisjonell linkcrawler for å finne de forskjellige domenene.

 

Det må du jo nesten gjøre uansett siden når du har fått et domene må du alikevel sjekke alle lenkene på det domenet.

 

Ellers finnes det jo noen mer spesialiserte filsøk.

[Hefalompen]

Tror nok du er nødt til å bruke en tradisjonell linkcrawler for å finne de forskjellige domenene.

 

Det må du jo nesten gjøre uansett siden når du har fått et domene må du alikevel sjekke alle lenkene på det domenet.

 

Ellers finnes det jo noen mer spesialiserte filsøk.

 

Jeg må nok få utviklet en linkcrawler slik jeg vil ha den.

Jeg har sett noen av disse sidene (som kommer opp med ditt søk) og som en tittelinje indikerer, er jeg ikke den eneste som vil ha en slik søkemotor.

 

"Maybe one day Google will come up with a nice file search engine that indexes unprotected directories, FTP servers, file hosting sites, torrent sites"

 

Hvis du ser på filestube.com så har den ikke mulighet til å begrense søket på .no domener eller velge andre filtyper enn de 10 som er listet. Dessuten er den full av porno som jo trekker ned for de fleste. Filesbot.com har enda dårligere søk. Ingen av disse indikerer hvor mange filer de har i databasen.

 

Jeg hadde tenkt at tilnærmet alle filer som lå tilgjengelig på internett for nedlastning, var tilgjengelig i en søkemotor. Min søkemotor. Dette er en ide jeg har grublet på i mange år. Selv er jeg ingen programerer, men systemteknikker. Noen som vet om noen indiske programerere som kan ta jobben? De er billige.

[Glenn F. Henriksen]

Indere og andre billige programmerere finner du på http://www.rentacoder.com/