Bruger:Byrial/Offline rapporter

Jeg laver offline analyser af databasedump. Til dette formål importerer jeg databasedump til en MySQL-database som bruges af C-programmer som jeg laver til formålet.

Tidligere importede jeg XML-dumpene til databasen med MediaWiki, men den danske Wikipedia er blevet for stor til det (det vil nu tage adskillige dage at lave en fuld XML-import på min gamle pc), og det gav desuden nogle problemer med de danske navnerumsnavne. Så nu bruger jeg i stedet SQL-dumpene direkte.

Faste rapporter

Opdateret med data fra toolserverens database 24. august 2009

Opdateret med data fra databasedump fra 18. august 2009
- Wikipedia:Mest ønskede artikler

Opdateret med data fra databasedump fra 4. februar 2009
- Wikipedia:Artikler med forkert eller manglende kategori (også baseret på data fra enwiki fra 10. oktober 2008 og dewiki fra 19. januar 2009)
- Wikipedia:Artikler uden sproghenvisninger
- Wikipedia:Artikler med sproghenvisninger, men uden en:
- Wikipedia:Titler med måske overflødige parenteser
- Wikipedia:Sider med mulig forkert kategorisortering
- Wikipedia:Artikler med flest indgående artikellink

Udgåede rapporter

~~Wikipedia:Omdirigeringer til ikke-eksisterende sider~~ (Udgået, brug i sted den automatisk lavede Speciel:BrokenRedirects).
~~Wikipedia:Dobbelte omdirigeringer~~ (udgået da den ikke er nødvendig da robotter kan finde og rette dem).

Ad hoc-rapporter

Pt. ingen. Ønsker modtages gerne.

Status

23. maj 2009: Databasedumpningen kører stabilt med et nyt dump ca. hver 5.-6. dag. Og jeg har endelig fået skrevet et program til at læse wikiteksten fra XML-filerne i dumpene. Så nu er det gamle ønske om at udelukke henvisninger fra skabeloner i Wikipedia:Mest ønskede artikler endelig igen opfyldt.

5. maj 2009: Så kom endelig første databasedump efter 4. februar. Nu er der endelig kommet fart i dumpningerne igen, og med nuværende hastighed vil dumpene komme hver 5. dag.

23. marts 2009: Dumpning kører langsomt og næste dump bliver tidligst engang i april. Da der ikke kan leveres regelmæssige dumps for tiden, vil jeg konvertere mine programmer til at køre på toolserveren i stedet startende med Wikipedia:Henvisninger som måske er skrevet forkert i dag.

25. februar 2009: Al databasedumpning var stoppet i perioden 12.-24. februar. Dumpningprocessen er nu startet igen, men med store wikipediaer (en:, de:, fr:) som tager lang tid at behandle. Derfor vides det ikke hvornår der kommer et nyt dansk dump, men det bliver nok tidligst i midten eller slutningen af marts.

7. februar 2009: Jeg er tilbage efter over et års pause.

Forslag

Jeg modtager meget gerne forslag til forbedringer af eksisterende rapporter og til nye rapporter på denne sides diskussionsside eller på diskussionssiderne for de enkelte rapporter.

Ting som jeg overvejer/arbejder med

Tjek af interwiki-sproghenvisninger:
- Findes målet? Er det omdirigeret? Har målet selv sproghenvisninger som mangler? Har målet selv sproghenvisninger som er i konflikt med vores?
- Er der andre sider i andre wikier som har sproghenvisninger hertil (eller til vores målsider)?
Tjek af kategorier: Hvis en kategori har sproghenvisninger til andre wikier, og hvis medlemmerne i den anden wikis katagori (eller underkategorier) har sproghenvisninger hertil, er det så til medlemmer af kategorien (eller af underkategorier)?
Tjek af taksabokse: Er der konsistens mellem taksobokse og lister over enheder i næste undernivau? Eksempel: Hvis en artikel for en familie har en slægtsliste, er artiklerne om de enkelte slægter så enige i at de tilhører den pågældende familie?

Se også

Maitchs offline rapporter, hvis du ikke kan finde hvad du leder efter her.
Beskrivelse af databasedump-format: Meta:Data dumps
Beskrivelse af database-layout: http://www.mediawiki.org/wiki/Manual:Database_layout

Programmer

Jeg laver mine rapporter med hjemmelavede programmer skrevet i C99. Det er for omfattende at bringe dem her, især fordi de ændres løbende. Interesserede kan få dem tilsendt under GPL-licensen.