On Mon, Sep 16, 2002 at 12:29:35PM +0200, Jens Puruckherr wrote:
Hallo,
wie kann ich auf einfache Weise bestimmen, wie groß eine Webseite ist. Also sowas wie ein Offlinebrowser, der die zu übetragende Datenmenge ermittelt. Mit wget das für jeden Link per Hand zu tun, scheint mir etwas umständlich. Ausserdem wird ja so nicht berücksichtigt, welche Dateien sich schon im Cache befinden - oder sollte man das erst mal ignorieren? Nun kann ich mir auch mir Perl und LWP::UserAgent einen eigenen Browser bauen, der brav alle Links abklappert....hmm zur Not ja. aber vorher frag ich mal lieber: gibts da schon was??
Die wirkliche Größe bekommst du erst wenn du alles heruntergeladen hast. Dafür würde ich, wie von dir erwähnt, wget nehmen.
Auf die Seiten, die sich im Browser-Cache befinden kannst du von der Kommandozeile oder mit eigenen Programmen so gut wie nicht zugreifen.
Wenn du Größe aber vorher wissen willst, ohne Alles herunterzuladen, kannst du versuchen mit einem Perl/Python Script von allem was inline angezeigt wird (Bilder, ggf. Flash) nur die Variable Content-Length zu lesen. Doch damit du die Variable bekommst, musst du, so weit ich weiß, eh erst so tun als ob du die Datei herunterladen willst. Dann noch die Abfrage abzubrechen lohnt sich wahrscheinlihch nicht, außer es sind riesige Dateien.
Schönen Dienstag!
thomas