Lug-dd

lug-dd@mailman.schlittermann.de

1 participants
10837 discussions

bash -> mysql performance
by Ronny Seffner 02 Aug '12

02 Aug '12

Hallo, ich habe regelmäßig (täglich) ein paar Daten aus einer proprietären Software anfallenden Textdateien in eine MySQL Datenbank zu packen. Als Admin kann ich mir mit BASH und MySQL ein wenig helfen, Programmierer bin ich damit nicht. Nun fällt erschreckend auf, wie langsam das Ganze ist und ich hoffe man kann mir hier helfen (im Zweifel dann auch bezahlt). Aber erstmal zu den Fakten: So sieht die Datei aus (es sind dann Dutzende dieser Dateien, mit je Tausenden Zeilen): 03.05.2012 00:00:25 0,03296 03.05.2012 00:00:25 0,03296 03.05.2012 00:00:25 0,03296 03.05.2012 00:00:25 0,03296 03.05.2012 00:00:25 0,03296 03.05.2012 00:00:25 0,03296 03.05.2012 00:00:26 0,03296 03.05.2012 00:00:26 0,03296 03.05.2012 00:00:26 0,03296 03.05.2012 00:00:26 0,03296 03.05.2012 00:00:26 0,03296 03.05.2012 00:01:44 0,04413 03.05.2012 00:01:45 0,42134 03.05.2012 00:01:46 0,39369 03.05.2012 00:01:47 0,44423 03.05.2012 00:01:48 0,54073 03.05.2012 00:01:49 0,56819 03.05.2012 00:01:50 0,61855 ... Sind mehrere Zeitstempel identisch, soll der _LETZTE_ Wert genommen werden. Das ist meine Tabelle: CREATE TABLE IF NOT EXISTS `test` ( `timestamp` datetime NOT NULL, `value` decimal(10,5) NOT NULL, PRIMARY KEY (`timestamp`) ) ENGINE=InnoDB DEFAULT CHARSET=latin1; Ich vermute schon hier unüberlegt strukturiert zu haben. Ich möchte den Zeitstempel aber weiterverarbeitbar haben, da macht doch ein MySQL Format Sinn, auch wenn völliger Käse geliefert wird. Und weil ich ja nur den Letzten Eintrag bei identischen Zeitstempeln merken will, habe ich mich für "UPSERT" entschieden, also das Feld auf PRIMARY KEY gesetzt. Und hier nun mein primitives Skript, welches auf einer Core i3 3GHz Maschine mit 8gb RAM so 20 bis 30 Zeilen in der Sekunde ins MySQL schickt: cat "$FILE" | while read ENTRY; do YEAR=`echo "$ENTRY" | awk '{print $1}' | awk -F. '{print $3}'` MONTH=`echo "$ENTRY" | awk '{print $1}' | awk -F. '{print $2}'` DAY=`echo "$ENTRY" | awk '{print $1}' | awk -F. '{print $1}'` TIMESTAMP=`echo "$ENTRY" | awk '{print $2}'` NEWDATE="$YEAR-$MONTH-$DAY $TIMESTAMP" # VALUE=`echo "$ENTRY" | awk '{ print $3 }' | sed -e 's/,/./g'` VALUE=`echo "$ENTRY" | awk '{ print $3 }'` SQL="INSERT INTO \`test\` (\`timestamp\`, \`value\`) VALUES ('$NEWDATE', '$VALUE') ON DUPLICATE KEY UPDATE \`timestamp\`= '$NEWDATE', value = '$VALUE';" mysql machines -uroot -p$SQLPWD -e "$SQL" done Ich denke hier jedes Mal mehrere awk und sed zu starten nur um das unglückliche Datumsformat zu verändern muss nicht sein. Leider kann ich kein perl, das soll ja Wunder wirken ... Aber auch ohne die Datumskonvertierung ist das alles nicht wirklich schnell. Die my.cnf ist noch UBUNTU Standard und vielleicht sind so viele kleine INSERTS auch gar nicht wirklich gut? Mit freundlichen Grüßen / Kind regards Ronny Seffner -- Ronny Seffner | Alter Viehweg 1 | 01665 Triebischtal www.seffner.de | ronny(a)seffner.de | +49 35245 72950

6 12

Dresden Perl Mongers Treffen August 2012
by Steffen Schwigon 02 Aug '12

02 Aug '12

Hi! Ui ui ui, so ein spätes Announcement. Am Donnerstag treffen sich wieder die Dresden Perl Mongers. Donnerstag, den 02. August 2012 20.30 Uhr Kneipe "Terasse am Bischofsplatz" Bischofsweg 2 01097 Dresden Wir reden und hacken üblicherweise an unserem eigenen Kram rum und bieten ernsthaften Support rund um Perl-Einstiegsthemen wie * Code-Reviews * erstes CPAN-Modul bauen * Updates zu Perl[56], Parrot, Rakudo, Perlworkshop, YAPC und für Fortgeschrittene * Trost * Folklore * misc & etc Anfahrt, Termine, Themen manchmal auch hier: * http://dresden-pm.org/PM/TermineTreffen Jeder ist eingeladen. Grüße, Steffen -- Steffen Schwigon <ss5(a)renormalist.net> Dresden Perl Mongers <http://dresden-pm.org/>

1 0

AW: [solved] bash -> mysql performance
by Ronny Seffner 02 Aug '12

02 Aug '12

Vielen Dank an Tobias und Falk, natürlich auch anAndreas, der sich in der Sprache seiner bevorzugten Datenbank Gedanken gemacht hat. Rein vom Prozess gefällt mir Tobias' Ansatz, die Textdateien in MySQL lesbares Format zu bringen und von der Verarbeitungsgeschwindigkeit hat Falks Tipp mit 'mysqlimport' einen gewaltigen Treffer gelandet. Ich sammle die Dateien per VPN ein, wandle sie mit 'sed' nun in ein CSV um das dann per 'mysqlimport' in die Datenbank zu bringen. Ein Prozess, der bis gestern noch Stunden! Dauerte ist jetzt in 20 Sekunden erledigt. Die Gruppe hier ist Gold wert. Vielen lieben Dank nochmal. Mit freundlichen Grüßen / Kind regards Ronny Seffner -- Ronny Seffner | Alter Viehweg 1 | 01665 Triebischtal www.seffner.de | ronny(a)seffner.de | +49 35245 72950

1 0

None
by Nick Lehmann 31 Jul '12

31 Jul '12

Liebe LUG-Dresden, ich wollte nur eine Frage loswerden, die eher indirekt etwas mit Linux zu tun hat. Ich habe momentan ein Notebook mit einer Festplatte. Zurzeit benutze ich noch MS Windows. Um mich ein wenig in Ubuntu einzufühlen, habe ich mir eine Live-CD besorgt. Da ich erstmal nur ausprobieren wollte, installierte ich Linux auf einer externen Festplatte und wollte das Betriebssystem mithilfe der Bootreinfolge festlegen. Allerdings hat sich dann Grub als Bootmanager installiert. Dieser hat die Sprungadresse meines Rechner auf die externe Festplatte gelegt. Nun ist meine Befürchtung, dass wenn ich die Partion mit Ubuntu lösche, meine Sprungadresse nicht wiederhergestellt wird. Da ich meinen Rechner bald verkaufen werde, wollte ich fragen, wie man Grub löschen kann, sodass nur noch Windows installiert ist? Meine Idee wäre ja die Reperatur-CD von Windows gewesen. Danke schonmal im Vorraus. Nick

5 4

KDE Adressbuch
by Konrad Rosenbaum 26 Jul '12

26 Jul '12

Hi, ich habe gerade mein Adressbuch von einem Account auf dem IMAP-Server auf einen anderen umgezogen. Auf dem alten Account war es Kolab 1 Format (vcf oder sowas), auf dem neuen Kolab 2 Format (xml). Der alte Account wurde aus Kontact/KMail entfernt. Auf meinem PC hat es mit etwas fummeln funktioniert (Addressbuch löschen und neu anlegen, import/export, etc.) auf dem Laptop nicht: ich sehe nur ein Addressbuch namens std.vcf; ich kann ein neues hinzufügen - Wizard, ich wähle Traditional, IMAP via KMail, Name des Adressbuchs bestätigen, aber es taucht nicht in der Liste auf - dort sehe ich nach wie vor nur "std.vcf". Wenn ich in systemsettings in die KDE Ressourcen Einstellungen gehe sehe ich in der Liste auch nur std.vcf, öffne ich die Akonadi-Resource und dann "Manage Address Book Sources" dann sehe ich das neu angelegte Adressbuch - aber nur da. Lustigerweise bekomme ich die Mailadressen aus meinem Adressbuch vorgeschlagen wenn ich eine Mail schreibe... PC: Debian squeeze, KDE 4.4.5 Laptop: Debian testing, KDE 4.8.4 Ich bin mir jetzt nicht sicher ob es auf dem Laptop jemals richtig ging. Irgendwelche Ideen? Konrad

1 0

remove LVM-Snapshot funktioniert nicht
by Rico Koerner 25 Jul '12

25 Jul '12

Hallo, ich erzeuge unter Squeeze mit: ~# lvcreate -L 10G -s -n snap_my_lv /dev/vg0/my_lv einen LVM-Snapshot, ziehe danach eine Kopie mit: ~# dd if=/dev/vg0/snap_my_lv bs=4M | gzip > /backup/my_lv-20120701.img.gz und versuche zum Schluß den Snapshot wieder zu entfernen: ~# lvremove -f /dev/vg0/snap_my_lv Was allerdings mit der Meldung quittiert wird. Can't remove open logical volume "snap_my_lv" lvdisplay zeigt mir den Snapshot immer noch an: --- Logical volume --- LV Name /dev/vg0/snap_my_lv VG Name vg0 LV UUID 01j6Xx-QmOJ-ogf1-5vqf-5ksq-8oXM-GTXELy LV Write Access read/write LV snapshot status active destination for /dev/vg0/my_lv LV Status available # open 0 LV Size 8.00 GiB Current LE 2048 COW-table size 10.00 GiB COW-table LE 2560 Allocated to snapshot 0.05% Snapshot chunk size 4.00 KiB Segments 1 Allocation inherit Read ahead sectors auto - currently set to 256 Block device 253:14 Weder dd noch irgendein anderer Prozess greift auf den Snapshot zu. Gemountet war der Snapshot auch nirgends. Das Problem scheint kein Einzelfall zu sein: http://felix.moches.de/technik/backup-mit-lvm-snapshots-und-duply-unter-deb… Abgesehen davon, daß es selbst nach einem Logout und am nächsten Tag, auch nach mehreren Versuchen, nicht zu löschen ging, finde ich den Ansatz, es solange zu wiederholen, bis es weg ist, nicht akzeptabel. Auf einem 2. Server, ebenfalls Squeeze und Hardware-RAID darunter, funktioniert das Skript fehlerfrei. Auch ein Deaktivieren funktioniert nicht: ~# lvchange -an /dev/vg0/snap_my_lv Can't change snapshot logical volume "snap_my_lv" Hat jemand einen Lösungsansatz? Gruß Rico

2 3

alte Netzhardware gesucht
by Grimnin Fridyson 25 Jul '12

25 Jul '12

moin gesucht wird ein hub/switch mit bnc&rj45 es ginge auch rj45&aui Wenn jemand so etwas günstig abzugeben hat (und will) bitte melden danke Andreas

3 2

Geeignete Distri
by Ottmar Schmidt 24 Jul '12

24 Jul '12

Hallo Freunde, ich hab grad so ein doofes Netbook da stehen. Das Ding ist schon was älter (4 Jahre) und halt als Recovery Linpus Linux Lite in ner relativ alten Version des Chinesen-Linux auch vorinstalliert. Da muss was aktuelleres drauf. Pinguin ist klar, aber welche Distri. Hat hier jemand Erfarhungen mit Linux für Netbooks und/oder EEPC's welche Distris da besonders geeignet sind. VG Ottmar

9 10

Freie Webinar-Software
by Jana Hartwig 24 Jul '12

24 Jul '12

Hallo, ich habe hier mehrere Tests für verschiedene GUIs im Rahmen meines BA-Studiums mit dem Squish in Java Script geschrieben. Nun möchte ich verschiedene Scenarios abspielen lassen, als kurze Shots innerhalb meines Vortrags, den ich dann auf der BA vor der Seminargruppe zeige. >>> Gibt es eine freie SW zum Herstellen von WEBINAREN? <<< Es wäre blöd, eine Verbindung auf die aktuelle Maschine mit den Squish-Experimenten mit einer neuen Instanz von Squish aufzunehmen, deswegen wäre Webinar-Software angebracht. Und ich würde auch gerne ein kleines Tutorial zum Abspielen in die Dokumentationslandschaft der Firma ablegen, damit sich die zukünftigen Tester die Squish IDE auch selbst in das Eclipse integrieren können. Vielen Dank im Voraus, Jana.

2 1

Apt-pinning und updates?
by Hilmar Preuße 20 Jul '12

20 Jul '12

Moin, in meiner /etc/apt/preferences mache ich pinning, damit bei einigen Paketen nur die von Debian installiert werden. Bsp: Package: libavcodec52 Pin: release o=Debian,a=stable,n=squeeze,l=Debian,c=main Pin-Priority: 700 Jetzt werden aber die security-Updates nicht mehr eingespielt: hille@drachi:~$ apt-cache policy libavcodec52 libavcodec52: Installed: 4:0.5.6-3 Candidate: 4:0.5.6-3 Package pin: 4:0.5.6-3 Version table: 5:0.7.12-0.0 700 500 http://debian-multimedia.informatik.uni-erlangen.de/debian-multimedia/ stable/main i386 Packages 4:0.5.9-1 700 500 http://security.debian.org/ stable/updates/main i386 Packages *** 4:0.5.6-3 700 500 cdrom://[Debian GNU/Linux 6.0.5 Update DVD 20120512: i386 DVD 1]/ squeeze/main i386 Packages 500 http://ftp.de.debian.org/debian/ stable/main i386 Packages 100 /var/lib/dpkg/status 4:0.5.2-6 700 500 cdrom://[Debian GNU/Linux 6.0.0 _Squeeze_ - Official i386 DVD Binary-1 20110205-17:27]/ squeeze/main i386 Packages er pinnt einfach auf die 0.5.6-3 fest. Wie muß der Eintrag aussehen, damit ich die 0.5.9-1 von s.d.o einspielen kann? Danke, Hilmar -- You're almost as happy as you think you are. http://www.hilmar-preusse.de.vu/

3 4

Jump to page:

2025

2024

2023

2022

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000

1999

Lug-dd