Hi Sebastian,

Weiterhin: kennt jemand ein schönes Script/Programm, mit dem sich Texte nach UTF-8 konvertieren lassen?

Ich verwende recode.

mfg, Fabian

Oi rapaz,

El Martes, 17. Enero 2006 13:07, Sebastian Hegler escribió:

Hi!

Vllt. blöde Frage, aber trotzdem: definiert UTF-8 auch Zeilenumbrüche, sprich: ist das Chaos mit Mac/Win/UN*X behoben? Weiterhin: kennt jemand ein schönes Script/Programm, mit dem sich Texte nach UTF-8 konvertieren lassen?

UTF-8 = Unicode-Tabellen, die so herumgewurstelt wurden, dass sie zu ASCII kompatibel sind

ASCII = 7-Bit-Zeichen, deren erstes (höchstwertiges) Bit 0 ist

Also kann man alle Zeichen, deren erstes Bit 1 ist, für UTF-8 verwenden. Dabei lässt man dann das zweite Bit auf 0, um erkennen zu können, an welcher Position das Byte innerhalb des Zeichens es sich befindet. Das dritte Byte fängt dann mit 110 an usw.

Alle Zeichen, die in ASCII drin sind, u.a. alle Steuerzeichen, sind davon nicht betroffen. Ein \n [ASCII #10] bleibt weiterhin so auf Unix, und ein \r\n [ASCII #13#10] bleibt so auf Windows.

Es gibt "spezielle" Sonderzeichen (keine Steuerzeichen!) auch in den höheren Unicode-Tabellen. Die Franzosen kennen ein Leerzeichen, welches z.B. in LaTeX nicht für die Zeilentrennung herangezogen werden darf. Aber Zeilenumbrüche sind AFAIK nicht mit dabei.

Josef

P.S. Ein von mir erfundener Spruch zum Thema Zeichensätze: Those who think ASCII is sufficient for the English language are... naïve!

Ja, es ist verflixt kompliziert, sonst könnten auch Nameserver UTF-8 sprechen (statt Punycode), die Header in Emails so formatiert sein (statt Quoted-Printable), die Anhänge in Mails so übertragen werden (statt base64-Kodierung) etc.

P.P.S. UTF-16 ist entgegen landläufiger Meinung keine Obermenge von UTF-8, sondern verwendet stets 2-Byte-Blöcke. Das ist besser für die Chinesen (weil die mit UTF-8 schnell im 3-Byte-Bereich landen), aber schlechter für uns. Der Unterschied liegt einfach in der resultierenden Dateigröße.