[IT] Perché l'encoding é importante

Ticino XP - Bedano (CH), February 11, 2016 - F. Sblendorio, M. Piccinetti

Transcript

1. Perché l'encoding è importante? 2015 Francesco Sblendorio 11 marzo 2016 Iniziativa “TicinoXP” Bedano (CH)
2. Perché questo talk? Scambio di file CSV problematico Francesco;Via Torino;347-101212;1977-01-01 Filippo;Piazza Duomo;328-923212;1980-02-04 Luisa;Piazza Cordusio;02-123456;1979-03-12 Name,Address,Birthdate Francesco,Via Torino,1977-01-01 Filippo,Piazza Duomo,1980-02-04 Luisa,Piazza Cordusio,1979-03-12 Name,Address,Birthdate Arsène,50 rue de Varenne,1977-01-01 Adélaïde,134 rue du Fbg. St-Honoré,1980-02-04 Bénédicte,rue de la Paix,1979-03-12 Name,Address,Birthdate Ars?ne,50 rue de Varenne,1977-01-01 Ad?la?de,134 rue du Fbg. St-Honor?,1980-02-04 B?n?dicte,rue de la Paix,1979-03-12 Name,Address,Birthdate Ирина,ул. Донская,1977-01-01 Андрей,Проспект вернадского,1980-02-04 Виктория,Невский проспект,1979-03-12 Name,Address,Birthdate ?????,??. ???????,1977-01-01 ??????,???????? ???????????,1980-02-04 ????????,??????? ????????,1979-03-12
3. Il problema della codifica • Stabilire una corrispondenza tra simboli e codici numerici (bytes) ◦ A=... B=… C=... D=... E=... ◦ Quali sono i caratteri da rappresentare? IEC646 1972 ASCII 1968 PETSCII 1977 EBCDIC ~1960 0 1 1 0 1 0 0 1
4. Standard: ASCII 7-bit (US-ASCII) • 7 bit di codifica (+ 1 bit di parità): 128 combinazioni • a..z A..Z 0..9 !"#$%&'()*+,-./:;<=>?@[\]^_{|}~ • 32 caratteri di controllo cosiddetti “non-stampabili” (CR, LF, backspace, …) Vantaggi • Ordinamento alfabetico + numerico intrinseco • 1 carattere ⇔ 1 byte (per definizione) 0 x x x x x x x Problema • Adatto solo alla lingua inglese • Impossibile codificare accenti, dittonghi, dieresi e alfabeti non latini • Es. in italiano si usava l’apostrofo come workaround (e’ - perche’ - pero’…)
5. Soluzioni locali: Extended ASCII (8-bit) • Usare il vecchio bit di parità per raddoppiare le combinazioni (che diventano 256) • Per diverse famiglie linguistiche esistono diverse varianti di “Extended ASCII” • Le prime 127 combinazioni sono le stesse di US-ASCII, le altre dipendono da quale variante di “Extended ASCII” viene utilizzata • Esempi: CODEPAGEs in MS-DOS x x x x x x x x
6. Soluzioni locali: Extended ASCII (8-bit) Non - printable US ASCII (7-bit) Extended
7. Soluzioni locali: Extended ASCII (8-bit) Non - printable US ASCII (7-bit) Extended
8. Soluzioni locali: Extended ASCII (8-bit) Non - printable US ASCII (7-bit) Extended
9. Soluzioni locali: Extended ASCII (8-bit) Superset di ISO-8859-1 (o latin1) Non - printable US ASCII (7-bit) Extended
10. Globalizzazione e Unicode • Necessità di scambiare informazioni fra parti “diverse” del mondo • Necessità di usare più alfabeti nello stesso documento Name,Address,Birthdate Ирина,ул. Донская,1977-01-01 Андрей,Проспект вернадского,1980-02-04 Arsène,50 rue de Varenne,1977-01-01 Adélaïde,134 rue du Fbg. St-Honoré,1980-02-04 Bénédicte,rue de la Paix,1979-03-12 Виктория,Невский проспект,1979-03-12
11. Globalizzazione e Unicode • Idea iniziale: usare 2 byte per carattere = 65536 combinazioni possibili • 5 anni dopo la versione 1.0 si giungono ad assegnare 178500 combinazioni • La versione 8.0 (2015) assegna 260319 combinazioni • 2 byte non sono più sufficienti: Unicode è una specifica da codificare a sua volta • Curiosità: sono assegnati anche simboli di alfabeti appartenenti a lingue artificiali, come i Tengwar della lingua elfica creata da J.R.R Tolkien e “parlata” in Lord of Rings. Qualcuno ha proposto di inserire l’alfabeto Klingon ma la proposta è stata rifiutata perché con l’alfabeto latino si riesce benissimo a scrivere in Klingon.
12. Implementazioni di Unicode Lunghezza fissa: UTF-32 (32 bit) • Vantaggio: ogni carattere occupa sempre lo stesso numero di byte. Semplifica l’implementazione dei text-editor e la divisione in “pagine” • Svantaggio: incompatibile con i documenti ASCII pre-esistenti x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x
13. Implementazioni di Unicode Lunghezza variabile: UTF-8 1 1 0 x x x x x 1 1 1 0 x x x x 1 1 1 1 0 x x x 0 x x x x x x x => corrispondenza 1-a-1 con US-ASCII 7-bit 1 0 x x x x x x 1 0 x x x x x x 1 0 x x x x x x 1 0 x x x x x x 1 0 x x x x x x 1 0 x x x x x x
14. Replacement Character
16. Perché l'encoding è importante? Perché é = U+00e9 (233 dec) = 11101001 (c3 a9) Leggere in sequenza “c3 a9” come se fosse ISO-8859-1 1 1 0 1 0 1 1 0 1 1 1 0 1 0 1 0 0 1 1 1 0 0 0 0 1 1 1 0 1 0 1 0 0 1
17. Soluzioni locali: Extended ASCII (8-bit) Non - printable US ASCII (7-bit) Extended (c3 a9) é
18. “Missing glyph”
19. Specificare la codifica (Notepad)
20. Specificare la codifica (Excel)
21. Specificare la codifica (Eclipse)
22. $ ls -l total 16 -rw-r--r-- 1 francesco.francesco 433694780 147 Sep 14 11:34 example-1.csv -rw-r--r-- 1 francesco.francesco 433694780 141 Sep 14 11:34 example-2.csv $ file example-1.csv example-1.csv: UTF-8 Unicode text $ file example-2.csv example-2.csv: ISO-8859 text $ cat example-2.csv | iconv -f iso-8859-1 -t utf-8 > converted.csv $ file converted.csv converted.csv: UTF-8 Unicode text Individuare la codifica e convertire (UNIX)
23. Una questione di ordine “Collation” Language Swedish: z < ö German: ö < z Usage German Dictionary: of < öf German Phonebook: öf < of Customizations Upper-First A < a Lower-First a < A Riferimento: http://unicode.org/reports/tr10/ Alfabeto svedese: ABCDEFGHIJKLMNOPQRSTUVWXYZÅÄÖ Alfabeto tedesco: ABCDEFGHIJKLMNOPQRSTUVWXYZ (Ä=A Ö=O Ü=U ß=ss)
24. Una questione di ordine public void localeTest() { final java.text.Collator collator1 = java.text.Collator.getInstance(java.util.Locale.forLanguageTag("TR")); final java.text.Collator collator2 = java.text.Collator.getInstance(java.util.Locale.forLanguageTag("FR")); collator1.setStrength(java.text.Collator.PRIMARY); collator2.setStrength(java.text.Collator.PRIMARY); System.out.println("----------------------------------------------------------------"); System.out.println(collator1.compare("o", "ö")); // -1 (TR) System.out.println(collator2.compare("o", "ö")); // 0 (FR) System.out.println(collator1.compare("ı", "i")); // -1 (TR) System.out.println(collator2.compare("ı", "i")); // 1 (FR) System.out.println(collator1.compare("I", "İ")); // -1 (TR) System.out.println(collator2.compare("I", "İ")); // 0 (FR) System.out.println("----------------------------------------------------------------"); }
25. Grazie per l’attenzione