Encoding

Tech Talk
Level: beginner
12 March 2015
Cologne

Transcript

1. Encoding Anton  Petrov   anton.petrov.work@gmail.com   h6p://github.com/blz777   Tech  Talk   Level:  beginner   12  March  2015     Cologne    
2. Hello,  I  am  Anton    
4. encodings..
5. a-er  this  talk
6. the  basics
7. a  computer  stores  bits
8. 01100010  01101001  01110100  01110011
9. rules  to  represent  things
10. an  encoding  scheme
11. sequence  of  bits  <-­‐>  a  character
12. 01100010  01101001  01110100  01110011                  b                                  i                                    t                                  s  
13. 01001000  01100101  01101100  01101100  01101111  00100000      01010111  01101111  01110010  01101100  01100100   (ASCII encoded)      
14.                      bits                              character     01000001                                A   01000010                                B   01000011                                C   01000100                                D   01000101                                E   01000110                                F     …    ASCII  
15. Hello  World  
16. to  encode
18. binary  vs  octal  vs  decimal  vs  hex
19. !"#$%&\'()*+,./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\\]^_`abcdefghijklmnopqrstuvwxyz{|}~-­‐     ASCII  only  7  bits   2^7  =  128  different  characters  
20. Straßen-­‐übergangs-­‐änderungs-­‐gesetz    
21. oh,  wait..
23. 01000110   +128
24. ISO  646   ASCII   EBCDIC   CP37   CP930   CP1047   ISO  8859:     ISO  8859-­‐1  Western  Europe   ISO  8859-­‐2  Western  and  Central  Europe   ISO  8859-­‐3  Western  Europe  and  South  European  (Turkish,  Maltese  plus  Esperanto)   ISO  8859-­‐4  Western  Europe  and  Balbc  countries  (Lithuania,  Estonia,  Latvia  and  Lapp)   ISO  8859-­‐5  Cyrillic  alphabet   ISO  8859-­‐6  Arabic   ISO  8859-­‐7  Greek   ISO  8859-­‐8  Hebrew   ISO  8859-­‐9  Western  Europe  with  amended  Turkish  character  set   ISO  8859-­‐10  Western  Europe  with  rabonalised  character  set  for  Nordic  languages,  including  complete  Icelandic  set   ISO  8859-­‐11  Thai   ISO  8859-­‐13  Balbc  languages  plus  Polish   ISO  8859-­‐14  Celbc  languages  (Irish  Gaelic,  Scofsh,  Welsh)   ISO  8859-­‐15  Added  the  Euro  sign  and  other  rabonalisabons  to  ISO  8859-­‐1   ISO  8859-­‐16  Central,  Eastern  and  Southern  European  languages  (Albanian,  Bosnian,  Croaban,  Hungarian,  Polish,  Romanian,  Serbian  and  Slovenian,  but  also  French,  German,  Italian  and  Irish  Gaelic)   CP437,  CP720,  CP737,  CP850,  CP852,  CP855,  CP857,  CP858,  CP860,  CP861,  CP862,CP863,  CP865,  CP866,  CP869,  CP872   MS-­‐Windows  character  sets:     Windows-­‐1250  for  Central  European  languages  that  use  Labn  script,  (Polish,  Czech,  Slovak,  Hungarian,  Slovene,  Serbian,  Croaban,  Bosnian,  Romanian  and  Albanian)   Windows-­‐1251  for  Cyrillic  alphabets   Windows-­‐1252  for  Western  languages   Windows-­‐1253  for  Greek   Windows-­‐1254  for  Turkish   Windows-­‐1255  for  Hebrew   Windows-­‐1256  for  Arabic   Windows-­‐1257  for  Balbc  languages   Windows-­‐1258  for  Vietnamese   Mac  OS  Roman   KOI8-­‐R,  KOI8-­‐U,  KOI7   MIK   ISCII   TSCII   VISCII   JIS  X  0208  is  a  widely  deployed  standard  for  Japanese  character  encoding  that  has  several  encoding  forms.     Shi-  JIS  (Microso-  Code  page  932  is  a  dialect  of  Shi-_JIS)   EUC-­‐JP   ISO-­‐2022-­‐JP   JIS  X  0213  is  an  extended  version  of  JIS  X  0208.     Shi-_JIS-­‐2004   EUC-­‐JIS-­‐2004   ISO-­‐2022-­‐JP-­‐2004   Chinese  Guobiao   GB  2312   GBK  (Microso-  Code  page  936)   GB  18030   Taiwan  Big5  (a  more  famous  variant  is  Microso-  Code  page  950)     Hong  Kong  HKSCS   Korean     KS  X  1001  is  a  Korean  double-­‐byte  character  encoding  standard   EUC-­‐KR   ISO-­‐2022-­‐KR   Unicode  (and  subsets  thereof,  such  as  the  16-­‐bit  'Basic  Mulblingual  Plane').  See  UTF-­‐8   ANSEL  or  ISO/IEC  6937    
25. mulb-­‐byte  encodings
26. GB18030     10000001  01000000  丂
 10000001  01000001  丄
 10000001  01000010  丅
 10000001  01000011  丆
 10000001  01000100  丏
27. 2  bytes  =>  65,536  
28. Awesome!  
29. ..s‚ll  not  enough,  對不起  
30. can  we  please  have  only  one  encoding?
31. Unicode
32. ..  is  not  an  encoding
34.  1,114,112  code  points  (U+044E)
35. how  to  encode  with  Unicode?  
36.  Unicode  Transformabon  Format   UTF  
37. UTF-­‐32     A  -­‐>  00000000  00000000  00000000  01000001   B  -­‐>  00000000  00000000  00000000  01000010      
38. variable-­‐length  encodings character   encoding   bits   A   UTF-­‐8   01000001   A   UTF-­‐16   00000000  01000001   A   UTF-­‐32   00000000  00000000  00000000  01000001   あ UTF-­‐8   11100011  10000001  10000010   あ UTF-­‐16   00110000  01000010   あ UTF-­‐32   00000000  00000000  00110000  01000010  
39. confusion  and  problems
40. 10000011  01000111  10000011  10010011   10000011  01010010  10000001  01011011   10000011  01100110  10000011  01000010   10000011  10010011  10000011  01001111   10000010  11001101  10010011  11101111   10000010  10110101  10000010  10101101   10000010  11001000  10000010  10100010  
41. ÉGÉìÉRÅ[ÉfÉBÉìÉOÇÕìÔǵÇ≠ǻǢ   (Mac  Roman)
42. エンコーディングは難しくない   (Shi--­‐JIS)
43. Encoding  is  not  difficult
44. ÉGÉìÉRÅ[ÉfÉBÉìÉOÇÕìÔǵÇ≠ǻǢ     read  as  Mac  Roman  and  save  as  UTF-­‐8
45. 11000011  10001001  01000111  11000011  10001001  11000011  10101100  11000011   10001001  01010010  11000011  10000101  01011011  11000011  10001001  01100110   11000011  10001001  01000010  11000011  10001001  11000011  10101100  11000011   10001001  01001111  11000011  10000111  11000011  10010101  11000011  10101100   11000011  10010100  11000011  10000111  11000010  10110101  11000011  10000111   11100010  10001001  10100000  11000011  10000111  11000010  10111011  11000011   10000111  11000010  10100010    
48. byte  order  mark  U+FEFF  
49. FF  FE              4800      6500    6C00    6c00  6F00   header            H                    e                  l                  l                o   li6le-­‐endian     FE  FF              0048    0065  006C  006C  006F   header              H                  e                l                  l                o   big-­‐endian     UCS-2  
50. I  have  this  website  talking  to  a  database.  My  app  handles   everything  as  UTF-­‐8  and  stores  it  as  such  in  the  database   and  everything  works  fine,  but  when  I  look  at  my   database  admin  interface  my  text  is  garbled.          -­‐-­‐  Anonymous  code  monkey  
51. UTF-­‐8  saved  as  la‚n-­‐1  (1  byte  encoding)  
52. *ahem*,     beg  your  pardon?   •   text  is  a  sequence  of  bits  –  to  human  readable  characters  -­‐  lookup  table.   •   always  dealing  with  bits   •   specify  encoding  when  two  systems  communicate   •   use  UTF-­‐8   •   one  byte  !=  one  character  
53. All  credit  for  the  content  goes  to..   David  C.  Zentgraf   h6p://kunststube.net/encoding/  
54. The  credit  for  the  errors..     ..  is  all  mine.  
55. Thank  you!