ASCII vs. Unicode in Python 2

Transcript

1. ascii  vs.   ṲἤЇℭ☮Ѐ   Tech  Talk,  Hackbright  Fall  2014     Jessica  McElroy    
2.  All  data  is  stored  as  bits.      Bits  are  meaningless  unHl  they  are   encoded.  
3. Historically,  ASCII  has  been  the  most   common  standard   for  encoding  bits  into  text.  
4. H   01001000       A   01000001     C   01000011     K   01001011     ASCII  can  represent  up  to     2  ^  8  (256)  characters  
5. But  the  world  needs  more  than     256  characters!  
6. Enter  unicode:     The  universal  character  set!  
7. How  does  unicode  work?   Think  of  it  like  a  database  that  maps  any  symbol  you  can   think  of  to  a  number  (code  point)  and  to  a  unique  name.     Symbol/glyph       Code  Point       Unique  Name    
8. U+0041 A   LATIN  CAPITAL  LETTER  A  
9. U+03A9 GREEK  CAPITAL  LETTER  OMEGA   Ω
10. U+060F ARABIC  SIGN  MISRA   ؏
11. U+1F648 SEE-­‐NO-­‐EVIL  MONKEY    
12.   Python  2  has  two  different     built-­‐in  types  for  text.  
13.   >> text_str = “Let’s go to a café.” >> type(text_str) <type ‘str’> >> text_uni = u“Let’s go to a café.” >> type(text_uni) <type ‘unicode’>
14. Unicode  tends  to  be  more  accurate.  
15.   >> text_str = “Let’s go to a café.” >> len(text_str) 20 >> text_uni = u“Let’s go to a café.” >> len(text_uni) 19
16. >> tomorrow = u”Hasta ma\u00f1ana.” >> print tomorrow Hasta mañana. >> love = u“I \U00002764 Hackbright!” >> print love I  ❤    Hackbright! Unicode  escape  sequences  
17. ASCII  to  Unicode  and  back  
18. Bytes  .decode()  à  unicode     Unicode  .encode()  à  bytes  
19. Tips  for  unicode-­‐aware  programs  
20. Make  a  unicode  sandwich   1)  Decode  early   2)  Unicode  everywhere   3)  Encode  late  
21. Sample  funcHon   Find  it  here:  hhps://gist.github.com/jmcelroy5/81bf945a9aff01ea9f0d  
22. Include  Unicode  in  Unit  Tests   ґ℮αḓαbℓℯ  ßü☂  ηø☂  αṧ¢I     TesHng  monkeys:                 ✞ε✖⊥  ḟ◎я  ⊥εṧтḯᾔℊ      
23. Hang  in  there  –     Python  3  fixes  the  unicode  problem!  
24. References     hhp://www.unicode.org/charts/     hhp://www.joelonso•ware.com/arHcles/Unicode.html     hhp://nedbatchelder.com/text/unipain/unipain.html#1     hhp://blog.notdot.net/2010/07/Ge‚ng-­‐unicode-­‐right-­‐in-­‐Python     hhps://mathiasbynens.be/notes/javascript-­‐unicode     hhps://pythonhosted.org/kitchen/unicode-­‐frustraHons.html