Intensivão de Encoding

Transcript

1. Intensiv˜ ao de Encoding Ou: How I learned to stop worrying and love Python 3 Elias Tandel September 25, 2016 1
2. Camadas de Abstra¸ c˜ ao 2
3. Camadas de Abstra¸ c˜ ao E se eu quiser me comunicar com algu´ em do futuro? Ou que esteja longe? 3
4. Sistemas de Escrita • alfab´ etico: Portuguˆ es • logossil´ abico (logogr´ afico + sil´ abico): hieroglifos, sistemas chineses • abjad: Hebraico • etc. 4
5. Sistemas de Escrita Mas meu computador s´ o entende n´ umeros*; como fa¸ co pra guardar texto nele? 5
6. Sistemas de Escrita Encoding! 6
7. Encoding! • encoding = codifica¸ c˜ ao 7
8. Encoding! • encoding = codifica¸ c˜ ao • mapeia caracteres → n´ umeros → bits 7
9. Encoding! • encoding = codifica¸ c˜ ao • mapeia caracteres → n´ umeros → bits • muitas formas diferentes de fazer isso • cada forma ´ e um encoding diferente 7
10. Exemplo • Direto: A = 1, B = 2, C = 3, ..., Z = 26 • Indireto: Z = 1, Y = 2, X = 3, ..., A = 26 8
11. Exemplo • Direto: A = 1, B = 2, C = 3, ..., Z = 26 • Indireto: Z = 1, Y = 2, X = 3, ..., A = 26 • F O R A T E M E R 8
12. Exemplo • Direto: A = 1, B = 2, C = 3, ..., Z = 26 • Indireto: Z = 1, Y = 2, X = 3, ..., A = 26 • F O R A T E M E R • 6 15 18 1 20 5 13 5 18 8
13. Exemplo • Direto: A = 1, B = 2, C = 3, ..., Z = 26 • Indireto: Z = 1, Y = 2, X = 3, ..., A = 26 • F O R A T E M E R • 6 15 18 1 20 5 13 5 18 • 21 12 9 26 7 22 14 22 9 8
14. Charsets - ASCII • American Standard Code for Information Interchange • Representa caracteres comuns no Inglˆ es + controle • 0 - 128 9
15. Charsets - ISO-8859 • ISO-8859: Fam´ ılia de encodings de 8 bits que expandem o ASCII: 10
16. Charsets - ISO-8859 • ISO-8859: Fam´ ılia de encodings de 8 bits que expandem o ASCII: • iso-8859-1 / latin-1: Europa Ocidental (a gente! o/) 10
17. Charsets - ISO-8859 • ISO-8859: Fam´ ılia de encodings de 8 bits que expandem o ASCII: • iso-8859-1 / latin-1: Europa Ocidental (a gente! o/) • iso-8859-2 / latin-2: Europa Central • ... • iso-8859-11 : Tailandˆ es • ... • iso-8859-14 / latin-8 : Ga´ elico(s), Bret˜ ao etc. • ... 10
18. Problema: • Texto que misture caracteres em charsets diferentes = caos • ` As vezes um charset para cada l´ ıngua / alfabeto etc. 11
19. Unicode! • Unicode: Padr˜ ao internacional que tenta representar todos os caracteres (at´ e emojis!) 12
20. Unicode! • Unicode: Padr˜ ao internacional que tenta representar todos os caracteres (at´ e emojis!) • Vai de 0 a 4 294 967 296 (bem mais que 8 bits) 12
21. Unicode! • Unicode: Padr˜ ao internacional que tenta representar todos os caracteres (at´ e emojis!) • Vai de 0 a 4 294 967 296 (bem mais que 8 bits) • Bem mais que encoding! Ligaduras, combina¸ c˜ oes de diacr´ ıticos, ordem de leitura etc. 12
22. Unicode! • Caracteres s˜ ao a menor unidade de texto. • ”e”, ”´ e”, ”¸ c”, ”˜ a” e ”æ” s˜ ao caracteres 13
23. Unicode! • Caracteres s˜ ao a menor unidade de texto. • ”e”, ”´ e”, ”¸ c”, ”˜ a” e ”æ” s˜ ao caracteres • Cada caracter tem um n´ umero associado chamado de code point 13
24. Unicode! • Caracteres s˜ ao a menor unidade de texto. • ”e”, ”´ e”, ”¸ c”, ”˜ a” e ”æ” s˜ ao caracteres • Cada caracter tem um n´ umero associado chamado de code point • A tabela de code points ´ e ´ unica, mas as representa¸ c˜ oes bin´ arias s˜ ao diversas: • Normaliza¸ c˜ ao: ”´ e” vs ”e” + ”´ ” 13
25. Unicode! • Caracteres s˜ ao a menor unidade de texto. • ”e”, ”´ e”, ”¸ c”, ”˜ a” e ”æ” s˜ ao caracteres • Cada caracter tem um n´ umero associado chamado de code point • A tabela de code points ´ e ´ unica, mas as representa¸ c˜ oes bin´ arias s˜ ao diversas: • Normaliza¸ c˜ ao: ”´ e” vs ”e” + ”´ ” • Unicode Transformation Formats 13
26. Unicode Transformation Formats - UTF-32 14
27. Unicode Transformation Formats - UTF-32 • UTF-32 usa sempre 4 bytes para representar qualquer code point 14
28. Unicode Transformation Formats - UTF-32 • UTF-32 usa sempre 4 bytes para representar qualquer code point • Vantagem: f´ acil ”pular” para qualquer caracter 14
29. Unicode Transformation Formats - UTF-32 • UTF-32 usa sempre 4 bytes para representar qualquer code point • Vantagem: f´ acil ”pular” para qualquer caracter • Desvantagem: Gasta mem´ oria ` a toa 14
30. Unicode Transformation Formats - UTF-16 • UTF-16 usa 2 xor 4 bytes para representar um code point 15
31. Unicode Transformation Formats - UTF-16 • UTF-16 usa 2 xor 4 bytes para representar um code point • Criado mais por quest˜ oes de compatibilidade 15
32. Unicode Transformation Formats - UTF-16 • UTF-16 usa 2 xor 4 bytes para representar um code point • Criado mais por quest˜ oes de compatibilidade • Hoje em dia usado s´ o por Java* e JS** 15
33. Unicode Transformation Formats - UTF-8 16
34. Unicode Transformation Formats - UTF-8 • Criado por Rob Pike e Ken Thompson 16
35. Unicode Transformation Formats - UTF-8 • Criado por Rob Pike e Ken Thompson • UTF-8 usa de 1 a 4 bytes para representar um code point 16
36. Unicode Transformation Formats - UTF-8 • Criado por Rob Pike e Ken Thompson • UTF-8 usa de 1 a 4 bytes para representar um code point • Vantagens: Economiza bastante espa¸ co e ´ e compat´ ıvel com ascii 16
37. Unicode Transformation Formats - UTF-8 • Criado por Rob Pike e Ken Thompson • UTF-8 usa de 1 a 4 bytes para representar um code point • Vantagens: Economiza bastante espa¸ co e ´ e compat´ ıvel com ascii • Desvantagem: ”Pulos” s˜ ao O(n) 16
38. Unicode Transformation Formats https://en.wikipedia.org/wiki/File:Utf8webgrowth.svg 17
39. Python! 18
40. Python! • Python 2: • unicode: tipo que representa sequˆ encias de caracteres • u’literal unicode’ 18
41. Python! • Python 2: • unicode: tipo que representa sequˆ encias de caracteres • u’literal unicode’ • str: tipo que representa sequˆ encias de bytes • ’literal str’ 18
42. Python! • Python 2: • unicode: tipo que representa sequˆ encias de caracteres • u’literal unicode’ • str: tipo que representa sequˆ encias de bytes • ’literal str’ • Python 3: • str: tipo que representa sequˆ encias de caracteres • ’literal str’ 18
43. Python! • Python 2: • unicode: tipo que representa sequˆ encias de caracteres • u’literal unicode’ • str: tipo que representa sequˆ encias de bytes • ’literal str’ • Python 3: • str: tipo que representa sequˆ encias de caracteres • ’literal str’ • bytes: tipo que representa sequˆ encias de bytes • b’literal str’ 18
44. Python! • Python 2: • valor.encode(): unicode → str • valor.decode(): str → unicode 19
45. Python! • Python 2: • valor.encode(): unicode → str • valor.decode(): str → unicode • Python 3: • valor.encode(): str → bytes • valor.decode(): bytes → str 19
46. Ou seja, • encode / codificar: transformar caracteres em n´ umeros • F O R A T E M E R → 6 15 18 1 20 5 13 5 18 20
47. Ou seja, • encode / codificar: transformar caracteres em n´ umeros • F O R A T E M E R → 6 15 18 1 20 5 13 5 18 • decode / decodificar: transformar n´ umeros em caracteres • F O R A T E M E R ← 21 12 9 26 7 22 14 22 9 20
48. Remover Diacr´ ıticos • Problema: Remover diacr´ ıticos de um texto em portuguˆ es • Cora¸ c˜ ao → Coracao 21
49. Remover Diacr´ ıticos • Problema: Remover diacr´ ıticos de um texto em portuguˆ es • Cora¸ c˜ ao → Coracao • Solu¸ c˜ ao: • 1) Normalizar NFKD • 2) Transformar para ascii ignorando os erros 21
50. Remover Diacr´ ıticos - Python 2 e 3 from unicodedata import normalize def remove_diacritic(s): return (normalize(’NFKD’, s) .encode(’ascii’, ’ignore’) .decode(’ascii’)) 22
51. UnicodeDecodeError • Problema: .decode() lan¸ ca UnicodeDecodeError 23
52. UnicodeDecodeError • Problema: .decode() lan¸ ca UnicodeDecodeError • Causa: Vocˆ e est´ a tentando ler usando o encoding errado 23
53. UnicodeDecodeError • Problema: .decode() lan¸ ca UnicodeDecodeError • Causa: Vocˆ e est´ a tentando ler usando o encoding errado • Solu¸ c˜ ao: Descubra o encoding certo ou tente v´ arios at´ e achar 23
54. UnicodeDecodeError - Python 2 e 3 def decode_me_maybe(encoded, encodings): for encoding in encodings: try: decoded = encoded.decode(encoding) except UnicodeDecodeError: pass else: return decoded else: raise UnicodeDecodeError encoded = get_encoded_string_from_unreliable_source() encodings = (’ascii’, ’iso-8859-1’, ’utf-32’, ’utf-16’, ’utf-8’) decoded = decode_me_maybe(encoded, encodings) 24
55. UnicodeEncodeError - pt 1 • Problema: .encode() lan¸ ca UnicodeEncodeError 25
56. UnicodeEncodeError - pt 1 • Problema: .encode() lan¸ ca UnicodeEncodeError • Causa: Existe um caracter que n˜ ao ´ e mapeado no encoding usado 25
57. UnicodeEncodeError - pt 1 • Problema: .encode() lan¸ ca UnicodeEncodeError • Causa: Existe um caracter que n˜ ao ´ e mapeado no encoding usado • Solu¸ c˜ ao: Ache um encoding que suporte esse caracter (se poss´ ıvel) 25
58. UnicodeEncodeError - pt 2 • Problema: file.write() lan¸ ca UnicodeEncodeError 26
59. UnicodeEncodeError - pt 2 • Problema: file.write() lan¸ ca UnicodeEncodeError • Causa: • Vocˆ e est´ a usando Python 2 26
60. UnicodeEncodeError - pt 2 • Problema: file.write() lan¸ ca UnicodeEncodeError • Causa: • Vocˆ e est´ a usando Python 2 • Vocˆ e est´ a tentando escrever um objeto unicode 26
61. UnicodeEncodeError - pt 2 • Problema: file.write() lan¸ ca UnicodeEncodeError • Causa: • Vocˆ e est´ a usando Python 2 • Vocˆ e est´ a tentando escrever um objeto unicode • Arquivos s˜ ao sequencias de bytes 26
62. UnicodeEncodeError - pt 2 • Problema: file.write() lan¸ ca UnicodeEncodeError • Causa: • Vocˆ e est´ a usando Python 2 • Vocˆ e est´ a tentando escrever um objeto unicode • Arquivos s˜ ao sequencias de bytes • Ent˜ ao Python precisa fazer encode 26
63. UnicodeEncodeError - pt 2 • Problema: file.write() lan¸ ca UnicodeEncodeError • Causa: • Vocˆ e est´ a usando Python 2 • Vocˆ e est´ a tentando escrever um objeto unicode • Arquivos s˜ ao sequencias de bytes • Ent˜ ao Python precisa fazer encode • Vocˆ e n˜ ao disse nada, Python assumiu ascii 26
64. UnicodeEncodeError - pt 2 • Problema: file.write() lan¸ ca UnicodeEncodeError • Causa: • Vocˆ e est´ a usando Python 2 • Vocˆ e est´ a tentando escrever um objeto unicode • Arquivos s˜ ao sequencias de bytes • Ent˜ ao Python precisa fazer encode • Vocˆ e n˜ ao disse nada, Python assumiu ascii • Vide pt 1 26
65. UnicodeEncodeError - pt 2 • Problema: file.write() lan¸ ca UnicodeEncodeError • Causa: • Vocˆ e est´ a usando Python 2 • Vocˆ e est´ a tentando escrever um objeto unicode • Arquivos s˜ ao sequencias de bytes • Ent˜ ao Python precisa fazer encode • Vocˆ e n˜ ao disse nada, Python assumiu ascii • Vide pt 1 26
66. UnicodeEncodeError - pt 2 - Solu¸ c˜ ao 1 f.write(value.encode(’utf-8’)) 27
67. UnicodeEncodeError - pt 2 - Solu¸ c˜ ao 2 import codecs with codecs.open(’filename’, ’w’, ’utf-8’) as f: f.write(value) 28
68. Windows-1252 • Problema: Windows-1252 vs ISO-8859-1 29
69. Windows-1252 • Problema: Windows-1252 vs ISO-8859-1 • Windows-1252 ´ e parte de outra familia que extende o ASCII 29
70. Windows-1252 • Problema: Windows-1252 vs ISO-8859-1 • Windows-1252 ´ e parte de outra familia que extende o ASCII • Windows-1252 ´ e quase igual ao latin-1 exceto por 32 caracteres • A galera n˜ ao sabe a diferen¸ ca e acha que s˜ ao a mesma coisa 29
71. Windows-1252 • Problema: Windows-1252 vs ISO-8859-1 • Windows-1252 ´ e parte de outra familia que extende o ASCII • Windows-1252 ´ e quase igual ao latin-1 exceto por 32 caracteres • A galera n˜ ao sabe a diferen¸ ca e acha que s˜ ao a mesma coisa • ”Solu¸ c˜ ao”: • HTML5 recomenda que ISO-8859-1 seja tratado como windows-1252 29
72. Windows-1252 • Problema: Windows-1252 vs ISO-8859-1 • Windows-1252 ´ e parte de outra familia que extende o ASCII • Windows-1252 ´ e quase igual ao latin-1 exceto por 32 caracteres • A galera n˜ ao sabe a diferen¸ ca e acha que s˜ ao a mesma coisa • ”Solu¸ c˜ ao”: • HTML5 recomenda que ISO-8859-1 seja tratado como windows-1252 • Trate do jeito certo em outras situa¸ c˜ oes 29
73. Windows-1252 • Problema: Windows-1252 vs ISO-8859-1 • Windows-1252 ´ e parte de outra familia que extende o ASCII • Windows-1252 ´ e quase igual ao latin-1 exceto por 32 caracteres • A galera n˜ ao sabe a diferen¸ ca e acha que s˜ ao a mesma coisa • ”Solu¸ c˜ ao”: • HTML5 recomenda que ISO-8859-1 seja tratado como windows-1252 • Trate do jeito certo em outras situa¸ c˜ oes • Boa sorte 29
74. Li¸ c˜ oes para a vida • Use Python 3 30
75. Li¸ c˜ oes para a vida • Use Python 3 • Use Python 3 30
76. Li¸ c˜ oes para a vida • Use Python 3 • Use Python 3 • Na d´ uvida, use utf-8 30
77. Li¸ c˜ oes para a vida • Use Python 3 • Use Python 3 • Na d´ uvida, use utf-8 • Decodifique assim que poss´ ıvel 30
78. Li¸ c˜ oes para a vida • Use Python 3 • Use Python 3 • Na d´ uvida, use utf-8 • Decodifique assim que poss´ ıvel • Codifique s´ o quando necess´ ario 30
79. Li¸ c˜ oes para a vida • Use Python 3 • Use Python 3 • Na d´ uvida, use utf-8 • Decodifique assim que poss´ ıvel • Codifique s´ o quando necess´ ario • Seja consistente! (i.e. n˜ ao misture tipos de string) 30
80. Li¸ c˜ oes para a vida • Use Python 3 • Use Python 3 • Na d´ uvida, use utf-8 • Decodifique assim que poss´ ıvel • Codifique s´ o quando necess´ ario • Seja consistente! (i.e. n˜ ao misture tipos de string) • Use Python 3 30
81. Li¸ c˜ oes para a vida • Use Python 3 • Use Python 3 • Na d´ uvida, use utf-8 • Decodifique assim que poss´ ıvel • Codifique s´ o quando necess´ ario • Seja consistente! (i.e. n˜ ao misture tipos de string) • Use Python 3 30
82. Obrigado • @etandel • etandel.xyz • elias.tandel@gmail • elias@onyo.com 31
83. Obrigado • C´ odigo da palestra • Speaker Deck 32