Matrizes, transformações lineares e a SVD

Transcript

1. UFRJ Matrizes, transformações lineares e a SVD Prof. Paulo R. G. Bordoni
2. Agora, Loirinhas, Surfistas e Cabelos de Fogo, vamos examinar as transformações lineares definidas por matrizes.
3. Nesta aula associamos matrizes e sistemas de equações lineares.
4. Lembrem-se, o problema: “Resolver um sistema linear de equações a incógnitas” é o problema inverso descrito matricialmente por: “Obter um vetor ∈ ℝ tal que = , sendo dado ∈ ℝ.” Já o problema direto associado a uma matriz de tamanho × é: “Dado ∈ ℝ, obter o vetor ∈ ℝ para o qual = .”
5. Conforme já vimos, problemas diretos estão associados a funções. Nesse caso (usando a mesma letra, num abuso usual de notação), à função : ℝ ⟶ ℝ ⟼ = . Sim, e na NumPy, o valor é calculado através produto interno = np. dot (, ) de com o vetor .
6. A multiplicação matriz × vetor satisfaz várias propriedades, entre elas duas triviais: • + = + , para , ∈ ℝ • = , para ∈ ℝ, ∈ ℝ Claro Mestra, nem precisa perder tempo com exemplos !
7. Essas duas propriedades mostram que a função : ℝ → ℝ associada à matriz através da multiplicação define uma transformação linear de ℝ em ℝ. Transformações lineares constituem uma classe muito ampla de funções definidas entre espaços vetoriais.
8. Uma transformação linear de um espaço vetorial num espaço vetorial é uma função ∶ → satisfazendo as duas propriedades: • + = + , ∀, ∈ , • = , ∀ ∈ ℝ , ∀ ∈ . A definição abaixo é tão importante que merece ser colocada numa moldura de ouro !
9. Transformações lineares : → empurram as operações naturais do espaço de saída para as operações naturais do espaço de chegada . Sim, adição em adição, + T + , e escalamento em escalamento, T , para quaisquer ∈ ℝ e , ∈
10. Por que escreve-se e não () para uma transformação linear ? Porque para calcular o valor = temos que efetuar o produto da matriz pelo vetor .
11. Surfistas, Loirinhas e Cabelos de Fogo, os Mestres estão conduzindo vocês a um passo gigantesco em abstração. Adiantando as coisas: Outros dois exemplos de transfor- mações lineares são a integral e a derivada, que operam entre espaços de funções (aula futura).
12. Como assim ? Ora colega, já vimos em Cálculo I que se ∈ ℝ e , são funções, ׬( + ) = ׬ + ׬ e ׬ = ׬ . Vimos também que + = + e = .
13. A B ℝ ℝ ℝ = ∘ O produto B A de uma matriz B por uma matriz A corresponde à aplicação linear composta ∘ de A seguida por B. Sim, para todo ∈ ℝ temos ∘ = = e portanto ∘ = . Mais um bom motivo para dispensar os parênteses em ().
14. Por exemplo, para = 1 2 1 2 e = −1 1 1 −1 temos = 1 −1 1 −1 e = 0 0 0 0 . Lembrem-se que a multiplicação de matrizes não é comutativa. A B ℝ ℝ ℝ B A
15. E quando uma matriz de ordem possui inversa −1, temos = −1 = −1, correspondendo a aplicação identidade : ℝ → ℝ, = . A ℝ ℝ ℝ −1 = −1 A ℝ ℝ ℝ −1 = −1
16. Indo à Referência e clicando em inv( ) obtive:
17. Este programa recebe uma matriz A, calcula sua inversa e testa.
18. Duas execuções do programa:
19. U L ℝ ℝ ℝ A z A fatoração = revela que pode ser decomposta em duas outras aplicações lineares: A decomposição permite resolver o problema inverso = para qualquer termo independente escolhido, sem calcular a matriz inversa −1 de .
20. U ℝ ℝ ℝ Sim, obtida a fatoração, de = tudo que temos a fazer é calcular em = , ou seja obter = −1, algo imediato pois é triangular inferior. −1 ℝ ℝ ℝ −1 −1 Em seguida, calculamos em = , i.é, resolvemos = −1, que também é imediato já que é triangular superior.
21. A fatoração (ou método de eliminação de Gauss) não acrescenta conceitos novos à Álgebra Linear Computacional. Sua importância reside na rapidez. É um algoritmo (23/3).
22. Pensar em transformações lineares conduz a um enfoque geométrico/teórico da Álgebra Linear Computacional.
23. O próximo programa mostra a ação de uma matriz A, como uma transformação linear, sobre um vetor . O programa permite escolher tanto a matriz A como o vetor .
24. Este é o programa.
25. Uma execução do programa. Em azul temos o vetor e em vermelho o vetor Vemos claramente que A realiza uma reflexão no eixo-x.
26. Um 2º exemplo:
27. O programa a seguir mostra a ação de uma matriz de ordem 2 sobre um triângulo abc.
28. Comecemos examinando o efeito de matrizes diagonais em triângulos. Esta matriz faz uma reflexão no eixo-x.
29. Esta outra contrai de 0.5 na direção x e dilata de 1.5 na direção y. Mas isto já não é tão evidente, Mestra.
30. Já usando um triângulo com um lado paralelo ao eixo-x e outro paralelo ao eixo- y percebemos que efetua uma contração no eixo-x e uma dilatação no eixo-y.
31. Observem que a matriz A é “quase” a mesma. E o efeito é “quase” o mesmo.
32. Mudamos o termo 0.1 para 1: Agora o efeito mudou bastante.
33. Agora trocamos o termo nulo por 1.2. O efeito mudou radicalmente!
34. Vejam a ação de uma matriz não-inversível sobre um triângulo: Não há como desfazer a ação da M sobre o trtiângulo!
35. Essa matriz é “quase” não-inversível. Vejam como ela achata um triângulo:
36. A matriz definida por = cos() −() () cos() , quando aplicada num vetor efetua uma rotação de ângulo no sentido horário em . Isto é, se = então o ângulo entre e , medido de para , é de radianos.
37. Fiz um programa que recebe um quadrado arbitrariamente escolhido e gira-o no sentido anti-horário de uma quantidade escolhida de graus.
38. Uma rotação de 45º. Notem que na rotação a norma dos vetores (e portanto dos objetos construídos com eles) permanece inalterada.
39. Rotações de 90º e 270º podem representar reflexões relativamente aos eixos coordenados, mas nem sempre:
40. O código do programa. Ficou longo porque optei pela didática.
41. O final do código do programa..
42. Mestres, exceto para matrizes diagonais e de rotação, não consigo entender o efeito delas nos vetores e nas figuras! Realmente, não é um problema tão simples!
43. Vamos entender, definitivamente, a atuação de matrizes como transformações lineares analisando a ação delas sobre feixes de vetores!
44. Este livro é o clássico dos clássicos sobre álgebra linear computacional. Vamos até reproduzir seu Sumário.
46. Este é outro clássico peso-pesado em álgebra linear computacional. Vejam seu Sumário.
47. São livros de cabeceira para quem for fazer pós-graduação.
48. O conteúdo desses dois livros é a definição mais apropriada de Álgebra linear computacional. Invista em você. Adquira os dois livros!
49. Observem que os dois livros iniciam com a decomposição SVD e só depois vão tratar do método de eliminação de Gauss: Gauss só no capítulo 3. Gauss só no capítulo 4.
50. Veremos que entender ação da transformação linear associada a uma matriz nas bolas é fundamental. Pela linearidade, basta entendermos a atuação nas bolas unitárias.
51. Isso é fácil de fazer nas bolas das normas ∙ 1 e ∙ ∞ . Claro Mestra, como vocês já mostraram para triângulos e quadrados.
52. Este programa mostra a ação de uma matriz M num feixe de vetores.
53. A ação da matriz sobre um feixe de vetores de tamanho unitário é clarificada pela imagem abaixo: A ação é dilatar a componente vertical dos vetores do feixe por um fator de escala = 2 e manter a componente horizontal inalterada.
54. A ação desta outra matriz é dilatar de = 2.5 a componente dos vetores do feixe mas manter a componente inalterada. A dilatação dos vetores do feixe, que varia com a inclinação do vetor na bola.
55. Já a ação desta outra matriz sobre os vetores unitários do feixe é mais complexa: Uma rotação e uma dilatação.
56. Esta 4ª matriz , além da rotação e dilatação também realiza uma inversão do sentido dos vetores. Notem, pelas cores, que o sentido dos vetores na imagem foi invertido.
57. Agora uma matriz com todos os elementos não- nulos.
58. Dilatar, contrair, girar. Como descrever matematicamente o efeito de uma matriz sobre vetores?
59. Sim Mestra, é só olhar para as pontas dos vetores. Percebemos claramente que a matriz A leva a circunferência unitária numa elípse.
60. Então se eu usar apenas a bola unitária obterei o mesmo resultado - uma elipse. Exatamente Surfista, compare com o exemplo anterior.
61. Confirmadíssimo, Mestra!
62. Resumindo: A transformação linear : ℝ2 → ℝ2 leva a circunferência unitária numa elipse.
63. Sim Surfista. E as medidas 1 , 2 dos semi- eixos da elipse são chamados de valores singulares da matriz . 2 1
64. Ok Mestres. Mas como eu calculo os esses valores singulares 1 , 2 da matriz ?
65. Loirinha, esta é uma das questões mais importantes da Álgebra linear computacional. A resposta é a decomposição em valores singulares da matriz .
66. Voltando ao livro do Trefethen, logo no início está a decomposição em valores singulares
67. Lá vocês encontram teorema da Decomposição em Valores Singulares (SVD): Seja ∈ ℳ× uma matriz com elementos ∈ ℂ. Então existem matrizes unitárias ∈ ℳ× e ∈ ℳ× tais que = = (1 , 2 , ⋯ , ), com = { , } e 1 ≥ 2 ≥ ⋯ ≥ ≥ 0. Os ′ são chamados de valores singulares. As colunas de U e V são os vetores singulares da esquerda e direita, respectivamente.
68. Para = 3 e = 2: 11 12 21 22 31 32 = 11 12 13 21 22 23 31 32 33 1 0 0 2 0 0 11 12 21 22 Para = 2 e = 3: 11 12 13 21 22 23 = 11 12 21 22 1 0 0 0 2 0 11 12 13 21 22 23 31 32 33 Quando = , todas as matrizes serão quadradas. Abaixo mostrei dois exemplos em que ≠ .
69. Seja ∈ ℳ× uma matriz com elementos reais. Então existem matrizes ortogonais ∈ ℳ× e ∈ ℳ× tais que = = (1 , 2 , ⋯ , ), com = { , } e 1 ≥ 2 ≥ ⋯ ≥ ≥ 0. Vamos nos restringir à matrizes reais ∈ ℝ. Nesse caso o teorema fica:
70. Vejam, lá na scipy.linalg.
71. A continuação A transposta de V.
72. Um programinha simples que recebe uma matriz e devolve sua decomposição SVD:
73. Uma execução do programa:
74. Nesse caso a hiper-esfera unitária foi deformada num hiper-elipsoide com semi-eixos 1 = 6.678 … , 2 = 4.049 … , 3 = 2.288 … , 4 = 1.322 … . Perfeitamente, Loirinha!
75. Notem que os vetores 1 , 2 , 3 , 4 , que constituem as colunas da matriz e os vetores 1 , 2 , 3 , 4 que constituem as linhas da matriz são ortonormais. Sim Galileu, uma vez que: • ∙ = , • ∙ = .
76. Lembrem-se, matrizes ortogonais representam transformações rígidas, que não alteram o tamanho (norma) dos vetores. São rotações, reflexões ou inversões.
77. Exatamente Surfista! E, se eu entendi, as direções desses semi- eixos são dadas pelos vetores ortonormais 1 , 2 , 3 , 4 , que constituem as colunas da matriz : = 1 2 3 4
78. Só não consegui entender o papel dos vetores ortonormais 1 , 2 , 3 , 4 , que constituem as linhas da matriz : = 1 2 3 4 . É aí que entra a interpretação geométrica da fatoração SVD.
79. O teorema informa que = ∙ ∙ , com ∈ ℳ× , ∈ ℳ× , ∈ ℳ× e ∈ ℳ× . Isto significa que, como transformação linear, : ℝ → ℝ é a composta de três transformações lineares: ∶ ℝ → ℝ, ∶ ℝ → ℝ e ∶ ℝ → ℝ, como mostro na próxima transparência.
80. Veja no gráfico, Loirinha: ℝ ℝ ℝ ℝ Transformação rígida Transformação rígida Dilatação ou contração
81. Este programa calcula a decomposição SVD de uma matriz 2x2 e mostra o resultado graficamente.
82. Aí estão as diagonais que você tanto pediu, Loirinha.
83. Graficamente, para uma rotação de 30º temos:
84. E para uma outra matriz:
87. Mestres, se uma matriz é inversível, quais serão os valores principais de sua inversa −1 ? Assuma que a SVD de é = . Então −1 = −1 = −1−1()−1 e como e são ortogonais temos −1 = −1 .
88. ℝ ℝ ℝ ℝ ℝ ℝ ℝ ℝ −1 −1 Assim, se 1 , 2 , ⋯ , os valores principais de , os valores principais de −1 são Τ 1 1 , Τ 1 2 , ⋯ , Τ 1 . Compare os diagramas:
89. Na fórmula acima, fórmula, é qualquer sub matriz de ordem obtida de eliminando-se − linhas e − colunas de . O posto de , anotado () é definido por: = 1 ≤ ≤ min , ≠ 0 } . A definição de posto de uma matriz ∈ ℳ× é a seguinte:
90. O () é o número máximo de vetores coluna de linearmente independentes ou seja é a dimensão da imagem de : = ∈ ℝ y = Ax, x ∈ ℝ } O núcleo de uma matriz ∈ ℳ× é o subespaço ú = ∈ ℝ = 0 }. A dimensão de ú é denominada nulidade de , e anotada .
91. Este programa calcula a SVD de uma matriz A, seu posto e nulidade.
92. Uma execução do programa:
93. Calculei a SVD da matriz aí na frente. Vejam que um dos valores principais é zero. O posto da matriz é 2 e seu espaço nulo é unidimensional
94. Nesse caso, as seguintes propriedades são equivalentes: 1. é não-singular, 2. det ≠ 0, 3. ú = 0 , 4. = Para uma matriz quadrada de ordem valem as seguintes igualdades: 1. = posto(), 2. + = .
95. Podemos resolver um sistema linear = utilizando a fatoração SVD de . Sim o argumento é desenvolvido nas duas próximas transparências.
96. O diagrama abaixo ajuda a entender o algoritmo que usaremos. Nele = . = ฑ = = =
97. O algoritmo é o seguinte: 1. Calcular a fatoração SVD de : = 2. Resolver = . 3. Resolver = , quando possível. 4. Resolver = . ฑ = = =
98. No caso em que todos os ≠ 0, teremos uma única solução, calculável pelo algoritmo do Mestre. Vale a pena comentar que: 1. ortogonal e = ⟹ = . 2. = e ≠ 0, = 1, ⋯ , ⟹ = Τ , = 1, ⋯ , . 3. ortogonal e = ⟹ = .
99. Portanto, dispondo da decomposição em valores singulares da matriz , o algoritmo é (2). Prove a afirmação do Cabelos de Fogo Surfista!
100. Fiz um programa que calcula a solução de um sistema linear = , usando a SVD através do algoritmo descrito pelos Mestres.
101. O final de meu programa:
102. Uma execução do programa:
103. Continuação da execução do programa:
104. Agora uma execução para sendo 3 × 4: Mais incógnitas que equações.
105. Eis a solução!
106. Agora em 3D para entender melhor os conceitos de posto (e imagem) e nulidade (e espaço nulo) de uma matriz. A esfera unitária será levada num elipsoide.
107. O Mestre cortou um gomo da laranja para melhorar a visualização. Na realidade uma casca esférica, cortada para olharmos seu interior. A matriz A é diagonal. Note as escalas nos 3 eixos da imagem.
108. Fiz um programa para calcular a decomposição em valores singulares, SVD, de uma matriz A. Depois apliquei-o à matriz do gráfico anterior.
109. Esta outra matriz, além de deformar a esfera num elipsoide, ela também gira-o entorno da origem!
110. Calculei a SVD dessa matriz. Marquei o tamanho dos semi-eixos do elipsoide para você, Loirinha.
111. Para esta outra matriz A, a esfera vira um disco! Perdemos uma dimensão na imagem. Fiz duas fotos para vocês conferirem. Uma de perfil e, a outra, quase de frente.
112. Esta outra matriz possui dois valores singulares nulos.
113. O espaço imagem é unidimensional! A imagem da esfera vira um segmento de reta.
114. Tchau, até a próxima aula!