Share
Embed
Álgebra linear computacional II
Resolução de sistemas lineares com as rotinas da scipy.linalg (matriz genérica,, de banda, e simétrica e definida positiva) e detalhes do método de eliminação, de Gauss, com argumentos para efetuar pivotamento parcial por coluna. Programação tradicional para obter a solução, sem pivotamento
Paulo Bordoni
July 05, 2013
Transcript
93 slides
-
Pois é Surfista, a história mostra que, desde 1947, a
comunidade de Computação Científica, tem trabalhado arduamente no desenvolvimento da Álgebra Linear Computacional. Em particular na resolução de sistemas lineares. Mestre, achei o caminho das pedras. Muito mais que isto, percebi claramente a importância das bibliotecas BLAS e LAPACK ! -
Mestre, no tocante a resolução de sistemas lineares, proponho adotarmos
a tática de operacionalizar primeiro. Depois vamos analisar os aspectos teóricos. Não gosto muito dessa ideia, mas como acredito na sua experiência didática, concordo! -
Voltando então às rotinas básicas do Tutorial, foquemos nossa atenção
no tópico “Resolvendo sistemas lineares”. Rotinas básicas Achando a inversa Resolvendo sistemas lineares Achando o determinante Calculando normas Resolvendo problemas lineares de mínimos quadrados e pseudo-inversas Inversa generalizada -
Surfista, a orientação do Tutorial da scipy.linalg é usar a
solve( ) [e não a inversa, inv( )] para obter a solução de um sistema linear. -
O que é estabilidade numérica, Mestre? Se é mais rápido
é porquê envolve menos operações, mas como contá-las? -
O Surfista está certo, Mestra. Eis aí uma razão para
não operacionalizarmos às cegas. Resmungão... Loirinha querida, mais adiante estudaremos erros, propagação de erros e estabilidade numérica. -
Recortei as rotinas básicas na Referência do scipy.linalg para resolução
de sistemas lineares. Além da solve( ), existem rotinas apropriadas para matrizes com característica especiais. -
Aliás existe toda uma fauna de matrizes = [ ]
cujas definições devemos recordar: Quando todos os seus elementos fora da diagonal são nulos: ≠ ⟹ = 0 Diagonal Quando todos os elementos acima da diagonal são nulos: < ⟹ = 0 Triangular inferior Quando todos os elementos abaixo da diagonal são nulos: > ⟹ = 0 Triangular superior -
Exemplos: −2 0 0 0 3 0 0 0 6
Diagonal 3x3 3 0 0 0 0 3 0 0 1 8 4 2 2 0 5 1 Triangular inferior 4x4 1 4 2 5 2 0 3 1 0 7 0 0 0 0 0 0 5 0 0 9 2 0 3 1 4 Triangular superior 5x5 -
Continuando no zoológico: Quando é igual à sua transposta: =
. Simétrica Quando satisfaz: ≠ 0 ⟹ = > ,=1 0 Definida positiva Quando sua transposta é a inversa: = −1 ⟺ = = Ortogonal -
1. + = + 2. ()= 3. = 4. (
)= 5. = Observações: • De 1 e 2 decorre que matrizes simétricas constituem um subespaço do espaço de todas as matrizes. • A 5 significa que a matriz produto é uma matriz simétrica. Algumas propriedades da transposição: -
O produto de matrizes simétricas não é uma matriz simétrica!.
E, além disso, também não é comutativo. Vejam os contra-exemplos! 3 2 2 1 0 1 1 −2 = 2 −1 1 0 0 1 1 −2 3 2 2 1 = 2 1 −1 0 -
A matriz A = 1 0 0 0 −2 0
0 0 3 não é definida-positiva, pois se = temos: = 1 0 0 0 −2 0 0 0 3 = = −2 3 = 2 − 22 + 32 e escolhendo = 1 2 0 obtemos = 0. -
A matriz = 5 −1 2 −1 2 2 2
2 3 é definida-positiva, pois para = temos: = − 2 + + 2 2 + 2 + 2, uma soma de quadrados, que só se anula para = = 0 0 0 . Surfista, confira essa afirmação da Mestra! -
= sen cos 0 −cos sen 0 0 0 1
sen − cos 0 cos sen 0 0 0 1 = 1 0 0 0 1 0 0 0 1 Loirinha, agora é tua vez de conferir a afirmação da Mestra! A matriz = sen − cos 0 cos sen 0 0 0 1 é ortogonal pois : -
Este programa recebe uma matriz A e um vetor b.
Em seguida, chama solve(A,b) para resolver o sistema linear A*x = b. -
Eis uma forma de calcular a inversa de uma matriz
triangular superior. -
Mestra esse algoritmo para achar a inversa é válido para
qualquer tipo de matriz, não? Sim minha filha e é o mais rápido! Mas você tem que usar o solve( ) para um sistema cuja matriz não possui características particulares. -
Uma matriz = [ ] possui banda inferior k quando
= 0 para − > . E possui banda superior k, quando = 0 para − > . = × × 0 0 0 × × × 0 0 × 0 0 × × 0 × × 0 × × × × × × Eis uma matriz A com banda inferior 2 (em laranja) e banda superior 1 (em verde): -
= × × 0 0 0 × × × 0
0 × 0 0 × × 0 × × 0 × × × × × × = ∎ × × × × × × × × × × × × × × × × ∎ ∎ ∎ Se A é uma matriz 100x100 teríamos 10.000 elementos para armazenar. Nesse armazenamento de banda precisaremos apenas de 4x100-4 ∎ ∎ ∎ ∎ A ação para armazenar uma matriz de banda como essa é “esquecer os zeros e deixar cair”! Vejam só: -
Esta é rotina específica da scipy.linalg para resolver sistemas lineares
cuja matriz é de banda. -
Um zoológico bem complexo: A adjunta de = [ ],
anotada AH, é definida por = [ ]. É a conjugada da transposta. Adjunta Quando satisfaz: = . É a correspondente de uma matriz simétrica, com elementos complexos, Hermitiana, ou auto-adjunta Quando sua adjunta é a inversa: = −1 ⟺ = = Unitária -
Álgebra linear Apresentação Rotinas básicas Decomposições Funções matriciais Matrizes especiais
Agora vamos explorar as fatorações (Decompositions) existentes na scipy.linalg. -
Esta é uma das rotinas do scipy.linalg para realizar a
fatoração PLU. Ela só realiza a fatoração; não apresenta a solução. -
A rotina pode efetuar o pivoteamento por linha (ou não).
Ela retorna: • as três matrizes P, L e U • ou apenas duas, a PL que é a triangular inferior permutada e a U. -
Esta é uma rotina alternativa à anterior. Ela recebe a
matriz A e retorna uma matriz contendo a fatoração LU e um vetor contendo os índices de pivoteamento. -
Esta rotina recebe a fatorada LU e o vetor piv
fornecidos pela LU_factor( ). Recebe também o termo independente b e retorna a solução x. -
Carl Friedrich Gauss 30/04/1777 – 23/02/1855 Vamos encerrar este conjunto
de transparências detalhando o famoso Método de Eliminação, de Gauss. Na verdade ele não foi criado por Gauss. Ele já aparece no cap. 8 do livro chinês “Os nove capítulos sobre a arte matemática”, composto por gerações de mestres ao longo dos séculos X a II A.C. -
11 1 + 12 2 + ⋯ + 1 =
1 21 1 + 22 2 + ⋯ + 2 = 2 ⋯ 1 1 + 2 2 + ⋯ + = Vamos agora descrever como resolver um sistema linear como o abaixo, pelo método de eliminação. Primeiro só descreveremos o processo em linhas gerais, usando as equações. -
Em cada etapa utilizaremos operações elementares sobre as linhas. Elas
são três: Somar ou subtrair linhas Multiplicar uma linha por um número real Trocar duas linhas de posição Nosso objetivo será atingido após várias etapas consecutivas. -
11 1 + 12 2 + ⋯ + 1 =
1 21 1 + 22 2 + ⋯ + 2 = 2 ⋯ 1 1 + 2 2 + ⋯ + = Na 1ª etapa, eliminaremos os termos envolvendo 1 nas equações após a 1ª, efetuando operações elementares nas linhas. 11 1 + 12 2 + ⋯ + 1 = 1 22 2 + ⋯ + 2 = 2 ⋯ 2 2 + ⋯ + = Os coeficientes e os termos independentes mudam após essas operações – por isto o ~ . -
11 1 + 12 2 + ⋯ + 1 =
1 22 2 + ⋯ + 2 = 2 ⋯ 2 2 + ⋯ + = Repetimos o processo para o subsistema sem a 1ª linha: Um sistema com n-1 equações a n-1 incógnitas. -
Repetindo n-1 vezes o processo chegamos a um sistema triangular
superior. 11 1 + 12 2 + ⋯ + 1 = 1 = 22 2 + ⋯ + 2 = 2 ⋯ Todos os coeficientes e termos independentes são diferentes, exceto na 1ª linha. -
O último passo consiste em resolver o sistema triangular. Algo
extremamente simples. O processo consiste, portanto, em eliminarmos incógnitas nas equações. Daí o nome: processo de eliminação. Alguns textos falam em escalonamento. -
Sim! Como é feita, de fato, a eliminação? Mestres, vocês
descreveram o processo em linhas gerais! Só papo... -
11 12 ⋯ 1 21 22 ⋯ 2 ⋮ 1
⋮ 2 ⋱ ⋮ ⋯ 1 2 ⋮ = 1 2 ⋮ A x = b Pois é... Agora vamos refazer tudo usando a forma matricial do sistema linear: -
Acrescentando o vetor b à última coluna da matriz A,
obtemos uma matriz referida na literatura como “matriz aumentada”. | = 11 12 ⋯ 1 1 21 22 ⋯ 2 2 ⋮ 1 ⋮ 2 ⋱ ⋮ ⋮ ⋯ -
| = 11 12 ⋯ 1 1 21 22 ⋯
2 2 ⋮ 1 ⋮ 2 ⋱ ⋮ ⋮ ⋯ Linha 2 O processo de eliminação consiste em efetuar as operações elementares sobre as linhas da matriz aumentada. Linha 1 Linha n -
As operações elementares são: Linha 1 Linha 1 Linha 2
Linha 2 Linha 1 21 /11 × − Linha 3 Linha 3 Linha 1 31 /11 × − Linha n Linha n Linha 1 1 /11 × − Multiplicadores -
O final do processo é o mesmo: uma matriz triangular
superior. Repetimos apenas para evidenciar que não precisamos envolver as incógnitas no processo – só os vetores linha da matriz aumentada. | = 11 12 ⋯ 1 1 22 ⋯ 2 2 ⋱ ⋮ ⋮ Observem que todos os elementos da matriz triangular aumentada são, eventualmente, diferentes dos iniciais. -
Quando pensamos nas equações, fica óbvio que as operações elementares
não alteram a solução. Isto não é tão óbvio quando olhamos para a matriz aumentada. -
1 /11 31 /11 Multiplicadores Observem que os multiplicadores foram
escolhidos de forma a anular todos os 1 abaixo do 11 . O 11 é intitulado “pivot”. Essas operações exigem que o pivot seja não-nulo: 11 ≠ 0. Caso 11 = 0 trocamos a linha 1 com outra onde 1 ≠ 0. -
Um outro motivo é oriundo da maneira como números reais
são tratados no computador. A representação IEEE 754 de ponto flutuante, no padrão single, será ilustrada na próxima transparência. Evitar divisão por zero não é a única razão para efetuar trocas de linhas! -
1 bit para o sinal 4 bytes = 32 bits
8 bits para o expoente 23 bits para a fração O padrão single na representação IEEE 754 possui 32 bits, distribuídos da seguinte forma: -
No single, a fração é constituída por 23 bits: 1
2 ⋯ 23 com = 0 1 . 23 bits para a fração E o valor da fração é dado por: = 1 2−1 + 2 2−2 + ⋯ + 23 2−23, sendo o restante dos bits desprezado! -
Acreditem: A maioria esmagadora dos números reais na representação IEEE
754 de ponto flutuante, no padrão single, possui um erro na 24 casa binária: 2−24. O Mestre acabou de afirmar que a precisão de um single é de 23 bits. -
Multiplicar por 2 desloca esse erro p casas binárias para
a esquerda. Perdem-se p bits na precisão! Impressionante Sherlock, nunca tinha ouvido falar disto! -
Retornando ao método da eliminação, de Gauss, e voltando a
colocar os holofotes no pivot. -
1 /11 31 /11 Multiplicadores Assumam que o pivot 11
= 10−3. Então ao dividirmos por 11 estaremos multiplicando por 1.000 (≅ 1024 = 210) os elementos 21 , 31 , … , 1 . 11 ≅ 2−10 -
1 /11 31 /11 Multiplicadores Em outras palavras, Mestre, os
multiplicadores 21 /11 , 31 /11 , … , 1 /11 perderam 10 dos seus 23 preciosos bits de precisão. 11 ≅ 2−10 -
Que horror Mestra. É por isso que os pivots tem
que ser (homens) grandes! Sim minha Loirinha querida! Despreze pivots pequenos, eles estragam o jogo. Sempre vá em busca dos maiores possíveis. -
Uma forma de minimizar a propagação de erro consiste em
localizar o 1 de maior valor absoluto e trocar a linha onde ele está com a linha 1. Esta é a estratégia conhecida na literatura como pivoteamento parcial por coluna. Na realidade estamos apenas apontando a “ponta do iceberg”. Analisaremos tudo isto em detalhes, mais adiante! -
Antes que você reclame, Surfista, vamos implementar um programa para
o método de eliminação. -
Agora o famoso método de eliminação de Gauss. Porque eliminaram
o Gauss, Mestre? Coitado! -
Primeiro veremos a programação no estilo clássico para o método
de eliminação, de Gauss -
Para facilitar o entendimento, vamos mostrar 1º a execução do
programa. Depois discutiremos seu código. Estes são a matriz A e o vetor b de nosso exemplo. -
pivot Eis a 1ª etapa do processo de eliminação. As
operações elementares visam colocar zeros na 1ª coluna, abaixo do pivot. -
Mestre, seu programa está errado! A matriz A atualizada deveria
ter sido esta aqui, com zeros abaixo do pivot. Mil perdões Loirinha! Esqueci de dizer que usei o espaço dos zeros para guardar os multiplicadores. -
A 2ª etapa do processo de eliminação. As operações elementares
visam colocar zeros na 2ª coluna, abaixo do pivot. Novamente, guardei os multiplicadores no lugar dos zeros. -
A etapa final do processo de eliminação. A solução x
foi obtida por retro-substituição. -
Uma foto da parte final do processo: • A matriz
A foi transformada na matriz triangular superior que eu marquei em azul. • E os multiplicadores estão em verde, abaixo da diagonal. -
Esse é o início do código. Nada excepcional. Apenas definições
básicas para iniciar. -
Aqui são definidas duas funções que vão mostrar o que
está acontecendo. Didática ... -
Esta é a fase da eliminação. O loop em k
define as etapas do processo de eliminação. É definido o pivot e, se ele é não-nulo, criamos uma matriz-coluna, Mult, para guardar os multiplicadores.. -
No loop em j atualizamos cada elemento da linha i
efetuando a operação elementar sobre ele. O loop em i percorre as linhas abaixo do pivot e define um multiplicador para cada linha. -
Ainda dentro do loop em i efetuamos a operação elementar
sobre o elemento da linha i do termo independente b. E guardamos esse multiplicador na linha i da coluna do pivot da matriz A e também na linha i do vetor Mult. -
Agora a fase da retro-substituição. • Da última equação achamos
diretamente o valor de x n . • Substituímos esse valor na penúltima equação e achamos o valor de x n-1 . • Assim por diante, de trás para frente, até chegar à 1ª equação, de onde achamos x 1 .