Orthogonality

有關於正交的一些筆記，放在這裡以備不時之需

Orthogonal vector & subspace

• Inner Product
  • given two vector , , we can say the inner product of x, y is:
  • Since is a scalar, that means
  • The length of vector x =
• Orthogonal vecotrs
  • x & y are orthogonal iff
    • recall Pythagoras theorem
• Orthogonal subspace
  • Suppose & are subspaces in
    • & are orthogonal if
    • for every in , in
• Orthogonal complement
  • Suppose is a subspace in
    • The orthogonal complement of () is the set of all vecotrs orthogonal to
• Orthogonal subspaces of
  • four subspace of
  • ,
  • ,
  • 假設有一個向量，且，則
    • , ( in , in )
  • 對於所有在中的向量，在中只有唯一一個能夠滿足
    • 我們可以假設還有另一個在中的向量滿足條件
    • 也就是說，,
    • 但同時
    • 一個向量要同時存在於列空間與零空間只有一個可能
      • 他自己是零向量
    • 結論，

Projection

• Projection onto a line
  • find the vector on the line through , where is minimum
  • Let's say
  • 因為我們要找能夠產生最短長度的，上面那個長度方程式又剛好是二次方程式
    • 最小值會在微分之後，斜率為零的位置
  • 從上面的結論可以看出
    • p的長度只與跟夾角有關
  • 整理一下式子
    • ()裡頭的是純量，但是[]裏頭的會是一個矩陣，我們給這個矩陣一個名字
  • 的幾點性質
    • is another projection matrix,
• 假設現在，另有一向量，我們要找一向量，使得與距離最短
  • 最短距離代表
  • • is n by n, ，換言之對稱
    • • if , let,
      • But is also in ,因為y是A的線性組合
    • ，
    • 講這麼多，我們只是要證明是full rank，可逆!
    • • projected vector
      • projection matrix
        • , ,
        • , ，只要滿足這兩個條件的矩陣就是投影矩陣
      • ，因為是的線性組合

Least-squares approximations

• A is (m is usually greater than n in pratice)
  • has solutions if b in
  • otherwise, the error vector
• We need to find s.t. is minimum
  • is called the least squares solution
• We know that
  • The normal equation:
• 如果無解
  • 就代表b並不在中
    • 但我們可以用投影(利用投影矩陣)的投過去，找到一個向量
      • 也就是說
    • 我們的誤差向量，重點是，因為我們希望要最小!
    • 想像一下的正交互補空間是誰?
      • ，所以我們的其實就在裡面
      • 回想一下前面講的，所以
• 所以我們現在的等式變成
• is our least squares solution

Orthogonal matrices

• Orthonormal vectors
  • The set of vecotrs is orthonormal if:
• Orthogonal matirces
  • An orthogonal matrix is square and has orthonormal columns, such that:
  • for example: Reflection matrix
  • u到底是啥?
    • 鏡射軸的法向量!
  • 假設今天我們要對一個正交矩陣求解
  • The projected vecotr
    • note only if Q is square
  • The projection matrix is
  • 檢查一下有沒有滿足投影矩陣的定義
    • P^T=P
    • 有滿足

Gram-Schmidt process

• Suppose we have some vectors in ，and these vectors are linear independent
  • we want to make these vectors orthonormal，is it possible?
  • yes, by Gram-Schmidt process
    • , is orthogonal and is our goal - orthonormal
  • 先來看，我們鎖定作為，然後將投影到上，藉此來找出與垂直的,
    • 我們可以整理一下計算的式子，因為跟都是純量，我們把它提出來
  • 現在我們有兩個相互垂直的，接著處理
    • 我們要把投影到上
    • 因此我們的投影矩陣為:
    • 所以
  • 整理一下我們會得到通用式
  • 用剛剛用過的那個抽出純量那招，我們可以得出一個結論
    • 就是的線性組合
  • 最後再把除上它的長度就會得到
• 經過Gram-Schmidt之後，我們有了就可以瘋狂內積求解了
  • 還記得嗎?
• 我們剛剛有提到，是一個的線性組合
  • u跟q只有長度不一樣，換言之
  • 這咚咚叫做QR factorization，也就是說
    • R is nn，and可逆
• Least-squares solution
  • 噫!又是你
  • 前情提要，我們想解，但發現解不開，於是改找近似
    • error vector
    • 與A裡面的所有向量垂直時，誤差最小
  • 現在Gram-Schmidt超人幫你把A轉好了
    • ，謝謝你我D超人
    • R是上三角矩陣，可逆，所以我們消去，最後得到
      • ，因為R是上三角矩陣，所以超級好解開