A First Course in Linear Algebra - Area

A First Course in Linear Algebra

A First Course in Linear Algebra

by
Robert A. Beezer
Department of Mathematics and Computer Science
University of Puget Sound

Version 2.00

Robert A. Beezer is a Professor of Mathematics at the University of Puget Sound, where he has been
on the faculty since 1984. He received a B.S. in Mathematics (with an Emphasis in Computer Science)
from the University of Santa Clara in 1978, a M.S. in Statistics from the University of Illinois at
Urbana-Champaign in 1982 and a Ph.D. in Mathematics from the University of Illinois at UrbanaChampaign in 1984. He teaches calculus, linear algebra and abstract algebra regularly, while his
research interests include the applications of linear algebra to graph theory. His professional website is
at http://buzzard.ups.edu.

Edition
Version 2.00.
July 16, 2008.

Publisher
Robert A. Beezer
Department of Mathematics and Computer Science
University of Puget Sound
1500 North Warner
Tacoma, Washington 98416-1043
USA
c 2004 by Robert A. Beezer.

Permission is granted to copy, distribute and/or modify this document under the terms of the GNU Free
Documentation License, Version 1.2 or any later version published by the Free Software Foundation;
with no Invariant Sections, no Front-Cover Texts, and no Back-Cover Texts. A copy of the license is
included in the appendix entitled “GNU Free Documentation License”.
The most recent version of this work can always be found at http://linear.ups.edu.

To my wife, Pat.

Contents
Table of Contents

vi

Contributors

vii

Definitions

viii

Theorems

ix

Notation

x

Diagrams

xi

Examples

xii

Preface

xiii

Acknowledgements

xix

Part C Core
Chapter SLE Systems of Linear Equations
WILA What is Linear Algebra? . . . . . . . . . . . . . . . . . . . .
LA “Linear” + “Algebra” . . . . . . . . . . . . . . . . . . . .
AA An Application . . . . . . . . . . . . . . . . . . . . . . . .
READ Reading Questions . . . . . . . . . . . . . . . . . . . .

EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . .
SSLE Solving Systems of Linear Equations . . . . . . . . . . . . . .
SLE Systems of Linear Equations . . . . . . . . . . . . . . . .
PSS Possibilities for Solution Sets . . . . . . . . . . . . . . . .
ESEO Equivalent Systems and Equation Operations . . . . . .
READ Reading Questions . . . . . . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . .
RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . .
MVNSE Matrix and Vector Notation for Systems of Equations
RO Row Operations . . . . . . . . . . . . . . . . . . . . . . .
RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . .
READ Reading Questions . . . . . . . . . . . . . . . . . . . .
vi

.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

2
2
2
3
7
8
9
10
10
11
12
18
19
22
25
25
29
31
41

EXC Exercises . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . .
TSS Types of Solution Sets . . . . . . . . . . .
CS Consistent Systems . . . . . . . . . . .
FV Free Variables . . . . . . . . . . . . . .
READ Reading Questions . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . .
HSE Homogeneous Systems of Equations . . . .
SHS Solutions of Homogeneous Systems .
NSM Null Space of a Matrix . . . . . . . .
READ Reading Questions . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . .
NM Nonsingular Matrices . . . . . . . . . . . .
NM Nonsingular Matrices . . . . . . . . .
NSNM Null Space of a Nonsingular Matrix
READ Reading Questions . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . .
SLE Systems of Linear Equations . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

Chapter V Vectors
VO Vector Operations . . . . . . . . . . . . . . . . . . . . . .
VEASM Vector Equality, Addition, Scalar Multiplication
VSP Vector Space Properties . . . . . . . . . . . . . . .
READ Reading Questions . . . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . .
LC Linear Combinations . . . . . . . . . . . . . . . . . . . . .
LC Linear Combinations . . . . . . . . . . . . . . . . . .
VFSS Vector Form of Solution Sets . . . . . . . . . . . .
PSHS Particular Solutions, Homogeneous Solutions . . .
READ Reading Questions . . . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . .
SS Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . .
SSV Span of a Set of Vectors . . . . . . . . . . . . . . . .
SSNS Spanning Sets of Null Spaces . . . . . . . . . . . .
READ Reading Questions . . . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . .
LI Linear Independence . . . . . . . . . . . . . . . . . . . . .
LISV Linearly Independent Sets of Vectors . . . . . . . .
LINM Linear Independence and Nonsingular Matrices . .
NSSLI Null Spaces, Spans, Linear Independence . . . . .
READ Reading Questions . . . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

CONTENTS

vii

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

42
46
52
52
57
59
61
63
65
65
68
70
71
73
75
75
77
80
81
83
87

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

88
88
89
91
93
94
95
96
96
101
111
114
115
117
119
119
125
129
130
133
139
139
144
146
148
150

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

Version 2.00

CONTENTS

SOL Solutions . . . . . . . . . . . . . . . .
LDS Linear Dependence and Spans . . . . . . .
LDSS Linearly Dependent Sets and Spans
COV Casting Out Vectors . . . . . . . . .
READ Reading Questions . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . .
O Orthogonality . . . . . . . . . . . . . . . . .
CAV Complex Arithmetic and Vectors . .
IP Inner products . . . . . . . . . . . . . .
N Norm . . . . . . . . . . . . . . . . . . .
OV Orthogonal Vectors . . . . . . . . . . .
GSP Gram-Schmidt Procedure . . . . . . .
READ Reading Questions . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . .
V Vectors . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

viii

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

154
160
160
162
169
170
172
175
175
176
179
181
183
187
188
189
190

Chapter M Matrices
MO Matrix Operations . . . . . . . . . . . . . . . . . . . . . . .
MEASM Matrix Equality, Addition, Scalar Multiplication
VSP Vector Space Properties . . . . . . . . . . . . . . . .
TSM Transposes and Symmetric Matrices . . . . . . . . .
MCC Matrices and Complex Conjugation . . . . . . . . .
AM Adjoint of a Matrix . . . . . . . . . . . . . . . . . . .
READ Reading Questions . . . . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . .
MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . .
MVP Matrix-Vector Product . . . . . . . . . . . . . . . . .
MM Matrix Multiplication . . . . . . . . . . . . . . . . . .
MMEE Matrix Multiplication, Entry-by-Entry . . . . . . .
PMM Properties of Matrix Multiplication . . . . . . . . .
HM Hermitian Matrices . . . . . . . . . . . . . . . . . . .
READ Reading Questions . . . . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . .
MISLE Matrix Inverses and Systems of Linear Equations . . . .
IM Inverse of a Matrix . . . . . . . . . . . . . . . . . . . .
CIM Computing the Inverse of a Matrix . . . . . . . . . .
PMI Properties of Matrix Inverses . . . . . . . . . . . . . .
READ Reading Questions . . . . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . .
MINM Matrix Inverses and Nonsingular Matrices . . . . . . . .
NMI Nonsingular Matrices are Invertible . . . . . . . . . .
UM Unitary Matrices . . . . . . . . . . . . . . . . . . . . .
READ Reading Questions . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

191
191
191
193
194
196
198
199
201
203
204
204
207
209
210
215
216
218
220
223
224
225
230
233
234
236
239
239
242
246
Version 2.00

CONTENTS

EXC Exercises . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . .
CRS Column and Row Spaces . . . . . . . . . . . . . . . .
CSSE Column Spaces and Systems of Equations . . .
CSSOC Column Space Spanned by Original Columns
CSNM Column Space of a Nonsingular Matrix . . . .
RSM Row Space of a Matrix . . . . . . . . . . . . . .
READ Reading Questions . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . .
FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . .
LNS Left Null Space . . . . . . . . . . . . . . . . . .
CRS Computing Column Spaces . . . . . . . . . . . .
EEF Extended echelon form . . . . . . . . . . . . . .
FS Four Subsets . . . . . . . . . . . . . . . . . . . . .
READ Reading Questions . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . .
M Matrices . . . . . . . . . . . . . . . . . . . . . . .
Chapter VS Vector Spaces
VS Vector Spaces . . . . . . . . . . . . . . . . .
VS Vector Spaces . . . . . . . . . . . . . .
EVS Examples of Vector Spaces . . . . . .
VSP Vector Space Properties . . . . . . .
RD Recycling Definitions . . . . . . . . . .
READ Reading Questions . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . .
S Subspaces . . . . . . . . . . . . . . . . . . . .
TS Testing Subspaces . . . . . . . . . . . .
TSS The Span of a Set . . . . . . . . . . .
SC Subspace Constructions . . . . . . . .
READ Reading Questions . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . .
LISS Linear Independence and Spanning Sets .
LI Linear Independence . . . . . . . . . . .
SS Spanning Sets . . . . . . . . . . . . . .
VR Vector Representation . . . . . . . . .
READ Reading Questions . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . .
B Bases . . . . . . . . . . . . . . . . . . . . . .
B Bases . . . . . . . . . . . . . . . . . . .
BSCV Bases for Spans of Column Vectors
BNM Bases and Nonsingular Matrices . .
OBC Orthonormal Bases and Coordinates

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

ix

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

247
248
249
249
252
254
256
262
263
267
271
271
272
275
277
286
287
289
293

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

295
295
295
297
301
305
305
306
307
308
309
313
319
319
321
322
325
325
330
334
335
337
339
343
343
346
348
350
Version 2.00

CONTENTS

READ Reading Questions . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . .
D Dimension . . . . . . . . . . . . . . . . . . . . . . .
D Dimension . . . . . . . . . . . . . . . . . . . .
DVS Dimension of Vector Spaces . . . . . . . . .
RNM Rank and Nullity of a Matrix . . . . . . . .
RNNM Rank and Nullity of a Nonsingular Matrix
READ Reading Questions . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . .
PD Properties of Dimension . . . . . . . . . . . . . . .
GT Goldilocks’ Theorem . . . . . . . . . . . . . .
RT Ranks and Transposes . . . . . . . . . . . . .
DFS Dimension of Four Subspaces . . . . . . . .
DS Direct Sums . . . . . . . . . . . . . . . . . . .
READ Reading Questions . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . .
VS Vector Spaces . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

Chapter D Determinants
DM Determinant of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . .
EM Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . .
DD Definition of the Determinant . . . . . . . . . . . . . . . . . . . .
CD Computing Determinants . . . . . . . . . . . . . . . . . . . . . .
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
PDM Properties of Determinants of Matrices . . . . . . . . . . . . . . . .
DRO Determinants and Row Operations . . . . . . . . . . . . . . . .
DROEM Determinants, Row Operations, Elementary Matrices . . . .
DNMMM Determinants, Nonsingular Matrices, Matrix Multiplication
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
D Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Chapter E Eigenvalues
EE Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . .
EEM Eigenvalues and Eigenvectors of a Matrix . . . . . . .
PM Polynomials and Matrices . . . . . . . . . . . . . . . . .
EEE Existence of Eigenvalues and Eigenvectors . . . . . . .
CEE Computing Eigenvalues and Eigenvectors . . . . . . . .
ECEE Examples of Computing Eigenvalues and Eigenvectors
READ Reading Questions . . . . . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . .
PEE Properties of Eigenvalues and Eigenvectors . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

x

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

354
355
356
359
359
363
365
367
368
369
371
373
373
377
378
379
384
385
386
388

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

389
389
389
394
395
399
400
401
402
402
407
409
411
412
413
414

.
.
.
.
.
.
.
.
.
.

415
415
415
417
419
422
426
432
434
435
439
Version 2.00

CONTENTS

ME Multiplicities of Eigenvalues . . . . .
EHM Eigenvalues of Hermitian Matrices
READ Reading Questions . . . . . . . .
EXC Exercises . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . .
SD Similarity and Diagonalization . . . . . . .
SM Similar Matrices . . . . . . . . . . .
PSM Properties of Similar Matrices . . .
D Diagonalization . . . . . . . . . . . . .
FS Fibonacci Sequences . . . . . . . . .
READ Reading Questions . . . . . . . .
EXC Exercises . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . .
E Eigenvalues . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

xi

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

444
447
449
450
451
453
453
454
456
464
466
467
468
472

Chapter LT Linear Transformations
LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . .
LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . .
LTC Linear Transformation Cartoons . . . . . . . . . . . . . . . .
MLT Matrices and Linear Transformations . . . . . . . . . . . . .
LTLC Linear Transformations and Linear Combinations . . . . .
PI Pre-Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
NLTFO New Linear Transformations From Old . . . . . . . . . .
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
ILT Injective Linear Transformations . . . . . . . . . . . . . . . . . . .
EILT Examples of Injective Linear Transformations . . . . . . . .
KLT Kernel of a Linear Transformation . . . . . . . . . . . . . . .
ILTLI Injective Linear Transformations and Linear Independence
ILTD Injective Linear Transformations and Dimension . . . . . .
CILT Composition of Injective Linear Transformations . . . . . .
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
SLT Surjective Linear Transformations . . . . . . . . . . . . . . . . . .
ESLT Examples of Surjective Linear Transformations . . . . . . .
RLT Range of a Linear Transformation . . . . . . . . . . . . . . .
SSSLT Spanning Sets and Surjective Linear Transformations . . .
SLTD Surjective Linear Transformations and Dimension . . . . .
CSLT Composition of Surjective Linear Transformations . . . . .
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . .
IVLT Invertible Linear Transformations . . . . . . . . . . . . . . .
IV Invertibility . . . . . . . . . . . . . . . . . . . . . . . . . . . .
SI Structure and Isomorphism . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

473
473
473
477
478
483
486
488
492
494
496
499
499
503
507
509
509
510
511
513
516
516
520
524
526
527
527
529
531
534
534
537
541
Version 2.00

CONTENTS

RNLT Rank and Nullity of a Linear Transformation . . . . . . . .
SLELT Systems of Linear Equations and Linear Transformations .
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . .
Chapter R Representations
VR Vector Representations . . . . . . . . . . . . . . . . . . . . . .
CVS Characterization of Vector Spaces . . . . . . . . . . . . .
CP Coordinatization Principle . . . . . . . . . . . . . . . . . .
READ Reading Questions . . . . . . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . .
MR Matrix Representations . . . . . . . . . . . . . . . . . . . . . .
NRFO New Representations from Old . . . . . . . . . . . . .
PMR Properties of Matrix Representations . . . . . . . . . . .
IVLT Invertible Linear Transformations . . . . . . . . . . . . .
READ Reading Questions . . . . . . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . .
CB Change of Basis . . . . . . . . . . . . . . . . . . . . . . . . . .
EELT Eigenvalues and Eigenvectors of Linear Transformations
CBM Change-of-Basis Matrix . . . . . . . . . . . . . . . . . .
MRS Matrix Representations and Similarity . . . . . . . . . .
CELT Computing Eigenvectors of Linear Transformations . .
READ Reading Questions . . . . . . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . .
OD Orthonormal Diagonalization . . . . . . . . . . . . . . . . . . .
TM Triangular Matrices . . . . . . . . . . . . . . . . . . . . .
UTMR Upper Triangular Matrix Representation . . . . . . . .
NM Normal Matrices . . . . . . . . . . . . . . . . . . . . . . .
OD Orthonormal Diagonalization . . . . . . . . . . . . . . . .
NLT Nilpotent Linear Transformations . . . . . . . . . . . . . . . .
NLT Nilpotent Linear Transformations . . . . . . . . . . . . .
PNLT Properties of Nilpotent Linear Transformations . . . . .
CFNLT Canonical Form for Nilpotent Linear Transformations
IS Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . . . . .
IS Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . .
GEE Generalized Eigenvectors and Eigenspaces . . . . . . . .
RLT Restrictions of Linear Transformations . . . . . . . . . .
JCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . .
GESD Generalized Eigenspace Decomposition . . . . . . . . .
JCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . .
CHT Cayley-Hamilton Theorem . . . . . . . . . . . . . . . . .
R Representations . . . . . . . . . . . . . . . . . . . . . . . . .
Appendix CN Computation Notes

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

xii

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

543
546
548
549
551
555

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

557
557
562
563
566
568
569
570
576
581
586
590
591
594
603
603
604
610
616
624
626
627
631
631
633
636
637
641
641
646
651
659
659
663
667
677
677
684
698
699
701
Version 2.00

CONTENTS

MMA Mathematica . . . . . . . . . . . . . . . . .
ME.MMA Matrix Entry . . . . . . . . . . .
RR.MMA Row Reduce . . . . . . . . . . . .
LS.MMA Linear Solve . . . . . . . . . . . .
VLC.MMA Vector Linear Combinations . .
NS.MMA Null Space . . . . . . . . . . . . .
VFSS.MMA Vector Form of Solution Set . .
GSP.MMA Gram-Schmidt Procedure . . . .
TM.MMA Transpose of a Matrix . . . . . .
MM.MMA Matrix Multiplication . . . . . .
MI.MMA Matrix Inverse . . . . . . . . . . .
TI86 Texas Instruments 86 . . . . . . . . . . . . .
ME.TI86 Matrix Entry . . . . . . . . . . . .
RR.TI86 Row Reduce . . . . . . . . . . . .
VLC.TI86 Vector Linear Combinations . . .
TM.TI86 Transpose of a Matrix . . . . . . .
TI83 Texas Instruments 83 . . . . . . . . . . . . .
ME.TI83 Matrix Entry . . . . . . . . . . . .
RR.TI83 Row Reduce . . . . . . . . . . . .
VLC.TI83 Vector Linear Combinations . . .
SAGE SAGE: Open Source Mathematics Software
R.SAGE Rings . . . . . . . . . . . . . . . .
ME.SAGE Matrix Entry . . . . . . . . . . .
MI.SAGE Matrix Inverse . . . . . . . . . . .
TM.SAGE Transpose of a Matrix . . . . . .
E.SAGE Eigenspaces . . . . . . . . . . . . .
Appendix P Preliminaries
CNO Complex Number Operations . . . . . .
CNA Arithmetic with complex numbers
CCN Conjugates of Complex Numbers .
MCN Modulus of a Complex Number . .
SET Sets . . . . . . . . . . . . . . . . . . . .
SC Set Cardinality . . . . . . . . . . . .
SO Set Operations . . . . . . . . . . . .
PT Proof Techniques . . . . . . . . . . . . . .
D Definitions . . . . . . . . . . . . . . .
T Theorems . . . . . . . . . . . . . . . .
L Language . . . . . . . . . . . . . . . .
GS Getting Started . . . . . . . . . . . .
C Constructive Proofs . . . . . . . . . .
E Equivalences . . . . . . . . . . . . . .
N Negation . . . . . . . . . . . . . . . .
CP Contrapositives . . . . . . . . . . . .
CV Converses . . . . . . . . . . . . . . .
CD Contradiction . . . . . . . . . . . . .
U Uniqueness . . . . . . . . . . . . . . .
ME Multiple Equivalences . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

xiii

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

701
701
701
702
702
703
703
704
705
705
706
706
706
706
707
707
707
707
708
708
708
708
709
710
710
710

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

712
712
712
714
715
716
717
718
720
720
721
721
722
723
723
724
724
725
725
726
726
Version 2.00

CONTENTS

PI Proving Identities . . . .
DC Decompositions . . . . .
I Induction . . . . . . . . .
P Practice . . . . . . . . . .
LC Lemmas and Corollaries

.
.
.
.
.

727
727
728
729
729

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

732
736
741
746
750
754
758
763
767
771
775
780
784
788
791
794
797
799
803
806
809
811
814
816
818

.
.
.
.
.
.
.
.
.
.
.

821
821
822
823
823
825
825
825
825
826
826
826

F Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

828

Appendix A
A . . . .
B . . . .
C . . . .
D . . . .
E . . . .
F . . . .
G . . . .
H . . . .
I
. . . .
J . . . .
K . . . .
L . . . .
M . . . .
N . . . .
O . . . .
P . . . .
Q . . . .
R . . . .
S . . . .
T . . . .
U . . . .
V . . . .
W
. . .
X . . . .

Archetypes
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

Appendix GFDL GNU Free Documentation License
1. APPLICABILITY AND DEFINITIONS . . . . . . . . .
2. VERBATIM COPYING . . . . . . . . . . . . . . . . .
3. COPYING IN QUANTITY . . . . . . . . . . . . . . . .
4. MODIFICATIONS . . . . . . . . . . . . . . . . . . . .
5. COMBINING DOCUMENTS . . . . . . . . . . . . . .
6. COLLECTIONS OF DOCUMENTS . . . . . . . . . . .
7. AGGREGATION WITH INDEPENDENT WORKS . .
8. TRANSLATION . . . . . . . . . . . . . . . . . . . . . .
9. TERMINATION . . . . . . . . . . . . . . . . . . . . . .
10. FUTURE REVISIONS OF THIS LICENSE . . . . . .
ADDENDUM: How to use this License for your documents

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.

xiv

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

Part T Topics

Version 2.00

CONTENTS

F Fields . . . . . . . . . . . . . . . . . . . . . . . . . .
FF Finite Fields . . . . . . . . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . .
T Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . . .
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . .
HP Hadamard Product . . . . . . . . . . . . . . . . . . . . .
DMHP Diagonal Matrices and the Hadamard Product
EXC Exercises . . . . . . . . . . . . . . . . . . . . . .
VM Vandermonde Matrix . . . . . . . . . . . . . . . . . . .
PSM Positive Semi-definite Matrices . . . . . . . . . . . . .
PSM Positive Semi-Definite Matrices . . . . . . . . . .
EXC Exercises . . . . . . . . . . . . . . . . . . . . . .
Chapter MD Matrix Decompositions
ROD Rank One Decomposition . . . . . . . . . . .
TD Triangular Decomposition . . . . . . . . . . . .
TD Triangular Decomposition . . . . . . . . .
TDSSE Triangular Decomposition and Solving
CTD Computing Triangular Decompositions .
SVD Singular Value Decomposition . . . . . . . . .
MAP Matrix-Adjoint Product . . . . . . . . .
SVD Singular Value Decomposition . . . . . .
SR Square Roots . . . . . . . . . . . . . . . . . . .
SRM Square Root of a Matrix . . . . . . . . .
POD Polar Decomposition . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

xv

.
.
.
.
.
.
.
.
.
.
.
.
.
.

828
829
834
836
837
841
842
843
845
848
849
853
853
856

. . . . .
. . . . .
. . . . .
Systems
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .

. . . . . . . .
. . . . . . . .
. . . . . . . .
of Equations
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

857
858
863
863
866
867
871
871
875
877
877
881

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

884
885
888
889

Part A Applications
CF Curve Fitting . . .
DF Data Fitting
EXC Exercises .
SAS Sharing A Secret

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

Version 2.00

Contributors
Beezer, David. Belarmine Preparatory School, Tacoma
Beezer, Robert. University of Puget Sound http://buzzard.ups.edu/
Bucht, Sara. University of Puget Sound
Canfield, Steve. University of Puget Sound
Hubert, Dupont. Créteil, France
Fellez, Sarah. University of Puget Sound
Fickenscher, Eric. University of Puget Sound
Jackson, Martin. University of Puget Sound http://www.math.ups.edu/m̃artinj
Hamrick, Mark. St. Louis University
Linenthal, Jacob. University of Puget Sound
Million, Elizabeth. University of Puget Sound
Osborne, Travis. University of Puget Sound
Riegsecker, Joe. Middlebury, Indiana joepye (at) pobox (dot) com
Phelps, Douglas. University of Puget Sound
Shoemaker, Mark. University of Puget Sound
Zimmer, Andy. University of Puget Sound

xvi

Definitions

Section WILA
Section SSLE
SLE
System of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
ESYS
Equivalent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
EO
Equation Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10
12
13

Section RREF
M
Matrix . . . . . . . . . . . . . . . . . . .
CV
Column Vector . . . . . . . . . . . . . . .
ZCV
Zero Column Vector . . . . . . . . . . . .
CM
Coefficient Matrix . . . . . . . . . . . . .
VOC
Vector of Constants . . . . . . . . . . . .
SOLV
Solution Vector . . . . . . . . . . . . . . .
MRLS
Matrix Representation of a Linear System
AM
Augmented Matrix . . . . . . . . . . . . .
RO
Row Operations . . . . . . . . . . . . . .
REM
Row-Equivalent Matrices . . . . . . . . .
RREF
Reduced Row-Echelon Form . . . . . . .
RR
Row-Reducing . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.

25
26
26
26
26
27
27
28
29
29
31
41

Section TSS
CS
Consistent System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
IDV
Independent and Dependent Variables . . . . . . . . . . . . . . . . . . . . . . . .

52
54

Section HSE
HS
Homogeneous System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
TSHSE
Trivial Solution to Homogeneous Systems of Equations . . . . . . . . . . . . . . .
NSM
Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

65
65
68

Section NM
SQM
Square Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
NM
Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
IM
Identity Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

75
75
76

Section VO
VSCV
Vector Space of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . .
CVE
Column Vector Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
CVA
Column Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

88
89
90

xvii

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

DEFINITIONS

CVSM

xviii

Column Vector Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . .

90

Section LC
LCCV
Linear Combination of Column Vectors . . . . . . . . . . . . . . . . . . . . . . .

96

Section SS
SSCV
Span of a Set of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . .

119

Section LI
RLDCV Relation of Linear Dependence for Column Vectors . . . . . . . . . . . . . . . . .
LICV
Linear Independence of Column Vectors . . . . . . . . . . . . . . . . . . . . . . .

139
139

Section LDS
Section O
CCCV
Complex Conjugate of a Column Vector
IP
Inner Product . . . . . . . . . . . . . .
NV
Norm of a Vector . . . . . . . . . . . . .
OV
Orthogonal Vectors . . . . . . . . . . .
OSV
Orthogonal Set of Vectors . . . . . . . .
SUV
Standard Unit Vectors . . . . . . . . . .
ONS
OrthoNormal Set . . . . . . . . . . . . .

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

175
176
179
181
181
181
186

Section MO
VSM
Vector Space of m × n Matrices
ME
Matrix Equality . . . . . . . . .
MA
Matrix Addition . . . . . . . . .
MSM
Matrix Scalar Multiplication . .
ZM
Zero Matrix . . . . . . . . . . .
TM
Transpose of a Matrix . . . . . .
SYM
Symmetric Matrix . . . . . . . .
CCM
Complex Conjugate of a Matrix
A
Adjoint . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

191
191
192
192
194
194
195
196
198

Section MM
MVP
Matrix-Vector Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
MM
Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
HM
Hermitian Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

204
207
216

Section MISLE
MI
Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

224

Section MINM
UM
Unitary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

242

Section CRS
CSM
Column Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
RSM
Row Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

249
256

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

Version 2.00

DEFINITIONS

xix

Section FS
LNS
Left Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
EEF
Extended Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

271
275

Section VS
VS
Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

295

Section S
S
Subspace . . . . . .
TS
Trivial Subspaces .
LC
Linear Combination
SS
Span of a Set . . . .

.
.
.
.

308
312
313
314

Section LISS
RLD
Relation of Linear Dependence . . . . . . . . . . . . . . . . . . . . . . . . . . . .
LI
Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
TSVS
To Span a Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

325
325
330

Section B
B
Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

343

Section D
D
Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
NOM
Nullity Of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
ROM
Rank Of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

359
365
365

Section PD
DS
Direct Sum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

379

Section DM
ELEM
Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
SM
SubMatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
DM
Determinant of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

389
394
394

Section PDM
Section EE
EEM
Eigenvalues and Eigenvectors of a Matrix
CP
Characteristic Polynomial . . . . . . . . .
EM
Eigenspace of a Matrix . . . . . . . . . .
AME
Algebraic Multiplicity of an Eigenvalue .
GME
Geometric Multiplicity of an Eigenvalue .

.
.
.
.
.

415
422
424
426
426

Section PEE
Section SD
SIM
Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
DIM
Diagonal Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
DZM
Diagonalizable Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

453
456
456

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.

Version 2.00

DEFINITIONS

Section LT
LT
Linear Transformation . . . . . . . . . . . .
PI
Pre-Image . . . . . .