Aslında lineer denklem sistemlerini çözebilecek iyi bilinen analitik yöntemlerimiz var. Ancak bu yöntemler iyi biliniyor olmasına rağmen, iş uygulamaya gelince kimi durumlarda makul bir sürede çözüm elde etmek imkansız. Buradaki kritik nokta lineer denklem sisteminin kaç denklemden oluştuğu. Elbette 2-3 deklemden oluşan lineer denklem sistemini kağıt-kalem ile çözebilirsiniz. Biraz sabırlı iseniz bu sayıyı daha da artırabilirsiniz. Elinizde analitik çözüm yapabilen programlar varsa 8-10 sayıdaki lineer denklemden oluşan sistemi kolaylıkla çözebilirsiniz. Programınızın yapabilirliğine göre bu sayı elbette daha da büyüyebilir.
Lineer denklem sistemi matris-vektör ile temsil edildiğinde, elimizde N denklem için N boyutlu bilinmeyenler vektörü, N boyutlu deklemlerin sağ tarafları vektörü ve NXN boyutlu katsayılar matrisi olmuş olur. Problem çözümü sistemdeki katsayıların elemanı olduğu matrsin tersinin bulunması ile mümkün olur. Elbette sadece bu matrisin tersinin bulunması çözüm için tek yol değildir. Matrisin özdeğerlerinin bulunması, matrisin üçgenleştirilmesi gibi başka yaklaşımlar da kullanılabilir. Öyle ya da böyle, matris üzerindeki bu işlemler, matris boyutu büyüdükçe gittikçe daha fazla uzun zaman hale gelir. Bu zamanı etkileyen faktörlerden diğeri de katsayılar matrisinin ne kadar dolu olduğudur. Seyrek (sparse) matrislerde bu işlemler daha kısa sürmektedir, yani sistemdeki her denklemin içinde illa ki tüm bilinmeyenlerin olmadığı durumda.
Bu nedenlerle, analitik çözüm büyük denklem sistemleri için mümkün değildir. Nümerik yöntemler bu aşamada imdadımıza yetişir... Elbette nümerik çözümde de matrislerin büyüklüğü ya da seyrek olması-olmaması çözüm zamanını ya da çözümün olanklı olup olmaması durumunu etkiler. Ancak analitik çözüm arıyorsanız örneğin 20 denklemli bir sistem sizi bir hayli yoracakken, nümerik çözümde 500 gibi bir sayı pek yorucu olmayacaktır.