Eines gleich vorweg: es ist meist nicht wirklich einfach festzustellen welche Komponente streikt, die wenigsten von uns haben vermutlich übrige Mainboards, Festplatten, Grafikkarten, Netzteile, Arbeitsspeicher oder CPUs griffbereit, um diese der Reihe nach zu tauschen und somit dem Fehler auf die Spur zu kommen. (Try and Error)
Sinnvoller ist es sicherlich die einzelnen Komponenten mit den passenden Testprogrammen zu überprüfen.

Laptop

Bei Laptops (Notebooks) können meist nur die Festplatte, oder der Arbeitsspeicher getauscht werden, ein defektes Display oder Mainboard bedeuten da meist einen Totalschaden.

PC

Einfacher hat es da der Stand PC Besitzer:  Abgesehen davon, dass der Monitor ein eigenes Gerät ist, können auch noch das Netzteil, die Grafikkarte oder die CPU ausgetauscht werden, selbst ein defektes Mainboard ist nicht unbedingt das Aus für den Computer.

Systemboard

Zugegeben, ist es schwierig das Mainboard (Systemboard) eines Computers zu überprüfen, da die meisten Hardwarehersteller keine geeigneten Mainboardtests zur Verfügung stellen.
Der Verdacht eines defekten Mainboards erhärtet sich erst, wenn alle andern Komponenten getestet und somit ausgeschlossen werden können.

Softwareprobleme

Um Software- oder Treiberprobleme auszuschließen, kann das System testweise auch mit bootfähigen CD / DVDs gestartet werden (Live-System). z.B. mit der Ubuntu Setup DVD oder einem bootfähigen USB Stick, siehe:  bootfähiger Live-USB Stick mit Ubuntu

Ein anderer Ansatz ist, den PC auf eine andere Festplatte neu zu installieren: bei Hardwarefehlern kann es vorkommen, dass die Setuproutine bereits einen Fehler bringt. Des weiteren können mit einer Neuinstallation diverse Systemfehler bereinigt werden, welche sich eventuell über die Zeit eingeschlichen haben.

BIOS / booten

Eventuell lassen sich Hardwarefehler auch beseitigen, indem im BIOS die Default Einstellungen geladen werden.

Kommt beim Booten des Computers kein Bild mehr, gibt der Rechner oft Beep Töne von sich, was die Töne im einzelnen zu bedeuten haben, kann hier nachgelesen werden: BIOS Beep Codes

Gibt der Rechner keinen Laut mehr von sich und es wird  kein Bild angezeigt, hilft vielleicht eine spezielle PCI / PCI-Express Diagnosekarte, mit deren Hilfe der Bootcode von beinahe allen Mainboards ausgelesen werden kann.
Einige Mainboards haben eine Bootdiagnose bereits integriert. Die Bootcodes werden dann auf einer 7Segmentanzeige am Mainboard angezeigt. Ein eventueller Fehler bzw. der Status des Bootvorganges kann im Handbuch des Mainboards nachgeschlagen werden.

Prozessor

Der Prozessor ist relativ selten defekt,
wenn doch, würde sich ein defekter Prozessor folgendermaßen äußern:  
beim Einschalten kommt kein Bild und der Beep des Lautsprechers bleibt aus, bzw. gibt es keine Zugriffe auf die Festplatte (HDD LED blinkt nicht wie gewohnt beim starten)
Ein eventueller Fehler rund um den Prozessor könnte durch eine fehlende Kühlung hervorgerufen werden: (Wärmeübergang zum Kühlkörper oder ein defekter Lüfter)
typische Symptome eines zu heißen Prozessors sind beispielsweise das einfrieren des Computers nach einer gewissen Zeit (Maus bleibt stecken, Tastatur reagiert nicht mehr), oder wenn der Computer einfach so neu startet;  
Nach dem Neustart / Einfrieren wird die Zeit bis zum erneuten Fehler immer kürzer (thermisches Problem). Abhilfe: vergewissern ob sich der Lüfter dreht und die alte Wärmeleitpaste zwischen Prozessor und Kühlkörper entfernen und eine neue auftragen. Um den Rechner auf das eben beschrieben Verhalten zu testen,  oder die Wartezeit zwischen den Abstürzen zu verkürzen, können Burninprogramme verwendet werden: diese beschäftigen die CPU und lassen dadurch die CPU richtig heiß werden.
siehe CPU testen

wie bereits erwähnt, gibt es , anders als beim Systemboard , generelle Diagnosemöglichkeiten für Festplatten, Speicher oder bei einem Totalausfall:

Totalausfall: Der PC kann nicht mehr eingeschaltet werden

Es leuchten weder Lämpchen, noch dreht sich ein Lüfter, dann könnte eventuell das Netzteil defekt sein, siehe: Netzteil testen
Bei einem Notebook, hilft es eventuell das Netzteil abzustecken, den Akku raus zu nehmen und ein paar Sekunden zu warten.

Speicher defekt?

unvorhergesehene Systemabstürze? Bluescreens? Windows lässt sich gar nicht mehr installieren?
Speichertest: Memtest86

Festplatte defekt?

1te Diagnosemöglichkeit führt uns ins BIOS:
Nachsehen ob die Festplatte im BIOS erkannt wird. Neuere BIOS lesen mit unter auch den SMART Status der Festplatte aus und können somit relativ schnell beurteilen ob ein Problem mit der Festplatte vorliegt: siehe SMART STATUS
Es kann auch vorkommen, dass eine Festplatte gar nicht mehr weg läuft.
Festplatten kündigen ihr Ende des öfteren an, indem sie ungewöhnliche Geräusche von sich geben.
Oft sind auch nur Bereiche auf der Platte defekt: fehlerhafte Sektoren

auf Nummer sicher, kann man mit dem einem Festplattentestprogramm gehen. siehe folgenden Artikel Festplatten-Test-Programme

Festplatte reparieren?

in einzelnen Fällen kann man die Festplatte noch retten! siehe:
Low Level Format
und Festplatten regenerieren