Die Gruppentheorie als mathematische Disziplin untersucht die algebraische Struktur von Gruppen.
Anschaulich besteht eine Gruppe aus den Symmetrien eines Objekts oder einer Konfiguration zusammen mit jener Verknüpfung, die durch das Hintereinanderausführen dieser Symmetrien gegeben ist. So bilden beispielsweise die Drehungen eines regelmäßigen -Ecks in der Ebene, mit denen die Figur auf sich selbst abgebildet werden kann, eine Gruppe mit Elementen. Um dieses Konzept allgemein zu fassen, hat sich eine knappe und mächtige Definition herausgebildet: Demnach ist eine Gruppe eine Menge zusammen mit einer zweistelligen inneren Verknüpfung (durch die jedem geordneten Paar von Elementen eindeutig ein Element dieser Menge als Resultat zugeordnet wird), wenn diese Verknüpfung assoziativ ist und es ein neutrales Element gibt sowie zu jedem Element ein Inverses. So bildet zum Beispiel auch die Menge der ganzen Zahlen zusammen mit der Addition eine Gruppe.
Die systematische Untersuchung von Gruppen begann im 19. Jahrhundert und wurde durch konkrete Probleme ausgelöst, zunächst durch die Frage nach der Lösbarkeit von algebraischen Gleichungen, später durch die Untersuchung geometrischer Symmetrien. Dementsprechend stand zunächst die Untersuchung konkreter Gruppen im Vordergrund; erst gegen Ende des 19. Jahrhunderts wurden verstärkt abstrakte Fragestellungen untersucht. Wichtige Beiträge stammen unter anderem von Évariste Galois und Niels Henrik Abel in der Algebra sowie Felix Klein und Sophus Lie in der Geometrie. Eine der herausragenden mathematischen Leistungen des 20. Jahrhunderts ist die Klassifikation aller endlichen einfachen Gruppen, also der unzerlegbaren Bausteine aller endlichen Gruppen.
Die große Bedeutung der Gruppentheorie für viele Gebiete der Mathematik und ihrer Anwendungen resultiert aus ihrer Allgemeinheit, denn sie umfasst in einer einheitlichen Sprache sowohl geometrische Sachverhalte (Bewegungen des Raumes, Symmetrien etc.) als auch arithmetische Regeln (Rechnen mit Zahlen, Matrizen etc.). Vor allem in der Algebra ist der Begriff der Gruppe von grundlegender Bedeutung: Ringe, Körper, Moduln und Vektorräume sind Gruppen mit zusätzlichen Strukturen und Eigenschaften. Methoden und Sprechweise der Gruppentheorie durchziehen daher viele Gebiete der Mathematik. In Physik und Chemie treten Gruppen überall dort auf, wo Symmetrien eine Rolle spielen (z. B. Invarianz physikalischer Gesetze, Symmetrie von Molekülen und Kristallen). Zur Untersuchung solcher Phänomene liefern die Gruppentheorie und die eng verwandte Darstellungstheorie die theoretischen Grundlagen und eröffnen wichtige Anwendungen.