In de abstracte algebra, een deelgebied van de wiskunde, bestudeert de invariantentheorie groepsbewerkingen van groepen op algebraïsche variëteiten uit het oogpunt van hun effect op functies. Klassiek houdt de theorie zich bezig met de vraag van een expliciete beschrijving van veeltermfuncties, die niet veranderen, of invariant zijn onder de transformaties van een gegeven lineaire groep.
De invariantentheorie van eindige groepen heeft zeer nauwe banden met de Galoistheorie. Een van de eerste belangrijke resultaten was de belangrijkste stelling van de symmetrische functies, die de invarianten van de symmetrische groep Sn beschrijft, die inwerken op de veeltermring R[x1, ..., xn] door permutaties van de variabelen. Meer in het algemeen karakteriseert de stelling van Chevalley-Shephard-Todd eindige groepen, waarvan de algebra van invarianten een veeltermring is. Modern onderzoek in de invariantentheorie van eindige groepen benadrukt "effectieve" resultaten, zoals expliciete grenzen op de graden van de generatoren. Het geval van positieve karakteristieken, die ideologisch dicht bij de modulaire representatietheorie staat, is een gebied van actieve studie, met verbindingen naar de algebraïsche topologie.
Invariantentheorie van oneindige groepen is onlosmakelijk verbonden met de ontwikkeling van de lineaire algebra, met name de theorieën van kwadratische vormen en determinanten. Een ander onderwerp met een sterke wederzijdse beïnvloeding was de projectieve meetkunde, waar invariantentheorie naar verwachting een belangrijke rol zou spelen in het organiseren van het materiaal. Een van de hoogtepunten van deze relatie is de symbolische methode. De representatietheorie van halfenkelvoudige Lie-groepen heeft haar wortels in de invariantentheorie.