Teori permainan adalah salah satu cabang matematik gunaan yang mengkaji individu(pemain) membuat keputusan yang terbaik dalam sesuatu situasi. Teori permainan memodelkan bagaimana agen-agen (misalnya, manusia) bersaling tindak apabila hasil tindakan sesuatu agen itu bergantung kepada tindakan agen yang lain (yang diluar kawalan agen pertama). Biasanya, agen mempunyai kepintaran yang membolehkannya belajar dari keadaan dahulu dan juga merangka strategi.
Teori permainan digunakan dalam sains komputer, terutama kepintaran buatan, untuk misalnya, membina permainan komputer. Dalam ekonomi, ia digunakan untuk memodelkan pembuatan keputusan. Ia juga digunakan untuk model-model salingtindak antara unsur-unsur dalam ekologi. Kini teori permainan banyak digunakan dalam model-model multiagen dalam fizik sosial dan ekonofizik.
Teori permainan moden bermula dengan idea keseimbangan strategi campuran dalam permainan hasil tambah sifar dua orang dan dibuktikan oleh John Von Neumann. Bukti asal Von Neumann menggunakan teorem titik tetap Brouwer pada pemetaan berterusan ke dalam set cembung padat, yang menjadi kaedah standard dalam teori permainan dan ekonomi matematik. Kertas kerjanya telah dibukukan dengan tajuk Theory of Games and Economic behaviour pada tahun 1944. Buku beliau juga mempunyai seorang penulis bersama lain yang bernama Oskar Morgenstern, yang menganggap sebagai permainan pakatan beberapa pemain. Edisi kedua buku ini menyediakan teori aksiomatik utiliti dijangka yang membenarkan ahli statistik matematik dan ahli ekonomi menangani pembuatan keputusan di bawah keadaan ketidakpastian.
Teori permainan telah dibangunkan secara meluas pada tahun 1950-an oleh ramai sarjana. Ia digunakan secara eksplisit pada evolusi pada tahun 1970-an, walaupun perkembangan serupa berlaku sekurang-kurangnya pada tahun 1930-an. Teori permainan telah diiktiraf secara meluas sebagai alat penting dalam pelbagai bidang seperti ekonomi, perniagaan, politik dan sebagainya. Sehingga tahun 2020, Hadiah Memorial Nobel dalam Sains Ekonomi telah diberikan kepada pakar teori permainan iaitu Paul Milgrom dan Robert B. Wilson dan lima belas pakar teori permainan lain-lain yang memenangi Hadiah Nobel Ekonomi. John Maynard Smith telah dianugerahkan Hadiah Crafoord untuk aplikasi teori permainan evolusinya.