Een mailserver is een server die verantwoordelijk is voor het verwerken van e-mail. Een andere, meer technische benaming voor een mailserver is Mail Transfer Agent (MTA). De term MTA wordt niet alleen voor internetmail (RFC's 2821 en 2822) gebruikt maar ook voor andere mailprotocollen (bijvoorbeeld X.400).
Een mailserver voert over het algemeen twee verschillende taken uit: e-mail uitwisselen met clients en e-mail routeren naar andere mailservers. Voor deze twee taken worden over het algemeen verschillende protocollen gebruikt: POP3 en IMAP voor het eerste, SMTP voor de laatste. Het uitwisselen van e-mail met een client is de taak die uitgevoerd wordt door een Mail Submission Agent (MSA) en Mail Delivery Agent (MDA). De meeste mailservers vervullen zowel de rol van MTA als MSA en MDA. Er is wel speciale software voor de rol van MDA beschikbaar, een voorbeeld hiervan is procmail.
Een gebruiker die e-mail verstuurt of ontvangt heeft over het algemeen geen directe interactie met een mailserver, maar gebruikt hiervoor een Mail User Agent (MUA) ofwel e-mail-client. Het is wel mogelijk om een mailserver direct aan te spreken door een Telnet-sessie op poort 25 te openen en direct SMTP-commando's te geven.
Tegenwoordig heeft een mailserver naast het transporteren van e-mail vaak ook de taak om deze te controleren op virussen, en om ze indien nodig te markeren als spam (ongewenste e-mail).