La vastità delle riflessioni filosofiche di Sant'Agostino abbraccia anche il campo della linguistica, toccato a più riprese e in diversi suoi lavori, come il De Magistro o il De doctrina christiana. Una trattazione specifica di alcuni aspetti del segno linguistico si ha nel Sermo 293/A augm., "De nativitatis die sancti Iohannis baptistae et de voce et verbo" ("Sul giorno della natività di San Giovanni Battista e sulla voce e la parola").
Di quest'ultima opera fino a qualche tempo fa si conosceva solo la prima parte, relativa alla festività di San Giovanni Battista, e solo di recente è stata ritrovata anche la parte relativa alle teorie linguistiche agostiniane (Dolbeau 1996). Un'interessante osservazione che si ricava da quest'opera è il grado di consapevolezza che il vescovo di Ippona aveva riguardo alla natura del segno linguistico, un millennio e mezzo prima di Saussure. Già Agostino distingueva infatti con chiarezza tra la parte mentale del segno (il significato) e quella fisica dei suoni che lo esprimono (il significante):
«Quod autem latine deus dicitur, quod dicitur graece theos, quod dicitur punice ylim —tres linguas dixi—, quod corde concepi nihil illarum linguarum erat; sed cum vellem profferre quod corde conceperam de deo, si punicum inveni, “ilim” dixi, si latinum inveni, “deus” dixi; si graecum inveni, “theos” dixi; antequam invenirem aliquem illorum, illud quod erat in corde meo nec graecum nec punicum nec latinum erat.»
«Orbene, quello che in latino si dice deus, in greco theos, in punico ylim (tanto per citare tre lingue) non era nulla di quelle lingue al momento in cui l'ho concepito nel mio cuore; ma se volessi esprimere ciò che ho concepito nel mio cuore riguardo a dio, se trovassi un cartaginese direi ilim, se trovassi un romano direi deus, se un greco direi theos; prima di imbattermi in qualcuno di loro, quello che era nel mio cuore non era né greco né punico né latino.»
Questa osservazione contiene, in nuce l'essenza della teoria dell'arbitrarietà del segno linguistico: dato un significato (il concetto di Dio, quod erat in corde meo), ogni lingua può associare ad esso un significante diverso.