乌纱最早见于东晋，但那时乌纱并非官员所有，不管身份高低贵贱臣民皆可戴。

早在东晋成帝时，凡在都城建康（南京）宫中做事的人，均戴一种用黑纱做的帽子，人称“乌纱帽”。到了南北朝宋明帝时，这种帽子在民间也流传开来。于是，“乌纱帽”遂成为民间百姓常戴的一种便帽。

隋唐时，天子百官士庶都戴乌纱帽。

宋太祖赵匡胤登基后，为防止议事时朝臣交头接耳，就下诏书改变乌纱帽的样式：在乌纱帽的两边各加一个翅，这样只要脑袋一动，软翅就忽悠忽悠颤动，皇上居高临下，看得清清楚楚。

明代开国皇帝朱元璋定都南京后，于洪武三年作出规定：凡文武百官上朝和办公时，一律要戴乌纱帽，穿圆领衫，束腰带。另外，取得功名而未授官职的状元、进士，也可戴乌纱帽。从此，“乌纱帽”遂成为官员的一种特有标志。

到明世宗时，人们开始将纱帽称为“乌纱帽”，并成为专门的官帽，但帽的双翅也有了一些改变，不但帽翅的长度缩短了，其宽窄也不相同，官阶越高，纱帽的双翅越窄，反之双翅越宽。

清顺治帝入关时，一些明代降臣仍戴乌纱帽，等到清廷统治巩固下来，才下令将乌纱帽改为红缨帽。但人们仍习惯使用乌纱帽一词，久而久之，乌纱帽成为官位的代称，丢掉乌纱就意味着被免职了。