1965年6月1日，中国人民解放军废止了已经实行10年的军衔制度和实行13年的军官制，军官改称干部，并且开始按“减薪定级”后实行的国家机关行政干部的级别取酬。

1955年正是中苏关系的“蜜月”时期，新中国借鉴苏联的军衔制度，举行了大规模的授衔仪式，人民军队迈出了正规化、现代化的关键一步。因为彭德怀是1955年制定军衔制度的主要负责人，加上中苏关系恶化，军衔制度后来被批判为修正主义和教条主义，认为它妨碍了“官兵平等、官兵一致”的精神。1964年夏，贺龙请示毛泽东可否取消军衔，毛泽东立即同意，他说：“取消，搞掉那块牌牌，我早就想搞掉它了。”

另一方面，军衔制度设计不合理也是其被取消的客观原因。因为首次实行军衔制缺乏经验，很多方面都不完善。

一是实际军衔比职务军衔偏低，按照职务，军长应该授中将，师长应该授少将，但当时在苏联顾问的建议下，实际授衔的时候普遍被压低了1到2级。中国军队的军长军衔绝大多数都是少将，有的甚至还是大校，师长则绝大多数都是大校。

二是军衔晋升制度不正常，自1955年首次授衔之后，出于各种原因，军衔晋升制度未能完全按规定执行。1955年授衔的少将至大将有一千余人，但是10年之内竟没有一个人再晋升军衔，军官职务低于编制军衔的情况愈发不可收拾，严重损伤了军官的积极性。

三是军衔在区别军人待遇方面作用不大。1955年军衔制实行之后，中国军人的薪金实际上还是以职务为标准，军衔不起作用。

四是军衔的识别功能被弱化。

五是军衔制的有关条例修改频繁，影响了法律的严肃性，也使干部管理工作失去了连续性。

六是在女军官授衔的问题上过于教条。首次授衔的时候，苏联顾问便提出，女军官不宜大量留在军队工作，于是大量女军官被安排转业、复员。

1965年5月1日，第三届全国人大常委会第九次会议通过了《关于取消中国人民解放军军衔制度的决定》，此后，解放军在长达二十余年的时间内没有军衔，是各大国中唯一没有军衔的军队。

1965年取消军衔制度及1988年恢复以来的军衔制度。

1965年5月30日傍晚，江西省公安厅副厅长黄庆荣、警卫处处长鲁毅跟随毛泽东登上专列。据黄庆荣近年回忆，5月30日毛泽东一上专列，吩咐的第一件事就是请报务员向周恩来总理发报，告知他们的行踪。

5月31日清晨6时，毛泽东专列正点发车，一路呼啸向杭州进发。从樟树到杭州沿途，江西和浙江两省公安厅早已在所辖地段做了秘密警卫安排，确保万无一失。专列相继停靠鹰潭、上饶加水，毛泽东在这两站都下了车，在站台上缓缓散步，背着两只手，静静地来回走动。黄庆荣看见毛泽东目光带着一层忧虑。

第二天，1965年6月1日，中国人民解放军取消了军衔制。

从1988年起，中国人民解放军又恢复了军衔。但比起50年代的军衔，目前的军衔更加简明，等级级别进一步减少，形成了独具特色的军衔体制。

1988年7月1日，七届全国人大常委会第二次会议通过了《中国人民解放军军官军衔条例》，予以公布施行。士兵军衔制度同时立法。

新公布的军衔制度不设元帅、大将和大尉，而以一级上将为最高军衔。军官军衔设3等11级，士兵军衔按等级分为2等9级。

1994年5月12日，第八届全国人大常委会第七次会议通过了关于修改《中国人民解放军军官军衔条例》的决定。修改后的军衔条例设3等10级。

1995年9月10日，八届全国人大常委会通过《中华人民共和国预备役军官法》规定，预备役军官军衔设3等8级。

1998年12月公布的《中华人民共和国兵役法》规定，义务兵服役时间为2年，并且不再超期服役。根据兵役法，自1999年后，士兵军衔等级和专业军士、军士长的称谓自行取消。

2009年7月13日，中央军委颁发《深化士官制度改革方案》，全军和武警部队自2009年12月1日起施行新的士官制度。士官军衔从原先一级至六级士官的6个衔级调整为7个衔级。分为初级士官、中级士官、高级士官三个等级。初级士官：下士、中士；中级士官：上士、四级军士长；高级士官：三级军士长、二级军士长、一级军士长。