牌九的发明者已经无从考证，传说是秦始皇修建长城时，服劳役的百姓在闲暇之余发明的。据说是因为修建长城都是人工操作，且修造的地方非常危险，经常发生累死、坠落等生命危险，因此逃跑的人很多。
监工们为了制止这种现象，就设计了“牌九”，以“点数定输赢”，使输了的劳役能“愿赌服输”的安稳劳动。显然这种说法是后世臆造的，因为当时还处于奴隶社会到封建社会的过渡阶段，服劳役是无论如何逃脱不了的，一旦某人逃脱，家族都会受到惩罚的。
牌九是由骰子演变而来的，但牌九的构成远较骰子复杂，例如两个“六点”拼成“天牌”，两个“幺点”拼成“地牌”，一个“六点”和一个“五点”拼成“虎头”。在明清时期盛行的“推牌九”、“打天九”都是较吸引人的游戏。麻将是骨牌中影响最广的一种游戏形式。
