1、从法律地位上来说没有区别
首先，直辖市和省，还有自治区（特别行政区），都是我国省一级的行政区（我国宪法规定有省县乡三级行政划分，但实际上省和县之间还有一个地级市、盟、州这个级别的行政区域，这个说起来比较复杂，这里不说）。行政层面来说，没有区别，同级。
注意，这里说的是行政级别同级，而不是说市领导和省领导同级。因为直辖市的特殊地位和重要性，其一把手也就是书记，一般都是高配，身兼中央政治局委员（副国级），这个就比一般省的领导高半级，当然，也有一些重要省份或者自治区书记同样是高配，也是中央政治局委员。除了书记，各省和直辖市的人民政府领导都是省部级（特殊时期也有特例，极少）。
2、从经济和政治地位上来说有区别
设立直辖市，主要是考虑到一个地区（不仅是一个城市的概念），在贯彻国家战略方针、引领区域经济发展和方便行政管理等政治需要。
比如首都，自古以来都是很特殊的地区，虽然面积不大，但承担首都功能，是政治中心，如果归属于某个省，很难管理，必须要单独划分出来。民国时期，当时首都是南京，就叫南京特别市，北京叫北平特别市，都相当于现在的直辖市。
建国初期，我国的直辖市一度有16个之多，当然后来都逐渐撤销了。大部分改为省辖市，成为省会城市。像哈尔滨就是这样，当时就是直辖市。
我国的直辖市一度只剩下北京和上海两个。北京是政治中心，上海是经济中心。
天津市建国初期是直辖市，后来降为省辖市，曾为河北省省会。文革期间又从河北分出来，改为直辖市。
重庆建国初期也是直辖市，但后来和其他十几个市一样，改为省辖，归四川代管。90年代又重新成为直辖市，主要是三峡工程需要。另外，重庆和四川，一向以巴蜀统称，但实际上巴和蜀在历史上是有区别的。
