北京在元代时是当时的都城，元朝是蒙古人建立的，而“胡同”一词，其实是蒙古语的音译，也就是街巷的意思。尽管后来蒙古人的统治被推翻了，但“胡同”这种叫法在北京老百姓当中已经约定俗成，所以就一直沿续下来。

北京的史籍上关于胡同的最早叫法有火弄、火疃、胡洞等七八种之多，关于解释也有水井、火道和“胡人大同”几种，更多人相信“胡同”两字是出于蒙语“水井”一词的音转，那时为了防火，很多胡同里都设有水井。

不管怎么说，“胡同”一词自元朝起就是北京城市建设中的专有名词已是不争的事实，“胡同”两个字本身就印有深深的民族风情特征和浓浓的老北京文化韵味，它的出现比”北京“这个名称的出现还早了一个多世纪。北京的胡同最早出现于金元时期。

忽必烈建大都时，按照周礼对都城进行了全面规划设计，在都城的每座城门内都辟出一条干道，由此再引伸出一块块棋盘形的间隔布局，这些便于人马车行的隔带按宽窄不同就被分称为大街、小街和胡同。北方冬季天气比较冷，因为需要日照和抵御寒风，北京的胡同多以东西走向为主，南北走向胡同都是后来因地而宜相继产生的。

根据文献记载，元朝的大街宽24步，小街宽12步，胡同宽6步，大约不足现在的10米。胡同与大街、小街不同，它是宅系、院落和房屋连成的一排排民宅间的隔离带，所以在北京会见到很多这样的景象：两个院落虽然只有一墙之隔，但是要从一个院的正门到另一个院的正门，却得绕上一个大圈子。