5月3日，北大全体学生会议结束时，已经是深夜11点，但学生们仍不去休息，开始为明天的大游行作准备。有的去通知联络其他学校，有的起草宣言，有的制作标语、印发传单。除北大学生外，北京高师的学生也在同一时间里开会，少数学生甚至提议进行暴动。

    5月4日，中国近代史上一场规模空前、意义深远的反帝爱国运动终于在北京爆发了。这一天下午，北京大学、高等师范、中国大学等在京13所学校的学生游行队伍，按照预定计划，从四面八方络绎不绝地涌向天安门。北京大学是这次游行的发起者，但他们的队伍却到来得最晚，因为当他们在沙滩红楼操场集合时，突然遭到北洋教育部和警察总监的阻拦。学生代表邓中夏、黄日葵等人奋起抗争，队伍才被放行。当他们经北池子到达天安门广场时，已经是下午1点半了。

    前来天安门集会的学生共有3000多人。他们人人手持小旗，上书标语口号：“取消二十一条”、“还我青岛”、“誓死力争”、“保我主权”、“争回青岛方罢休”、“卖国贼曹汝霖、章宗祥、陆宗舆”等。最引人注目的是竖立在金水桥南边的用长方形白布写的一幅挽联：“卖国求荣，早知曹瞒遗种碑无字”；“倾心媚外，不期章惇余孽死有头”。边款是：“卖国贼曹汝霖、章宗祥遗臭千古。北京学界同挽。”北大法科学生谢绍敏昨晚用自己的鲜血书写的“还我青岛”四个大字，也悬挂在天安门前，给整个会场平添了更为悲愤的气氛。

    就在集会宣布开始前，教育部又派人赶来劝阻，继而步军统领、警察总监也先后赶到，但学生们态度坚决，绝不为其劝说所动。集会宣布开始后，由一名北大学生代表登上放在华表前的一张方桌，宣读了《北京学生界宣言》，此后，学生们还散发了由北大学生罗家伦起草的白话文传单。在北京档案馆藏中，至今还保留着一份当年学生在市民中散发的传单。上面写着：“说起来爱国/是人人都知道的/然而能实实在在做的很少/诸位呀/如今日本要夺我们的山东/这就是要吞灭我们中国哩……山东是我们中华的土地/我们中华民族的人民都是主人/人家来要我们的土地/我们主人不来争/还靠谁呢/诸位都来争/争不回来不止/这就叫真正爱国哩/愿大家赶紧起来争吧。”当学生在天安门广场集合和演讲时，不少北京市民赶来围观，他们从内心支持学生，游行开始后，有些市民自动加入学生的队伍。

    浩浩荡荡的游行队伍从天安门广场出发，径直向东交民巷使馆区前进。当游行队伍到达东交民巷西口时，被守卫在那里的中国巡捕拦住。巡捕声称必须有大总统的同意才能进入使馆区。在学生的强烈要求下，该巡捕不得不与总统府电话磋商，结果电话往返达两个小时之久，仍不得入内。5月北京城，虽入夏不久，但下午两三点钟还是有些燥热的。学生在烈日的烘烤之下长达两个多小时，虽在情绪亢奋之中毫无懈怠之感，但愤懑之情益加滋长。学生们深深感到，中国还没有亡呢，身为中国人已不能在自己的土地上自由通行；倘若一日中国灭亡了，还不知道要受多少痛苦与屈辱。此情此景，让多少学生痛心不已。但是，美国使馆还是不得进入。

    学生推举罗家伦等四人去面见美国公使，偏偏美国公使不在，不知道是逢巧，还是有意避开。公使馆的值班人员接见了罗家伦等，他解释说今天是星期日，各个使馆的公使可能都不在，学生的爱国热情他深表理解，一定代学生转交公使意见书。由于此人说话通情达理，再加上当时学生对外的斗争矛头主要是指向侵占山东青岛，威胁中华民族生存的日本帝国主义，对美国还是希望它能同情、援助中国。所以，学生代表从美国使馆出来后，学生游行队伍继续向东走。在英、法使馆，不仅没有见到公使，干脆连递意见书也遭到拒绝。学生们开始怀疑这一个个闭门羹，都是北洋政府在捣鬼，他们事先可能接到警察厅的电话了。最后到日本使馆，日本卫兵远远就把学生挡住。仿佛仇人相见分外眼红，此时学生们义愤填膺、怒火中烧，在门外高呼口号，迟迟不肯离去。

    就在这时，北洋政府派大批军警来驱逐学生，混乱之中，不知道是谁建议，大家找帝国主义走狗、卖国贼曹汝霖算账去！几乎是一呼百应，大家立马整合了队伍，掉头而去。