传说很久以前,从南边来了个唱渔鼓的,从北边来了个说落子的,两人在胡集碰面,随即唱起了对台戏,一时难分高下。由于时间所限,于是两人相约,到第二年的同一时间,再来这里一决胜负。第二年,两人按时来到胡集赴约,还带来了各自的徒弟、朋友。　　
　　从此,来这里切磋的艺人越来越多,前来听书赶会的人也越来越多。后经双方协商,约定每年的正月十二来胡集以书会友,久而久之,便有了一年一度的胡集书会。
　　胡集书会最初是艺人们聚在一起切磋技艺,后来逐渐发展成一场文化盛会。元朝时期,各地的说书艺人从天南海北赶来登台献艺,说书卖唱经久不衰。
　　清末民初之际,是胡集书会发展的繁荣时期。每年正月十二,来自山东、北京、天津、河北、辽宁等地的艺人齐聚胡集,表演西河大鼓、梅花大鼓、相声、木板书、山东快书、东路大鼓等30余种曲艺,场面十分热闹。“一日能看千台戏,三天读遍万卷书”。每到胡集书会期间,万人空巷,书会过后,光是现场被踩掉的鞋子就能装好几筐。
　　二十世纪五十年代至八十年代,胡集书会重新振兴。1985年,评书表演艺术家刘兰芳应邀来到胡集义演；1986年,胡集曲艺厅建成使用；1987年,刘兰芳来到胡集曲艺厅参演,让胡集书会名声大振；1988年,姜昆、唐杰忠等艺术家也来到胡集为书会助兴；1991年,天津市曲艺团来胡集参演。
　　二十世纪九十年代后,歌舞表演、演唱晚会的出现,对传统书会造成了冲击,书会的表演形式与表演内容难以满足群众的文化生活需求。
　　“书会最冷清那几年,只有零星的演员和观众,很多老艺人退场,传统曲艺被束之高阁。”当地老曲艺人白曰华介绍。
　　自2006年起,胡集书会出现新的转机。当年,胡集书会被列入国家非物质文化遗产名录；2007年,胡集书会走出曲艺厅,进行广场演出,真正还书于民；2008年,胡集镇被命名为“中国曲艺文化之乡”；2018年,胡集书会网站线上手机APP运行,胡集镇被评为“山东曲艺之乡”；2019年,中国曲协“送欢笑到基层走进胡集”,书会进景区,实现了“文化+旅游”的最优结合；2021年,“中国·胡集灯节书会”网上开播,将胡集书会推上“云端”；2023年,作为全省“黄河大集”春节系列活动之一,创新“书会+”理念,实现了线上线下“双演”合璧,更好地满足群众文化需求。