依据相关司法解释的规定，聚众斗殴并不需要双方都要聚众，只要一方聚众三人以上进行打架斗殴的，就会构成聚众斗殴。

聚众斗殴罪是指拉帮结伙，人数一般达三人以上，有聚众斗殴故意的互相殴斗的行为。

【法律依据】

根据《办理聚众斗殴案件适用法律若干问题的意见》第1条规定，众斗殴罪的认定：

(一)聚众斗殴罪是指拉帮结伙，人数一般达三人以上，有聚众斗殴故意的互相殴斗的行为。

(二)聚众斗殴通常表现为报复他人、争霸一方或其他不正当动机而成帮结伙地斗殴，往往造成严重后果。

(三)“聚众”是指为实施斗殴而聚集三人以上的行为。

(四)双方均有互殴的故意，斗殴时一方达三人以上，一方不到三人的，对达三人以上的一方可以认定为聚众斗殴。