根据《中华人民共和国刑法》第二百九十二条规定，聚众斗殴罪是指为了报复他人、争霸一方或者其他不正当目的，纠集众人成帮结伙地互相进行殴斗，破坏公共秩序的行为。

聚众打架跟着去了但没动手，是否有责任要根据具体问题具体分析。如果尽到了劝阻义务，没有责任;否则，作为参加的旁观者也要承担责任。