非法聚集不以人数来确定罪名，只要符合法律规定，公安机关就可以非法集会、游行、示威罪进行立案处理。

根据《中华人民共和国刑法》第二百九十六条规定：举行集会、游行、示威，未依照法律规定申请或者申请未获许可，或者未按照主管机关许可的起止时间、地点、路线进行，又拒不服从解散命令，严重破坏社会秩序的，对集会、游行、示威的负责人和直接责任人员，处五年以下有期徒刑、拘役、管制或者剥夺政治权利。