方世玉生于1739年（乾隆四年），祖籍广东肇庆，父亲方德是丝绸商人，其为方德与第二个妻子苗翠花所生。其上有两个哥哥分别为方孝玉、方美玉，为方德与第一个早逝的妻子李氏所生。

清廷下令火烧福建南少林寺，后来苗显（少林五老之一）便隐姓埋名，贩盐为业，过着颠沛流离的生活。苗显的女儿苗翠花武艺高强，一直在江湖充当保镖，有“一代女侠”的称号。有一次方德途中遇劫，被苗翠花所救，两人交谈后，发觉彼此均为少林派弟子，志同道合。方德在60岁时，续娶16岁的苗翠花为妻，翌年苗翠花便生下方世玉。

苗翠花随父学得一身好武功，遵照父训，方世玉从满月开始，就被苗翠花用铁醋药水洗身，再用竹板、柴枝、铁条层层包扎，反复锻炼，使方世玉全身筋络骨节血肉非常坚实，经得起拳打脚踢。3岁开始，方世玉头戴铁帽、脚穿铜靴练习跳跃；5岁开始学习扎马；6岁开始学习拳脚功夫；7岁开始学习桩柱。方世玉11岁时，各种武艺样样通晓，少林拳法更是熟练无比。

据史料记载，方世玉性情刚烈，自幼就横行乡里，喜欢与其他孩子们打斗。十几岁时，方世玉被父亲方德送到少林派学艺，虽然身形矮胖，但仗着一身不怕打的功夫，每次斗殴时都冲锋在前，两位兄长在打斗中都难免受伤，却只有方世玉安然无恙。

其中方世玉名列第二位，不单是因为武功高强，而且本性好勇斗狠。

方世玉14岁时，随父到杭州做生意，中途见雷老虎摆擂台，两边写上“拳打广东全省，脚踢苏杭二州”对联，方世玉大为愤怒，上台比武，将雷老虎打死。雷老虎是武当派李巴山的女婿，而李巴山则是文渊阁大学士陈文耀的侍卫使，雷老虎恃势到处横行。方世玉打死雷老虎，导致少林派与武当派之间的恩怨白热化。

方世玉打死雷老虎，即向父亲报信，父子两人连夜逃回广州，召集少林派人士商议对策。雷老虎的妻子李小环带领武当派弟子赶到广东，声言要为雷老虎报仇。其时少林派早已经严阵以待，以“少林十虎”为首，在广州各地划分地盘，洪熙官、方世玉在广州（约在今日海珠广场一带）公开收徒，专门与武当派打斗。

本来远在家乡守孝的胡惠乾，听到消息后连夜从家乡回到广州，竖起为父报仇的旗号，与西关机房人马大打出手，将冯道德（少林五老之一）的徒孙张锦洪打死，并与三德和尚占据西禅寺，这一消息震动整个武当派，为争夺西禅寺，武当派人士云集广州，与少林派展开广东帮会史上第一次大规模的帮派火并，闹得满城风雨。

李小环的父亲李巴山为武当派堂主，也是清朝文渊阁大学士陈文耀的侍卫使，以官府名义聚集几千名清兵开进广州，名义上是镇压黑帮火并，实际上是协助武当派攻打少林派。1763年（乾隆二十八年），胡惠乾与三德和尚在西禅寺战死，而方世玉与童千斤也在随后的火并中被武当派击毙。经此一役后，少林派的中坚人物几乎殆尽，方世玉死时年仅24岁。