คนแรกเป็นธิดาชื่อสา แต่งงานกับเสม บุตรเจ้ากรมพระตำรวจ ซึ่งต่อมาได้รับการสถาปนาเป็นสมเด็จเจ้าฟ้าหญิงกรมพระยาเทพสุดาวดี คนที่สองเป็นขุนรามณรงค์ เสียชีวิตก่อนเสียกรุงศรีอยุธยาให้กับพม่า คนที่สามเป็นหญิงชื่อแก้ว แต่งงานกับเจ้าขรัวเงิน ซึ่งเป็นจีนแซ่ตัน ต่อมาเป็นสมเด็จเจ้าฟ้าหญิงกรมพระศรีสุดารักษ์ โอรสและธิดาคือต้นสกุลเทพหัสดิน ณ อยุธยา มนตรีกุล ณ อยุธยา และอิศรางกูร ณ อยุธยา คนที่สี่คือ ทองด้วง ประสูติเมื่อวันพุธที่ 20 มีนาคม พ.ศ.2279 อันเป็นปีมะโรง ในรัชสมัยของสมเด็จพระเจ้าอยู่หัวบรมโกศแห่งกรุงศรีอยุธยา ต่อมาได้ปราบดาภิเษกเป็น สมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราช คนที่ห้าคือบุญมา ซึ่งก็คือกรมพระราชวังบวรมหาสุรสิงหนาท คนที่หก พระองค์เจ้าหญิงกุ หรือเจ้าครอกวัดโพธิ์ คือต้นสกุลนรินทรกุล ณ อยุธยา คนที่เจ็ดชื่อลา ต่อมาได้เป็นเจ้าฟ้ากรมหลวงจักรเจษฎา ต้นสกุลเจษฎางกูล ณ อยุธยา (ราชสกุลวงศ์ 2512 พระนามเจ้าฟ้าและพระองค์เจ้าในกรุงรัตนโกสินทร์ โรงพิมพ์พระจันทร์ พระนคร หน้า 1-2) มีเรื่องราวอัศจรรย์เกิดขึ้นเมื่อครั้งที่เด็กชายทองด้วงยังเยาว์วัย มีเรื่องเล่าขานกันว่า เด็กชายทองด้วงในวัย 5 ขวบ เคยล้มคว่ำเข้าไปในกองไฟ แต่ไม่เป็นอะไร ต่อมาเด็กชายทองด้วงได้เข้าศึกษากับพระอาจารย์หลายท่าน จึงมีความรอบรู้ในวิทยาการด้านต่างๆ ในวัย 13 ขวบได้เข้าพิธีโกนจุก ซึ่งเจ้าฟ้าอุทุมพร กรมขุนพรพินิต ได้เสด็จมาตัดจุกด้วยพระองค์เอง หลังจากนั้นจึงถวายตัวเป็นมหาดเล็กของพระองค์เช่นเดียวกับนายสิน ผู้ซึ่งต่อมาได้เป็นสมเด็จพระเจ้าตากสินมหาราช ในปี พ.ศ.2300 เมื่อนายทองด้วงมีอายุได้ 22 ปี จึงได้กราบถวายบังคมลาออกบวชที่วัดมหาทะลาย ขณะที่นายสินได้บวชที่วัดโฆษาวาสมาแล้วถึง 3 พรรษา 3 ปีต่อมา ในแผ่นดินของสมเด็จพระที่นั่งสุริยาสน์อมรินทร์หรือสมเด็จพระเจ้าเอกทัต (หรือเอกทัศน์) อันเป็นกษัตริย์องค์สุดท้ายแห่งกรุงศรีอยุธยา นายทองด้วงได้แต่งงานกับบุตรีของท่านเศรษฐีทอง และท่านส้ม มีชื่อว่า “ นาค ” สาวงามผู้นี้เป็นคนอำเภออัมพวา แขวงเมืองราชบุรี ต่อมานายทองด้วงได้โยกย้ายงานไปทำที่ราชบุรี และได้รับตำแหน่งเป็น หลวงยกกระบัตรเมืองราชบุรี ในช่วงที่เสียกรุงศรีอยุธยาแก่พม่านั้น หลวงยกกระบัตรยังอยู่ที่ราชบุรี ช่วงนั้นภรรยาท่านมีครรภ์แก่ เมื่อนายบุญมาน้องชายมาชวนให้ไปทำราชการกับพระยาตาก จึงมีเหตุจำเป็นที่จะต้องชะลอเวลาไปก่อน และให้นายบุญมาช่วยนำนางนกเอี้ยง (มารดาของพระยาตาก) ซึ่งหลบซ่อนอยู่ที่บ้านแหลม พร้อมทั้งมอบดาบคร่ำทองของเก่า แหวนพลอยไพฑูรย์ 1 วง แหวนพลอยบุษราคัมน้ำทองอีก 1 วง ไปมอบให้กับพระยาตากด้วย ในปี พ.ศ.2311 หลวงยกกระบัตรได้เริ่มทำราชการที่กรุงธนบุรี ได้รับฐานนันดรศักดิ์เป็น พระราชรินทร์ (บางท่านก็เรียกว่า พระราชวรินทร์) มีหน้าที่เป็นเจ้ากรมพระตำรวจนอกขวา และพำนักอยู่ใกล้กับวัดบางหว้าใหญ่ หรือวัดระฆัง ในปีนั้นได้ออกรบเป็นครั้งแรก และได้ปราบพระยาวรวงศาธิราชที่ด่านขุนทด เมื่อปราบกบฏพิมายได้แล้ว จึงได้รับการเลื่อนยศเป็น พระยาอภัยรณฤทธิ์ จางวางกรมพระตำรวจ