แต่ต่อมาปรากฏว่าประพฤติมิชอบทำตัวเป็นโจรสลัดเข้าปล้นเรือสำเภา เมื่อสมเด็จพระเจ้าตากสินมหาราชเคลื่อนทัพมุ่งหน้าไปยังปากน้ำเจ้าพระยาได้ทราบความ จึงหยุดประทับไต่สวนที่เมืองชลบุรีได้ความว่าพระยาอนุราชฯ ผิดจริง จึงถูกประหารชีวิต แต่นายทองอยู่ นกเล็ก คงกระพันในตัวแทงฟันหาเข้าไม่ ด้วยเหตุสะดือเป็นทองแดง จึงให้พันธนาการแล้วเอาลงถ่วงน้ำเสียในทะเลถึงแก่กรรม (กรมศิลปากร, พระราชพงศาวดารฉบับพระราชหัตถเลขา พิมพ์เป็นอนุสรณ์ในงานบรรจุศพคุณพ่อไต้ล้ง พรประภา วันที่ 4 กันยายน 2511 : 617)

ศึกสำคัญต่อไปคือเข้าตี เมืองจันทบุรี (เดิมเรียกว่า จันทบูร) อันเป็นเมืองมีกำแพงล้อมแน่นหนา เป็นเมืองสำคัญทางตะวันออกมาช้านาน เมื่อเจ้าตาก ขอความร่วมมือจากพระยาจันทบุรีไม่สำเร็จ ตรงข้ามยังถูกพระยาจันทบุรีใช้กลอุบายหลอกมาเพื่อทำลายชีวิตพระองค์ท่าน การต่อสู้เข้าตีเมืองจันทบุรีจึงหลีกเลี่ยงไม่ได้ดังหนังสือไทยรบพม่าบรรยายไว้ดังนี้

ฝ่ายพระยาจันทบุรีคาดว่าเจ้าตากคงขัดเคืองไม่ไปเข้าด้วย แลบางทีจะหาเหตุลงไปตีเมืองจันทบุรี จึงปรึกษากับขุนราม หมื่นซ่อง เห็นว่าที่จะรบพุ่งเจ้าตากซึ่งหน้านั้นยากนัก ด้วยว่าเจ้าตากมีฝีมือเข้มแข็ง ทั้งรี้พลก็เคยชำนาญการรบพุ่ง จะคิดเป็นกลอุบายล่อเอาเจ้าตากเข้าไปไว้ในเมืองจันทบุรีเสียก่อน จึงจะคิดกำจัดได้โดยง่าย คิดกันเช่นนั้นแล้วพระยาจันทบุรีจึงนิมนต์พระสงฆ์ 4 รูปให้เป็นทูตมาเชิญเจ้าตากลงไปเมืองจันทบุรี พระสงฆ์ทูตมาถึงเมืองระยอง

เวลานั้นเจ้าตากอยู่ที่เมืองชลบุรี จึงคอยอยู่จนเจ้าตากกลับลงไป จึงเข้าไปทูลว่าพระยาจันทบุรีมีความเจ็บแค้นด้วยข้าศึกมาย่ำยีกรุงศรีอยุธยา เต็มใจที่จะช่วยเจ้าตากปราบยุคเข็ญให้บ้านเมืองเป็นสุขสำราญดังแต่ก่อน แต่เห็นว่าเมืองระยองเป็นเมืองเล็ก จะเอาเป็นที่รวบรวมกองทัพใหญ่นั้นยาก ขอเชิญเจ้าตากไปตั้งทัพที่เมืองจันทบุรีอันเป็นที่มีเสบียงอาหาร สมบูรณ์จะได้ปรึกษา กันตระเตรียมกองทัพที่จะเข้าไปรบพุ่งพม่า ตีเอากรุงศรีอยุธยาคืนมาจากข้าศึกให้จงได้ เจ้าตากได้ทราบความตามถ้อยคำของพระสงฆ์ทูตก็ยินดี ให้หยุดรี้พลพอหายเหนื่อย

แล้วก็ให้พระสงฆ์ทูตนำทางยกลงไปทางเมืองจันทบุรี เมื่อเจ้าตากไปถึงที่บางกระจะหัวแหวน ทางยังห่างเมืองจันทบุรี 200 เส้น พระยาจันทบุรีให้หลวงปลัดมารับและบอกว่าพระยาจันทบุรีได้จัดที่ไว้ ตั้งทำเนียบที่พักริมแม่น้ำข้างฟากใต้ตรงข้ามเมือง ให้หลวงปลัดมานำกองทัพไปยังทำเนียบ เจ้าตากก็สั่งกองทัพให้ยกตามหลวงปลัดไป แต่ไปยังไม่ทันจะถึงเมืองจันทบุรี มีผู้บอกให้เจ้าตากทราบว่า พระยาจันทบุรี คบคิดกับขุนราม หมื่นซ่อง เรียกระดมคนเตรียมไว้ข้างในเมือง จะออกโจมตีกองทัพเจ้าตากเมื่อเวลากำลังข้ามแม่น้ำข้างใต้เมือง