อำเภอควนโดนในอดีต เป็นที่รวมของกลุ่มชนอพยพจากพื้นที่ต่างๆ ทั้งในและนอกจังหวัด พื้นที่อุดมสมบูรณ์ต่างประกอบอาชีพการเกษตร อยู่ตามแนวลำคลอง ลำห้วย และเป็นเนินเขาหรือควนดิน ต่อมาใด้มีถนนตัดผ่านและเชื่อมต่อบริเวณเหล่านี้เข้าด้วยกันจึงทำให้มีผู้อพยพเข้ามาอยู่ตามแนวถนนเพิ่มขึ้น  ประชาชนจังหวัดใกล้เคียงมาตั้งบ้านเรือนเป็นกลุ่มๆ เช่น จังหวัดนครศรีธรรราช เข้ามาอยู่บริเวณ หมู่ที่ 3 และ หมู่ที่ 4 บ้านวังประจัน ซึ่งมีอยู่ 3 ตระกูล คือปานจันทร์ ใจดี และ สัสดี (ขออนุญาตเอ่ยนามสกุล หากผิดพลาดขออภัยด้วยครับ) และยังมีผู้อพยพจาก ตรัง พัทลุง กระจายอยู่ทั่วไป จึงทำให้ประชากรเพิ่มมากขึ้น ต่อมาได้ยกฐานะเป็นตำบล กิ่งอำเภอและอำเภอ ซึ่งประวัติความเป็นมาปรากฏว่า ได้ยกฐานะเป็นกิ่งอำเภอครั้งแรกในนามกิ่งอำเภอดุสนและตำบลปันจอร์เป็นตำบลควนโดน และยุบรวมตำบลกุบังปะโหลดรวมกับตำบลควนสตออยู่ในเขตการปกครองของอำเภอเมืองสตูล