จนถึงปัจจุบันแต่เดิมเกาะสมุย การปกครองขึ้นกับเมืองนครศรีธรรมราชศาลาว่าการเมือง (อำเภอ) ตั้งอยู่บ้านดอนแตงตำบลหน้าเมือง อยู่ทางทิศใต้ของเกาะสมุย ต่อมาในปี พ.ศ. 2441 ศาลาว่าการเมืองถูกยุบและได้ตั้งเป็นอำเภอขึ้นตรงต่อเมืองไชยา โดยมีพระยาเจริญราชภักดี ดำรงตำแหน่งเป็นนายอำเภอคนแรก ได้พิจารณาที่ตั้งเมืองเดิม ซึ่งไม่ค่อยมีความเหมาะสม เนื่องจากเป็นที่สุ่มบริเวณอ่าวมีหินปะการัง จำนวนมากยากแก่การจอดเรือและหลบคลื่นลมในปี พ.ศ. 2449 ได้ย้ายเมืองมาตั้งที่ บ้านหน้าทอน ตำบลอ่างทอง ซึ่งมีประชากรอาศัยหนาแน่น มีอ่าวจอดเรือกว้างขวางเหมาะแก่การหลบคลื่นลม เรือสามารถเข้าถึงฝั่งได้สะดวกและเมืองแห่งนี้ คือ ที่ตั้งเมืองปัจจุบัน
ของอำเภอเกาะสมุย
หินตาหินยาย
หาดบ่่อผุด
