มีตำนานเล่าสืบต่อกันมาว่าชาวบ้านได้ขุดพบมีดดาบโบราณเล่มหนึ่ง จึงนำมามอบให้กับเจ้าเมืองกระบี่และต่อมาไม่
นานก็ขุดพบมีดดาบโบราณเล่มหนึ่งรูปร่างคล้ายกับมีดดาบโบราณเล่มใหญ่ จึงนำมามอบให้กับเจ้าเมืองกระบี่เช่นกัน เจ้าเมืองกระบี่ เห็นว่าเป็นดาบโบราณสมควรเก็บไว้เป็นดาบคู่บ้านคู่เมือง เพื่อเป็นสิริมงคล
แต่ขณะนั้นยังสร้างเมืองไม่เสร็จจึงได้นำดาบไปเก็บไว้ในถ้ำเขาขนาบน้ำหน้าเมืองโดยวางดาบหรือกระบี่ไขว้กัน ซึ่งลักษณะการวางดาบหรือกระบี่ไขว้เป็นสัญลักษณ์ของตราประจำจังหวัดคือรูปดาบไขว้ด้านหลังมีภูเขาและทะเล
โดยบ้านที่ขุดพบดาบใหญ่โต ตั้งชื่อว่า “บ้านกระบี่ใหญ่” บ้านที่ขุดพบดาบเล็กได้ตั้งชื่อว่า “บ้านกระบี่น้อย”แต่มีอีกตำนานหนึ่ง สันนิษฐานว่า คำว่า “กระบี่” อาจเรียกชื่อพันธุ์ไม้ชนิดหนึ่งที่มีมากในท้องถิ่น คือต้น “หลุมพี” จึงเรียกชื่อท้องถิ่นว่าบ้านหลุมพี ต่อมามีชาวมลายูและชาวจีนที่ เข้ามาค้าขายได้เรียกเพี้ยนเป็น “บ้าน-กะ-ลู-บี” หรือ “คอโลบี” นานๆ
เข้าก็ได้ปรับเป็น
สำเนียงไทยว่า “กระบี่”
