Kemençenin kökenine dair bilinen en eski veriler, Orta Asya’daki Türk ve Altay topluluklarının kullandığı “ıklığ” ve “kopuz” türü yaylı çalgılara dayanmaktadır. 8. ve 9. yüzyıla tarihlenen Göktürk ve Uygur duvar resimleri, küçük gövdeli, dar saplı ve at kılından yapılmış yaylarla çalınan enstrümanların varlığını göstermektedir. Bu çalgıların tını yapısı, çalışma prensibi ve elde taşınabilir küçük boyutları, kemençenin oluşum sürecinin en erken adımını oluşturmaktadır.

Orta Asya’dan Kafkasya’ya yönelen göç hareketleri, bu çalgı geleneğinin batıya taşınmasını sağlamaktadır. Özellikle Kıpçak ve Oğuz boylarının Karadeniz’in kuzeyine ulaşan göç yolculuklarında yaylı çalgılar önemli bir yer tutmaktadır. Bu kültür aktarımı, ilerleyen yüzyıllarda Karadeniz kıyılarına kadar uzanan bir müzik mirasının temelini hazırlamaktadır.

Kemençenin Karadeniz’de belirmeye başladığı dönem, tarihî kaynaklarda özellikle Trabzon İmparatorluğu’nun hüküm sürdüğü 13.–15. yüzyıllar arasında izlenebilmektedir. Bu döneme ait bazı minyatürlerde, uzun saplı, küçük gövdeli ve yayla çalınan halk çalgılarının tasvirleri yer almaktadır. Bu enstrümanların kemençe ile birebir aynı olmadığı bilinmekle birlikte, form olarak bugünkü kemençenin temel hatlarını taşımaktadır.

Aynı dönem Bizans etkisi altında bulunan Doğu Karadeniz’de, “lyra” adı verilen üç telli bir enstrümanın kullanıldığı da bilinmektedir. Bu enstrüman, Balkan coğrafyasındaki lir türleriyle akrabalık göstermekte; form açısından Karadeniz kemençesinin evrimine katkı sunan kültürel birleşimlerin bir parçasını oluşturmaktadır.

Avrupalı seyyahların yazdığı 16. ve 17. yüzyıl seyahatnamelerinde Karadeniz kıyılarındaki halkın “küçük yaylı bir çalgı” kullandığına dair gözlemler yer almaktadır. Özellikle Kafkasya ve Trabzon hattını gezen seyyahlar, düğünlerde ve yayla şenliklerinde kullanılan bu çalgıyı detaylı şekilde tanımlamaktadır. Bu bilgiler, kemençenin 17. yüzyılda artık günlük yaşamın bir parçası hâline gelmiş olduğunu göstermektedir.

Evliya Çelebi’nin Seyahatnamesi’nde Doğu Karadeniz’de kullanılan küçük yaylı bir çalgıdan söz edilmesi, bu enstrümanın Osmanlı döneminde de yer tuttuğunu kanıtlamaktadır. Bu çalgının bölge halkının dans ritimlerine eşlik ettiği ifade edilmekte, bu da kemençenin horon kültürüyle uzun süredir bağlantılı olduğunu göstermektedir.Kemençenin üç telli, dar gövdeli ve yüksek perdeli yapısı, 18. yüzyıldan itibaren belirginleşmektedir. Dönemin Anadolu’sunda zanaatkârlık gelişmiş, özellikle dut, erik ve ardıç ağaçlarının müzik enstrümanı yapımında tercih edilmesi yaygınlaşmıştır. Ustaların el işçiliği sayesinde kemençe giderek daha standart bir forma kavuşmaktadır.

Bu dönem Osmanlı arşivlerinde Karadeniz bölgesine ait halk müzik çalgılarının kayıt altına alınması, kemençenin artık tanınmış bir halk çalgısı olduğunu göstermektedir. Trabzon, Giresun ve Rize’de tutulan vergi kayıtlarında “çalgıcı” veya “müzik icracısı” olarak geçen kişilerin önemli bir bölümünün kemençe çaldığı görülmektedir. 19. yüzyıl itibarıyla kemençe, yalnızca bir çalgı değil, bölgenin kültürel kimliğinin bir parçası hâline gelmektedir. Rus arşivlerinde yer alan fotoğraflar ve Osmanlı döneminin geç dönem kayıtları, Karadeniz kıyılarındaki törenlerin, karşılamaların ve yayla göçlerinin kemençe eşliğinde yapıldığını ortaya koymaktadır. Bu yüzyılda horon kültürü daha belirgin bir yapıya kavuşmakta; kemençe de bu ritmin temel taşı hâline gelmektedir. Çalım tekniği, bölgeden bölgeye farklılık göstermekte ancak enstrümanın kimliği büyük ölçüde ortak bir kültürel paydada birleşmektedir.