본디 가토 기요마사(임진왜란 당시 일본군의 선봉)의 좌선봉장을 맡았으나 조선에 들어온 이후 경상도 병마 절도사 박진에게 병력을 이끌고 귀순하였고, 이후 조선군으로서 주로 의병과 함께 활약했다.

귀순 이후 사야가는 경상도 지역의 의병들과 함께 힘을 합쳐 일본군과 전투를 벌였고, 곽재우(郭再祐)와도 연합하기도 했다. 의병 및 조선군 장수로서 모두 78회의 전투를 치렀으며, 이때 전공을 세워 정3품 첨지중추부사(僉知中樞府事)에 이르렀다. 

1597년(선조 30년) 정유재란이 발발하자 손시로(孫時老) 등 항복한 왜장(倭將)과 함께 의령(宜寧) 전투에서 공을 세웠고 무관 3품(三品) 당상(堂上)에 올랐으며, 이어 사야가는 울산성 전투에 경상도 우병사 김응서(金景瑞) 휘하로 울산왜성에 농성 중이던 가토의 1군을 섬멸하는 공을 세웠고, 종2품 가선대부(嘉善大夫)를 하사받기도 했다.

이후 도원수(都元帥) 권율(權慄), 어사 한준겸(韓浚謙)의 주청(奏請)으로 선조로부터 성명(姓名)이 하사되고 하인 정2품 자헌대부(資憲大夫)로 가자되었다. 

학계에선 조선 내 조총을 이순신이 보급한 걸로 보지만 당시 김충선과 이순신 사이의 서신에서 김충선이 "이미 조총을 개발하여 훈련하고 있다."라고 한 기록이 있는 걸로 보아 개발과 양산 자체는 김충선이 한 것으로 보인다. 

이게 진정 토착왜구!