Shiba Inu pochodzi z górzystych terenów Japonii. Słowo inu (犬) to z japońskiego pies. Znaczenie prefiksu shiba (柴) jest mniej jasne - słowo to znaczy zarośla - jednak w starym Naganowskim dialekcie słowo to także znaczyło mały. Dlatego więc Shiba Inu jest czasami tłumaczone jako „mały pies z zarośli”. Środowiskiem shiby były górzyste obszary nad brzegiem Morza Japońskiego, gdzie psy te wykorzystywano do polowań na drobną zwierzynę i ptaki. Używano ich także do polowania na niedźwiedzie i jelenie. Zależnie od okolic, w których je hodowano, psy nieco różniły się między sobą. Gdy w latach 1868 – 1912 przywieziono z Anglii psy podobne do angielskich seterów i pointerów myślistwo zyskało w Japonii rangę sportu. Powszechnym stało się też krzyżowanie shiby z angielskimi przybyszami. W latach 1912 - 1926 Shiba czystej rasy stała się niezmierną rzadkością, ograniczoną do swych pierwotnych obszarów.
W zachowanie czystej rasy shiby zaangażowali się wtedy myśliwi i inne wykształcone osoby. Ratowanie ograniczonej liczby czystych w typie psów rozpoczęło się na poważnie od 1928 roku, a w 1934 r. ujednolicono ostatecznie wzorzec rasy. W 1937 r. shibę uznano za pomnik przyrody, następnie rasę tę, nadal hodowaną, ulepszano, aby stała się taką jaką jest znana obecnie.