En japonais, Shiba inu signifie "petit chien" mais peut aussi être interprété comme « chien de petite broussaille ». Le Shiba est à l'origine un chien de chasse au petit gibier et aux oiseaux. Le berceau de la race est situé dans les régions montagneuses face à la mer du Japon. Selon les endroits d'où il provenait, il y avait de petites différences physiques entre les sujets de cette race. En effet on distingue trois types de Shiba : Shinshu Shiba, Mino Shiba, San'in Shiba.


Durant la révolution industrielle japonaise (1898 à 1912), des Setters anglais et des Pointers sont importés au Japon et croisés aux Shibas. Par ailleurs, les chiens étrangers sont utilisés pour la chasse au détriment des races indigènes. Le type originel devient de plus en plus rare et entre 1912 et 1926, la race est proche de l'extinction. Vers 1928, des chasseurs et des lettrés entreprennent de sauvegarder les quelques lignées pures. Le Dr Saito se préoccupe notamment de préserver les races de chien japonaises.


En 1928, il fonde avec d'autres intellectuels le Nihonken Honzonkai (Nippo), le club de préservation des races japonaises reconnus officiellement.

En 1934 le standard de la race est établi.
 

En 1937, le Shiba est déclaré « monument naturel ».