日本原来并不叫日本。在古代日本神话中，日本人称其为“八大洲”“八大岛国”等。据《汉书》《后汉书》 记载，我国古代称日本为“倭”或“倭国”。公元五世纪，日本统一后，国名定为“大和”。因为古代日本人崇尚太阳神，所以将太阳视为本国的图腾。相传在七世纪初，日本的圣德太子在致隋炀帝的国书中写道：“日出处天子致日落处天子”，这就是日本国名的雏形。直到七世纪后半叶，日本遣唐史将其国名改为“日本”，意为“太阳升起的地方”，其后沿用，成为日本的正式国名。《新唐书·日本传》中有记载：咸亨元年（670年），倭国遣使入唐，此时倭国已“稍习夏言，恶倭名，更号日本。使者自言，因近日出，以为名。”此外，在汉语中，“扶桑”“东瀛”也是日本国名的别称。
约公元1世纪，日本各地有100多个小国（其中有的与东汉建立了外交关系）。后来，这些小国逐渐得到统一。
到了公元4世纪，在关西地方建立了比较大的国家，据说最终将它们统一起来的是当今天皇族的祖先。当时，日本国的范围包括本州西部、九州北部及四国。
于是，经过了漫长的岁月，国家才得以统一。所以很难对日本国诞生的确实年代作出准确的判定。据《古事记》和《日本书纪》记载，第一代天皇——神武天皇于公元前660年建国并即位，即位日相当于现在的公历2月11日，因此就把这一天定为“建国纪念日”。