Downton Abbey utspelar sig på det fiktiva godset Downton Abbey i engelska North Riding of Yorkshire, där tittarna får följa den aristokratiska familjen Crawley och dess tjänstefolk i början av 1900-talet.

Första säsongen utspelar sig mellan Titanics förlisning 1912 och första världskrigets utbrott 1914. Andra säsongen utspelar sig mellan åren 1916 och 1919, och 2011 års julavsnitt utspelar sig över långhelgen jul-nyår 1919–1920. Tredje säsongen utspelar sig mellan mars och augusti 1920, och julspecialen utspelar sig i augusti 1921. Den fjärde säsongen utspelar sig under 1922 och julspecialen under sommaren 1923, medan den femte säsongen tar sin början 1924 och avslutas av en julspecial som utspelar sig under jul och nyårsafton 1924. Den sjätte säsongen utspelar sig under 1925.