Школа находится в старинном восьмиэтажном замке в Шотландии. На территории школы, кроме замка, есть горное озеро, большой лес, называемый Запретным из-за живущих там опасных существ (в частности, гигантских пауков и кентавров), оранжереи, кладбище (к концу шестой книги там появляется, среди прочих, белый мраморный склеп погибшего Альбуса Дамблдора), ещё несколько зданий, а также поле для игры в квиддич. Замок окружён горами.

Ближайшим населённым пунктом является маленькая деревушка Хогсмид — единственная деревушка в Англии, где живут только волшебники. Также Хогсмид название не только деревни, но и ближайшей к Хогвартсу железнодорожной станции, на которую прибывает поезд «Хогвартс Экспресс». На карте, которую Дж. К. Роулинг нарисовала для съёмок фильмов по своим книгам, станция находится к юго-востоку от школы, а деревня Хогсмид — к северо-западу.

В школу можно добраться не только поездом. Хотя трансгрессия (apparation) на территории школы невозможна, можно трансгрессировать в точку рядом со школой и дойти до школы пешком, как и произошло в шестой книге. В школу можно также добраться, используя летающие мётлы или летучий порох. В четвёртой книге Гарри Поттер возвращается в Хогвартс, используя портал.

Чтобы добраться от станции Хогсмид до замка, первокурсники пересекают озеро на небольших лодках (с озера открывается прекрасный вид на замок), а ученики старших курсов едут к замку в каретах, запряженных фестралами, проезжая через ворота, знаменующие вход на прилегающую уже непосредственно к замку территорию. На колоннах, на которых держатся ворота, стоят статуи крылатых вепрей, так как «Хогвартс» в переводе с некоторого древнего языка означает «долина вепрей».

Школа заколдована таким образом, что для маглов она выглядит руинами с табличкой «Вход воспрещён» (Keep Out).

Электрические и электронные устройства в Хогвартсе не работают из-за слишком большого присутствия магии.