Высокие Эльфы относят себя к наиболее высокоразвитой культуре Тамриэля; общий для Империи язык, Тамриэльский, основан на речи и письменности Альтмеров, и большинство искусств, ремесел, наук Империи происходят из культурной традиции Высоких Эльфов. Ловкие, интеллигентные, и волевые, Высокие Эльфы часто оказываются одарены в тайных искусствах, а также сами Высокие Эльфы утверждают, что их "чистая" физическая природа предохраняет их от болезней лучше, чем прочие "низшие" расы.
После того, как родина эльфов, Алдмерис, по неизвестным причинам стал непригоден для жизни, эльфы начали заселять Тамриэль. Сначала самый сильный клан альдмеров – Диренни, основал Адамантиновую Башню в Хай Роке. Немного позднее эльфы островов Саммерсет построили Хрустальную Башню. Самой последней была основана Башня Белого Золота, построенная айлейдами в Нибенайской Долине. Башня Белого Золота пребывала в вассальной зависимости от островов Саммерсет, она подчинялась династии алинорских королей.
Альдмеры доминировали в Тамриэле в течение всей Эльфийской Эры, вытесняя зверолюдей и порабощая человеческие племена. В течение Средней Эльфийской Эры старая раса алдмеров начала видоизменяться и порождать новые расы. Часть изменилась под влиянием климатических условий, другие – скрещиваясь с людьми, на некоторых повлиял Лорхан, иные попали под влияние даэдр. В то время, когда остальные кланы алдмеров менялись и становились другими эльфийскими расами, обитатели островов Саммерсет старались свести к минимуму вмешательство чужаков в свои дела. Таким образом, они сохраняли старые традиции и не заимствовали элементы из чужих культур, и это дало им основание верить, что они являются наиболее чистокровными потомками эльнофи. Раса алдмеров распалась, и эльфы с островов Саммерсет начали называть себя альтмерами – высокими эльфами.
Задолго до начала эры людей второй по величине остров архипелага островов Саммерсет, Артэйум, стал прибежищем псиджиков, адептов Старой Веры. Псиджики выступали в роли советников королей островов Саммерсет и некоторых членов императорской династии Третьей Империи.
В самом начале Первой Эры королем Эплиром была основана Каморанская династия Валенвуда. Айлейды из Башни Белого Золота воспользовались Валенвудом как щитом, которым они защищали себя от влияния Алинора. Это привело к тому, что айленды стали более независимы и, через некоторое время, провозгласили Башню Белого Золота независимым городом-государством.
Пока клан Диренни вел долгую, упорную и, как оказалось, безуспешную борьбу с людьми, остальные алтмеры заперлись от людей на островах Саммерсет. Первая человеческая Империя распалась слишком быстро, чтобы причинить саммерсетским алтмерам серьезное беспокойство.
Алтмеры предпочли платить дань, чтобы уберечь себя от возможного вторжения на острова Саммерсет войск Второй Империи. Династия Реманов, по-видимому, была удовлетворена таким положением дел, и направляла в острова Саммерсет не армии, а дипломатов.
В 230-м году 2Э на островах Саммерсет, в Фестхолде, была основана первая Гильдия Магов, которая вскоре обрела влияние во всем Тамриэле. Магические услуги перестали быть доступными лишь благородным и богатым людям, ведь Гильдия, в отличие от псиджиков, предлагала свои услуги всем, даже простолюдинам.
В 830-м году 2Э образовался Доминион Алдмери. Это произошло после того, как наследники каморанской династии начали борьбу за трон Валенвуда. Когда одна из фракций босмеров предложила своим давним врагам, восточному Киродиилу, мирный договор – территориальные уступки в обмен на поддержку своего претендента, алтмеры островов Саммерсет вторглись в Валенвуд. От имени их собственного претендента Каморана Анаксемеса, высокие эльфы разгромили войска коловианцев и установили в Валенвуде временное правительство – Талмор. Согласно договоренности, Валенвуд был должен в течение пятидесяти лет пребывать в вассальной зависимости от короля Алинора.
Во время становления Третьей Империи Доминион Алдмери создал коалицию с ричменами, маормерами и, возможно, Конфедерацией Эльсвейр. Военная мощь и альянсы не были эффективными мерами против Нумидиума, секретного оружия Тайбера Септима, и Доминион, в числе самых последних государств, покорился Империи. Произошло это в 896-м году 2Э, когда практически все регионы Тамриэля стали частями Империи людей.
С тех пор острова Саммерсет официально считаются имперской провинцией, хоть короли Алинора на практике и не были покорными вассалами Императора. Больше в истории алтмеров не известно ничего примечательного – за исключением нескольких войн, в которых принимали участие острова Саммерсет. В 110 году 3Э разразилась Война Острова, в которой объединенный альянс королей Саммерсет и Империи разгромил короля Оргнума из Пиандонеи благодаря внезапно возникшей буре. В 396 высокие эльфы объявили Валенвуду войну, которая получила название Войны Синего Разделения. Воспользовавшись невмешательством Императора, алтмеры взяли в осаду Вилдхэрт и захватили множество прибрежных островов.
Последние известные данные датируются 433 годом 3Э - на земле алтмеров все сильнее распространяется даэдропоклонничество, а синдикаты волшебников островов Саммерсет организовали эмбарго на имперские товары.