Początki wsi związane są z założeniem w tym miejscu folwarku książęcego, co nastąpiło pomiędzy 1581 a 1585 rokiem, kiedy przeniesiono tutaj główną siedzibę folwarku z sąsiednich Pużyc (jako miejsce Wysokie było po raz pierwszy wzmiankowane już w 1571 r.). Dokonano tego na polecenie Piotra Kemeke, marszałka dworu księcia Jana Fryderyka (1542–1600), który po Erneście Wejherze przez kilka lat (do 1588 r.) zarządzał dobrami książęcymi w ziemi lęborskiej. Przeniesienie polegało w zasadzie na zbudowaniu zupełnie nowego zespołu zabudowań folwarcznych na nowym miejscu, gdyż wcześniej tymczasową siedzibą folwarku było dawne gospodarstwo sołtysa w Pużycach. Według inwentarza z 1588 r. na terenie folwarku w Wysokiem wzniesiono przed czterema laty nowe drewniane budynki (in diesem hoeffe sein vierahnsehnnliche in holtz gemeuerte gantz newe zimmer befunden): dom mieszkalny o 12 wiązarach, stodołę o 3 klepiskach i 30 wiązarach, owczarnię o 30 wiązarach z małym domkiem owczarza, a także chlew dla świń. Na podwórze wewnętrzne prowadziło aż siedem bram, a pośrodku znajdowała się studnia. Co do samej nazwy, to wolno przypuszczać, że jest ona prostym odniesieniem do topografii terenu, ponieważ patrząc od strony Pużyc, Wysokie jest rzeczywiście położone na szerokim wzniesieniu, które znacznie góruje nad okolicą (grunty Pużyc znajdują się przeciętnie na wysokości ok. 70–80 m n.p.m., podczas gdy pola Wysokiego położone są na wysokości ok. 110–120 m n.p.m., co daje ok. 40 m różnicy na przestrzeni zaledwie ok. 3 km). Trudno powiedzieć, gdzie dokładnie były usytuowane zabudowania folwarczne. Najstarsze mapy okolicy pochodzą dopiero z lat 30. XIX w., kiedy folwark już co najmniej od pół wieku nie istniał, a jego pola zostały rozparcelowane pomiędzy nowych osadników. Być może znajdował się on na otoczonym bagnami półwyspie ok. 200 m na południe od dzisiejszej zabudowy wsi, który na początku XX w. został opisany jako grodzisko. Niewykluczone, że jakieś widoczne jeszcze w tym czasie pozostałości po dawnym folwarku, które przypominały prostokątny szaniec, zostały właśnie uznane za prehistoryczny okop.

Bardzo dokładny opis zabudowań folwarku w Wysokiem znajduje się w tekście lustracji dóbr królewskich starostwa lęborskiego sporządzonej przez pisarza skarbu królewskiego Stanisława Lubienieckiego w 1638 r., tj. po wymarciu dynastii Gryfitów i powrocie tej ziemi pod bezpośredni zarząd królów polskich. 
Na podstawie zachowanych opisów można w ogólnych zarysach zrekonstruować kształt zabudowań folwarcznych jako zespół budynków założonych na planie prostokąta, w którym po jednej stronie, od frontu, znajdował się duży dom gospodarski, po drugiej – stodoła, po trzeciej – owczarnia, a po czwartej – owczarnia połączona z oborą i spichlerzem. Cześć budynków wykonana była w technice „pruskiego muru”, czyli w konstrukcji szkieletowej wypełnionej cegłą, a część z drewna. Ich pokrycie stanowiły słomiane strzechy. Wokół folwarku ciągnął się solidny płot, płotem przegrodzono również w poprzek podwórze. W domu gospodarskim, który był zapewne mieszkaniem dla dwornika, dworki i najemnej czeladzi, znajdowało się kilka pomieszczeń wyposażonych w szklane okna, piece kaflowe, kominki, stoły i ławy. Budynek ten był podpiwniczony, a przed nim usytuowana była studnia. Według lustratora zabudowania folwarczne zostały wzniesione w 1582 r., we wcześniejszych inwentarzach określono datę jego budowy na rok 1584, ale ze względu na liczbę i skalę budynków można założyć, że powstawały one przez kilka lat, być może zatem pierwsza data to początek, a druga to moment zakończenie budowy najważniejszych elementów folwarku.

Folwark w Wysokiem został zlikwidowany po 1772 r., tj. po I rozbiorze Polski i wcieleniu ziemi lęborskiej do Królestwa Pruskiego, a jego ziemię rozparcelowano pomiędzy kolonistów. Pierwszy spis mieszkańców nowej wsi pochodzi z 1776 r. Sołtysem był wówczas Gottfried Mielcke, a pozostali gospodarze to: Marx, Österrich, Tessmann, Zager, Treppler, Pantz, Borck, Weiss, Rösecke, Nawitzky, Gronow, Piesch (pasterz) – w większości zapewne Niemcy. Według opisu geograficzno-statystycznego dawnego Księstwa Pomorskiego pióra Ludwika Wilhelma Brüggemanna (1743-1817), opublikowanego na przełomie lat 70. i 80. XVIII w., w Wysokiem mieszkało wówczas 12 wolnych gospodarzy, ale w sumie, razem z sołtysem, we wsi było 13 "dymów". Pierwszy w miarę dokładny obraz kartograficzny nowej wsi pochodzi z lat 30. XIX w. i można się na nim doliczyć ok. 13 gospodarstw.

Cmentarz.
Cmentarz poewangelicki (o powierzchni ok. 20 arów), został założony w II poł. XIX w., zlokalizowany w lesie, po południowej stronie polnej drogi prowadzącej z Wysokiego do Brzeźna Lęborskiego, ok. 900 m na zachód od dawnej szkoły (obecnie kaplicy i biblioteki) w Wysokiem. Teren cmentarza należy do Zarządu Lasów Państwowych i nie jest objęty planami przestrzennymi. Jego obszar jest porośnięty rzadkim wysokopiennym lasem, który w podszyciu ma liczne paprocie, pod którymi w okresie letnim trudno znaleźć ocalałe resztki nagrobków. Cmentarz otoczony jest pozostałościami kamiennego muru z wejściem od strony zachodniej.
Mimo, iż znajduje się on na płaskim terenie, to nie jest zbyt dobrze widoczny z zewnątrz. Ostatni pochówek według dostępnej dokumentacji odbył się w roku 1939. Najstarszy istniejący nagrobek, datowany jest na 1896 rok. 

Na terenie cmentarza odnajdziemy wiele kamiennych postumentów bez tablic inskrypcyjnych, gdzieniegdzie w trawie lub liściach znajdziemy pozostałości po żeliwnych elementach, które niegdyś zdobiły groby tam istniejące. W części ,,dziecięcej'' natrafimy na cokoły w kształcie pnia drzew. Jest też kilka kwater rodzinnych, których granice wyznaczają już dziś tylko ramy. Tu i ówdzie na kamiennych nagrobkach zauważymy fragmenty porobijanych tablic nagrobnych, które jednak z uwagi na stopień zniszczenie trudno odczytać. 

Przy jednej z mogił leży ułamany kamienny krzyż, w którym tkwi cała (na szczęście) tablica inskrypcyjna. Można na niej odczytać:

Cmentarz założony na rzucie prostokątnym. Niestety do dziś nie zachowały się jakiekolwiek pozostałości ścieżek czy alejek. 

Ogólny stan zachowania cmentarza jest bardzo zły. Jego teren jest zdewastowany, nagrobki porośnięte trawą i samosiejkami. Brak większości tablic indentyfikacyjnych, elementów żeliwnych brak. 

Drzewostan zachowany w stanie dobrym.