czy na działce MR można wybudować budynek rekreacji indywidualnej?

[wioskomaniak]

Witam Państwa. Kilka lat temu kupiłem od Skarbu Państwa wiejską działkę o powierzchni 3500 m2 na której był poniemiecki budynek gospodarczy i fundament kamienny (około 1 metr nad gruntem) z betonowymi podłogami po zburzonym budynku mieszkalnym. W akcie notarialnym działka jest oznaczona jako MR, czyli zabudowa mieszkaniowa zagrodowa. Zgodnie z decyzją o warunkach zabudowy, wydaną kilka lat temu przez Gminę, mogę na niej wybudować dom jednorodzinny, budynek gospodarczy, zbiornik bezodpływowy, przyłącze wodociągowe z własnym ujęciem wody.
W tym roku, wraz z aktualnymi mapami i innymi załącznikami, zgłosiłem zamiar budowy budynku gospodarczego i rekreacji indywidualnej (o powierzchni do 35 m2). Okazało się, że nie mogę rozpocząć tych inwestycji ponieważ muszę odrolnić fragmenty działki. Działka jest wg mapy podzielona na 3 fragmenty 1/4 to Br-RIVb (odrolniona), 1/4 RIVb i 1/2 powierzchni działki to ziemia rolna klasy RV. Paradoksalnie na RV (czyli na fragmencie nieodrolnionym) dalej na mapie widnieje fundament budynku około 120 m2 wraz ze schodami na którym zamierzałem usytuować budynek rekreacji indywidualnej (nazwa którą znalazłem w ustawie Prawo budowlane).
Jak to możliwe, że kupując działkę MR nie mogę jej zagospodarować bez odrolnienia? W akcie notarialnym nie było napisane nic o ograniczeniach. Sądziłem, że cała działka ma taki sam status, a teraz dowiaduję się, że mogę dodatkowo ponieść ogromne koszty.
Bardzo proszę o Waszą opinię.