Onder de stenen gaat waarschijnlijk gele zavel of stabilise of iets dergelijks liggen. Dat is geen goede grond voor planten. Je gaat meer moeten afvoeren dan alleen die tegels.
De ondergrond gaat waarschijnlijk ook heel compact zijn geworden, dus je je gaat die compacte laag diep moeten doorbreken. Als test kan je een emmer water op die plek uitgieten en zien of het water weg kan. Als dat niet het geval is, dan gaat regenwater ook niet wegkunnen. Tenzij je waterminnende planten kiest en er een moerastuintje van maakt, zullen de wortels van je planten dan gewoon wegrotten.
En dan ga je goede grond moeten aanvoeren. Wat "goede grond" is hang af van welke planten je er wil zetten.
Als die tegel 30 cm2 is, is 1 tegel eruit halen echt te weinig.
De plantjes die je koopt zijn op dat moment meestal klein. Ze worden niet alleen hoger, maar ook breder. Als je ze te dicht tegen een muur plant (een fout die veel beginners maken), kunnen ze niet mooi uitgroeien, en als je ze dichter tegen de resterende tegels zet, vinden ze aan die kant geen goede grond om in te wortelen.
Voor je planten koopt, zoek dan op hoe hoog en hoe breed ze worden en zorg dan voor een plaats waar ze die ruimte effectief kunnen innemen. Kijk ook eens hoeveel schaduw hogerer planten waar op welk moment van de dag gaan werpen. Als er op die 5,5 x 9 ook nog een tuinhuisje staat, dan lijken mij een dakboom én een paar olijfbomen best veel. Maar je wil in elk geval niet dat dat die dakboom het licht wegneemt van die olijfbomen.
Als je een olijfboom overweegt, werp dan zeker eens een blik op
https://fd.nl/fd-persoonlijk/1162413/ehbo-eerste-hulp-bij-olijfbomen
Kleine aanvulling op wat daar staat: als je de bomen in pot zet, zorg dan zeker voor drainage gaten onderaan. En nee, een laag hydrokorrels volstaat niet.