No Wood

For those learning Rambam at one chapter a day pace, this week we learnt Ch. 6 of the Laws of Foeign Worship and Customs of the Nations.  At the end of the chapter he discusses the law of our parsha, לֹֽא־תִטַּ֥ע לְךָ֛ אֲשֵׁרָ֖ה כׇּל־עֵ֑ץ אֵ֗צֶל מִזְבַּ֛ח י״י֥ אֱלֹקיך אשר תעשה לך.  The last law in that chapter says אָסוּר לַעֲשׂוֹת אַכְסַדְרָאוֹת שֶׁל עֵץ בַּמִּקְדָּשׁ כְּדֶרֶךְ שֶׁעוֹשִׂין בַּחֲצֵרוֹת, אַף עַל פִּי שֶׁהוּא בְּבִנְיָן וְאֵינוֹ עֵץ נָטוּעַ הַרְחָקָה יְתֵרָה הִיא שֶׁנֶּאֱמַר (דברים טז כא) "כָּל עֵץ". אֶלָּא כָּל הָאַכְסַדְרָאוֹת וְהַסְּבָכוֹת הַיּוֹצְאוֹת מִן הַכְּתָלִים שֶׁהָיוּ בַּמִּקְדָּשׁ שֶׁל אֶבֶן הָיוּ לֹא שֶׁל עֵץ:  The Raavad disagrees  א''א לשכת העץ בית היתה, בימה של עץ שעושין למלך בשעת הקהל לשעתה היתה. וכן גזוזטרא שהקיפו בעזרת נשים בשמחת בית השואבה לשעתה היתה:
In Beis Habechirah (1:9) the Rambam says וְאֵין בּוֹנִין בּוֹ עֵץ בּוֹלֵט כְּלָל אֶלָּא אוֹ בַּאֲבָנִים אוֹ בִּלְבֵנִים וְסִיד. וְאֵין עוֹשִׂין אַכְסַדְרוֹת שֶׁל עֵץ בְּכָל הָעֲזָרָה אֶלָּא שֶׁל אֲבָנִים אוֹ לְבֵנִים:  The Raavad says א''א והלא לשכת כהן גדול של עץ היתה ובשמחת בית השואבה מקיפין כל העזרה גזוזטרא אלא לא אסרה תורה כל עץ אלא אצל מזבח ה' והיא עזרת כהנים משער ניקנור ולפנים אבל בעזרת נשים ובהר הבית מותר:  
The Achronim ask a contradiction in the Raavad for in the first halacha, he seems to allow wooden structures in the Mikdash temporarily but in the second halacha he forbids them in the היכל?  Furthermore, in the second halacha he allows wooden structures outside the היכל even permanently, but in the first halacha he allows it only temporarily?
We see from the Rambam that there are two problems with making a wooden structure in the Mikdash.  As the name of the Laws indicate and from the possuk that establishes the issue with a אשרה tree, the Rambam derives all wooden structures are prohibited as to distance from idolatry.  (This may be a Rabbinic prohibition, see Kesef Mishne.)  In Beis Habechira, as the name of the laws indicate, the Rambam isn't mentioning a problem of using wood, rather that the Mikdash must be made from stone or bricks (see there previous halacha,) and therefore wood is excluded.  The Rambam isn't telling us a negative of wood, but that there is a positive law to build with stones of bricks.  Based upon this maybe we can understand the Raavad.  When it comes to the negative of using wood to distance from idolatry, the Raavad holds that if its a structure, not a tree and temporary there is no problem of it leading to idolatry.  However, in the Laws of Beis Habechirah he is coming to address the issue of building with materials other than stone/ bricks and there he says that it is a problem only in the עזרת כנהים.  (From the sefer קונטרס בעניין נטיעת עץ במקדש pg. 13 -17, https://hebrewbooks.org/pdfpager.aspx?req=57893&st=&pgnum=1&hilite=.)