Aiutino per geometria

Effettivamente hai commesso una svista nelle condizioni di esistenza, ci arriveremo a breve, prima occorre realmente dimostrare che $\overline{OC} \cong \overline{OB}$, aiutati seguendo questa figura:

$G$ è il punto di intersezione fra $\overline{BC}$ e la semicirconferenza ($\overline{BC}$ è tangente per costruzione, altrimenti il trapezio non sarebbe circoscritto alla semicirconferenza), mentre $F$ è un altro punto di tangenza, l'intersezione tra $\overline{CD}$ e la perpendicolare alla base $\overline{AB}$ passante per $O$. Nota che il triangolo $OFG$ è un triangolo isoscele, perché $\overline{OF} \cong \overline{OG}$ sono congruenti in quanto raggi della semicirconferenza, quindi gli angoli alla base $\alpha \cong \alpha '$ sono congruenti, lo stesso vale per $\gamma \cong \gamma '$ perché sono angoli complementari rispetto ai corrispondenti $\alpha \cong \alpha '$ perché un raggio è sempre perpendicolare alla tangente. $\overline{OC}$ è necessariamente la bisettrice dell'angolo $\widehat{FCB}$ che lo divide in $\beta \cong \beta '$, perché se non lo fosse, uno tra $FCB$ e $FGO$ non potrebbe isoscele (perché ad esempio il lato $\overline{FC}$ non sarebbe più congruente a $\overline{GC}$), tuttavia lo sono entrambi. Gli angoli $\beta "\cong \beta$ sono congruenti perché sono angoli alterni interni, ma siccome $\beta " \cong \beta \cong \beta '$ allora $\beta " \cong \beta '$. Dato che gli angoli alla base del triangolo $OCB$ $\beta ' \cong \beta "$ sono congruenti, il triangolo $OCB$ è isoscele, quindi $\overline{BC} \cong \overline{OB}$. 

Oltre alle doverose condizioni di esistenza sul radicando, avresti dovuto porre anche l'altro membro maggiore o uguale a $0$, altrimenti avresti una contraddizione, quindi $3x-11a \geq 0 \implies x \geq \frac{11}{3}a$ (che messa a sistema con le altre risulta che la condizione di esistenza è semplicemente $x \geq \frac{11}{3}a$, non puoi considerare $x<-3a$ perché $a$ è positivo, dato che la semicirconferenza ha raggio $3a$, considerare entrambe sarebbe una contraddizione), quindi risolvendo $8x^2-66ax+130a^2=0$ otterresti $x_{1,2}=\frac{(33\pm7)a}{8}$, da cui $x_1=\frac{33-7}{8}a=\frac{26}{8}a=\frac{13}{4}a =3.25a$ e $x_2=\frac{33+7}{8}a=\frac{40}{8}a=5a$, dovresti scartare $x_1$ perchè $3.25 <3.\overline{6}$, quindi ti resterebbe come unica soluzione $x=5a$. Da cui naturalmente ottieni $B+b=20a-x-3a=20a-3a-5a=12a$, quindi $A=\frac{(B+b)h}{2}=\frac{12a\cdot 3a}{2}=18a^2$.

Giusto una dritta....

Ometto per ora la discussione completa che aggiungerò in seguito.

Discussione generale.

Non e' richiesta per il tuo problema ma nelle nostre terze liceo scientifico si faceva anche questo.