Non ho verificato la correttezza dei conti.
Trovata l'equazione della retta tangente $y-3=mx-5m$ la si mette a sistema con quella della circonferenza trattando $m$ come parametro. Si dovrebbe arrivare ad una equazione di secondo grado con parametro libero $m$. Successivamente si calcola il $\Delta$, sempre con parametro $m$, e lo si pone pari a $0$ (ciò significa che ci sarà una sola intersezione facendo riferimento alla formula risolutiva delle equazioni di secondo grado, infatti la retta tangente interseca la curva in un solo punto, quello di tangenza). Trovato $m$ da $\Delta=0$ lo si sostituisce nell'equazione della retta iniziale. Stesso procedimento per l'altro punto.
Un altro metodo sarebbe quello che hai provato ad utilizzare con la distanza punto retta. Si noti però che va considerato il centro della circonferenza.
Oltre questi metodi ci sarebbe anche un metodo con le derivate, ma generalmente non si utilizza alle superiori con le circonferenze.
Il metodo più rapido è il seguente: https://www.youmath.it/domande-a-risposte/view/6401-formule-di-sdoppiamento.html