Per una mia inveterata idiosincrasia alla revisione di manoscritti non so darti un parere sulla correttezza delle tue procedure e, di conseguenza, sull'esattezza dei tuoi risultati.
Però posso mostrarti come avrei fatto io, poi il confronto lo fai tu.
------------------------------
L'equazione del fascio
* r(k) ≡ 2*(k + 1)*x + (k - 1)*y - (11*k + 1) = 0
ha parametrici tutt'e tre i coefficienti, perciò presenta tre casi particolari.
---------------
1) r(- 1/11) ≡ y = (5/3)*x: retta per l'origine, nei quadranti dispari.
2) r(1) ≡ x = 3: retta parallela all'asse y.
3) r(- 1) ≡ y = 5: retta parallela all'asse x.
---------------
Pertanto si ha
* centro C(3, 5)
* r(k) ≡ (r(1) ≡ x = 3) oppure (y = (11*k + 1)/(k - 1) - 2*((k + 1)/(k - 1))*x) ≡
≡ (x = 3) oppure (s(m) ≡ y = m*x - (3*m - 5))
dove
* m = - 2*(k + 1)/(k - 1)
è la pendenza delle rette distinte dalla x = 3, e
* k = (m - 2)/(m + 2)
------------------------------
Le s(m), tranne ovviamente la s(0) ≡ y = 5, hanno intersezioni con gli assi in
* X((3*m - 5)/m, 0) oppure Y(0, 5 - 3*m)
formando con essi triangoli con area, semiprodotto dei cateti,
* S(OXY) = ((3*m - 5)/m)*(5 - 3*m)/2 = - (3*m - 5)^2/(2*m)
---------------
* - (3*m - 5)^2/(2*m) = 98/3 ≡ (m = - 3) oppure (m = - 25/27)
valori cui corrispondono
* k = (- 3 - 2)/(- 3 + 2) = 5 > 0 Ok!
* k = (- 25/27 - 2)/(- 25/27 + 2) = - 79/29 < 0 Nobbuono!
quindi la retta richiesta e la sua perpendicolare sono
* r ≡ s(5) ≡ y = 14 - 3*x
* s ≡ s(1/3) ≡ y = x/3 + 4
da cui D(0, 4)
---------------
* |CD| = |(0, 4) - (3, 5)| = √10
* Γ(C) ≡ (x - 3)^2 + (y - 5)^2 = (√10)^2
* r & Γ ≡ (y = 14 - 3*x) & ((x - 3)^2 + (y - 5)^2 = 10) ≡
≡ boh(2, 8) oppure B(4, 2)
* Γ(B) & Γ(D) ≡ A(1, 1) oppure C(3, 5)
e s'individua il quadrato di vertici
* A(1, 1), B(4, 2), C(3, 5), D(0, 4)
------------------------------
”Individua i valori di k per cui le rette del fascio intersecano il quadrato”
Le rette del fascio centrato in C intersecano il quadrato che ha un vertice in C se e solo se hanno pendenza compresa (strettamente, se "intersecano" s'intende alla lettera) fra quelle dei lati convergenti su C.
* BC ≡ r ≡ y = 14 - 3*x
* CD ≡ s ≡ y = x/3 + 4
da cui la condizione restrittiva
* - 3 < m < 1/3 ≡
≡ - 3 < - 2*(k + 1)/(k - 1) < 1/3 ≡
≡ (k < - 5/7) oppure (k > 5)