Ciao!
Per prima cosa bisogna capire cosa si sta integrando.
Abbiamo una forma differenziale di classe $C^{1} $ da integrare su un dominio chiuso e normale rispetto agli assi.
Possiamo, dunque, applicare la formula di Green:
$\int_ \gamma f_{1}(x,y)dx+f_{2}(x,y)dy=\int\int_D ( \frac{\partial f_{2}}{\partial x}- \frac{\partial f_{1}}{\partial y})dxdy$
Ora, il dominio D ci è dato dal testo, mentre per calcolare il rotore in $R^{2}$ basta effettuare le derivate parziali.
$\int\int_D ( \frac{\partial f_{2}}{\partial x}- \frac{\partial f_{1}}{\partial y})dxdy =$
$\int\int_D (\frac{\partial (x^2y^2+settsinh(x)-xcos(y))}{\partial x} -\frac{\partial ( \frac{xy^3}{3} + \frac{y}{ \sqrt{1+x^2}}-sin(y) )}{\partial y})dxdy =$
$= \int_1^4 \int_1^3 (2xy^2+ \frac{1}{ \sqrt{1+x^2}}-cos(y)-xy^2- \frac{1}{ \sqrt{1+x^2}}+cos(y))dydx = \int_1^4 \int_1^3 xy^2 dydx = $
$ = (\int_1^4 xdx)(\int_1^3 y^2dy) = \frac{15}{2}. \frac{26}{3} = 65 $
Spero non ci siano errori, è sera anche per me ;).