Primero vamos a determinar las componentes del vector <img src="https://tex.z-dn.net/?f=%5Cvec%20B" /> :
<img src="https://tex.z-dn.net/?f=cos%5C%20%5Calpha%20%3D%20%5Cfrac%7BB_x%7D%7BB%7D%5C%20%5Cto%5C%20B_x%20%3D%20B%5Ccdot%20cos%5C%20%5Calpha%20%3D%2010%5Ccdot%20cos%5C%2060%20%3D%205" />
<img src="https://tex.z-dn.net/?f=cos%5C%20%5Cgamma%20%3D%20%5Cfrac%7BB_z%7D%7BB%7D%5C%20%5Cto%5C%20B_z%20%3D%20B%5Ccdot%20cos%5C%20%5Cgamma%20%3D%2010%5Ccdot%20cos%5C%20120%20%3D%20-%205" />
Los cosenos directores deben cumplir la siguiente condición :
<img src="https://tex.z-dn.net/?f=cos%5E2%5C%20%5Calpha%20%2B%20cos%5E2%5C%20%5Cbeta%20%2B%20cos%5E2%5C%20%5Cgamma%20%3D%201" />
Como los valores de los cosenos están al cuadrado, vemos que el <img src="https://tex.z-dn.net/?f=cos%5C%20%5Cbeta%20%3D%20%5Cfrac%7B%5Csqrt%202%7D%7B2%7D" />.
Pero debe ser negativo porque nos dicen que es un ángulo mayor que 90º.
Puede ser 225º o 315º, porque ambos ángulos cumplen con ambas condiciones.
<img src="https://tex.z-dn.net/?f=B_y%20%3D%2010%5Ccdot%20%5Cfrac%7B%5Csqrt%202%7D%7B2%7D%20%3D%20-%205%5Ccdot%20%5Csqrt%202" />
Hacemos ahora el vector <img src="https://tex.z-dn.net/?f=%5Cvec%20C%20%3D%20%5Cvec%20A%20-%20%5Cvec%20B" /> :
<img src="https://tex.z-dn.net/?f=%5Cvec%20C%20%3D%20%284-5%29%5Cvec%20i%20%2B%20%285%20%2B%205%5Csqrt%202%29%5Cvec%20j%20%2B%20%282%2B5%29%5Cvec%20k" />
Por comodidad trabajamos con números decimales para la componente "y" y calculamos el módulo de C :
<img src="https://tex.z-dn.net/?f=C%20%3D%20%5Csqrt%7B1%5E1%20%2B%2012%2C07%5E2%20%2B%207%5E2%7D%20%3D%2013%2C99" /> (Al estar al cuadrado siempre nos queda positivo)
Ahora hacemos el producto escalar de los vectores <img src="https://tex.z-dn.net/?f=%5Cvec%20B" /> y [img = 10].
Hay dos formas de hacer ese producto escalar :
[img = 11]
[img = 12]
Igualando ambas expresiones y despejando [img = 13] :
[img = 14]
Si te gusta la respuesta la puedes poner como la mejor ; - ).