La opción más recomendable para trabajar con python es hacer uso de entornos virtuales. Un entorno virtual en python no es más que un mecanismo para gestionar los paquetes de python en un entorno aislado, sin necesidad de ser root.

Cuando activamos un entorno virtual definimos un directorio donde podremos instalar cualquier versión de paquetes de Python para trabajar con ellos. Al ser entornos aislados podemos crear distintos entornos virtuales con distintas versiones y usar el entorno adecuado según nuestras necesidades, sin que afecten al resto de entornos.

Lo primero será instalar python en nuestro servidor

sudo apt-get install python3-venv 

Creamos nuestro entorno de desarrollo

python3 - m venv desarrollo_env

Para activar dicho entorno

source desarrollo_env/bin/activate

Una vez activado podemos instalar cualquier paquete de python que necesitemos con

pip install <modulo>

Para listar los módulos que hemos instalado

pip list 

Para salir del enotno virtual

deactivate