Personalidad sumamente activa en el ámbito académico, destaca por sus iniciativas en pro de la reforma educativa en Alemania; fue el alma de la Comisión Internacional de Enseñanza creada en Roma en 1908, y concibió y dirigió la Enciclopedia de las matemáticas.
Nació en Dusseldorf. En la Universidad de Bonn fue alumno de Plucker, quien, al término de los estudios, lo nombró su auxiliar. Amplió su preparación en BerlÏn y Gotinga. Dudoso entre dedicarse a las matemáticas o a la física, el profesor Clebsch dio a sus investigaciones la orientación correcta y lo inclinó hacia el estudio de la primera. Viajó luego a Francia y continuó sus estudios en la Universidad de París. En 1869 y 1870 cooperó estrechamente con su colega noruego Sophus Lie, colaboración de la cual se derivó el trabajo de este último sobre los denominados grupos continuos.
En 1872, tras haber ingresado como profesor en la Universidad de Erlangen, pronunció una conferencia inaugural en la que ofreció una visión general de la geometría desde el punto de vista de la teoría de grupos, que ejerció poderosa influencia en el desarrollo ulterior de la disciplina. En ella afirmó que cada geometría (esto es, la euclidiana tradicional y las no euclidianas desarrolladas por Bolyai y Lobachevski) podía ser explicada mediante la teoría de los invariantes según un grupo particular de transformaciones. Klein probó la independencia de la geometría proyectiva del axioma de Euclides de las paralelas, demostrando así que tanto la geometría euclidiana como la no euclidina se encontraban comprendidas en la geometría proyectiva y que eran igualmente verdaderas con respecto a una métrica particular. También realizó destacadas aportaciones en los campos de las funciones elípticas, modulares y muy especialmente en el de las funciones automorfas.
En 1880 se trasladó a Leipzig y, seis años después a Gotinga, donde residió el resto de su vida. En sus últimos años ofreció un curso sobre el desarrollo de las matemáticas en el siglo XIX. A partir de 1895 impulsó el proyecto de la Enciclopedia , que supervisó hasta su muerte. Falleció en Gotinga.