É possível construir um RandomForest sobre KNN, modelos lineares e redes neurais? Por quê?

RandomForest é um método de ensemble que constrói múltiplas árvores de decisão em amostras aleatórias e subconjuntos de características. Destina-se a trabalhar com árvores de decisão, que são modelos básicos neste algoritmo.

Não é possível construir um RandomForest "sobre" KNN, modelos lineares ou redes neurais no sentido clássico, porque o RandomForest não é um método de ensemble de modelos arbitrários, mas um algoritmo específico que utiliza árvores de decisão.

Falando de ensembles em geral, podem-se criar ensembles de diferentes modelos (por exemplo, stacking), onde os modelos base serão KNN, modelos lineares, redes neurais, etc. Mas isso já não seria um RandomForest, mas uma abordagem mais geral para ensemble.

Resumindo:

• O RandomForest é construído a partir de árvores de decisão.
• Não se pode usar KNN, modelos lineares ou redes neurais como modelos base dentro de um RandomForest.
• Para combinar diferentes modelos, usam-se outros métodos de ensemble (bagging, boosting, stacking).