Quais critérios de informatividade são utilizados na construção da árvore de decisão?

Ao construir um árvore de decisão, os critérios de informação ajudam a escolher a melhor característica para dividir os dados em cada nó. Os principais critérios:

• Entropia de informação e Ganho de Informação (Information Gain): mede a redução da incerteza após a divisão. Quanto maior o ganho de informação, melhor a característica separa os dados.

• Critério de Gini (Gini Impurity): avalia a probabilidade de classificar incorretamente um objeto escolhido ao acaso. Quanto menor o valor, melhor a separação.

• Coeficiente de Ganho de Informação (Gain Ratio): modificação do ganho de informação que leva em conta o número de ramos para evitar viés para características com muitos valores.

• Critério de Erro (Misclassification Error): proporção de objetos classificados incorretamente após a divisão.

A escolha do critério depende da tarefa e do algoritmo (por exemplo, ID3 usa entropia de informação, CART usa o critério de Gini).