Какво са EFB и GOSS в LightGBM?

В LightGBM, EFB (Exclusive Feature Bundling) и GOSS (Gradient-based One-Side Sampling) са две техники за оптимизация, които подобряват производителността и скоростта на обучение на модела.

• EFB (Ексклузивно обединяване на характеристики): метод, който обединява взаимно изключващи се характеристики в една, за да намали размерността на данните и да ускори обучението. Например, ако две характеристики никога не приемат ненулеви стойности едновременно, те могат да бъдат обединени в една, запазвайки информацията, но намалявайки броя на характеристиките.

• GOSS (Градиент-базирано едностранно сэмплиране): техника за избор на подмножество от данни за обучение, при която се запазват всички примери с големи градиенти (т.е. тези, на които моделът греши по-силно), а от примерите с малки градиенти се взема случайна извадка. Това позволява да се фокусира върху трудните примери и да се ускори обучението без значителна загуба на качество.

И двете техники помагат на LightGBM да работи ефективно с големи и разредени таблични данни, подобрявайки скоростта и качеството на буустинга.