რა არის დისტილაცია?

ජ්ඣානයේ දියුණු කිරීම (knowledge distillation) යනු යන්ත්‍ර ඉගෙනීමේ ක්‍රමයකි, මෙහිදී විශාල, සංකීර්ණ ආකෘතියක (ගුරුවරයා) ඇති දැනුම කුඩා හා වේගවත් ආකෘතියකට (ශිෂ්‍යයා) මාරු කරයි. අරමුණ වන්නේ ආකෘතියේ ප්‍රමාණය හා ගණනය කිරීමේ වියදම් අඩු කරමින් ඉහළ නියමතාවක් රැඳවීමයි.

මෙම ක්‍රියාවලිය සාමාන්‍යයෙන් ගුරුවරයාගේ නිමැවුම් (උදාහරණයක් ලෙස, පන්තියන්ගේ සම්භාවිතා) මත ශිෂ්‍යයා පුහුණු කිරීම ඇතුළත් වේ, මුල් ලකුණු පමණක් නොව. මෙය ශිෂ්‍යයාට හොඳින් සාමාන්‍යීකරණය කිරීමට සහ ගුරුවරයාගේ හැසිරීම අසළට ගෙන යාමට උදව් කරයි.

ආවරණ උදාහරණයක්: විශාල නියුරෝන ජාලයක් විශාල දත්ත කට්ටලයක පුහුණු කරයි, පසුව එහි දැනුම කුඩා ආකෘතියකට දියුණු කරයි, එය සීමිත සම්පත් ඇති ජංගම උපාංගවල භාවිතා කළ හැකිය.