Python

Quanti clienti devono essere elaborati contemporaneamente e come determinare la capacità richiesta (ad esempio, con una base di 5 miliardi di clienti)?

Capisco correttamente che prima cercavate la corrispondenza minima (ad esempio, la corrispondenza per paragrafi), e poi semplicemente esportavate l'intero documento e lo inviavate nel contesto del LLM?

Come verrà avviato e gestito questo modello/servizio, considerando che l'SMS deve essere inviato in un momento specifico secondo un orario?

Se questa è un'API, cosa ci sarà nel corpo della richiesta HTTP in ingresso e cosa restituisce il modello?

Quindi bisogna monitorare non solo le metriche di qualità del modello, ma anche i dati su cui si basa questo modello, giusto?

Un esempio più semplice: invio di SMS con un'offerta per comprare salsicce, ma inizia il digiuno ortodosso — cosa cambia in questo caso e a cosa bisogna prestare attenzione?

La banca [nome] vuole inviare SMS su una nuova offerta ipotecaria solo ai clienti target, non a tutti. Quale modello è necessario qui e cosa è importante considerare dal punto di vista aziendale?

Avvolgeremo il modello in un contenitore, giusto?

Cosa verifica esattamente Kubernetes prima di avviare un servizio (prontezza)?

Quali modelli di ML, oltre agli LLM, conosci dal punto di vista dell'applicazione aziendale?

Qual è la tua esperienza con Kubernetes e Docker?

Secondo te, tutte le metriche statistiche di qualità sono considerate uguali, o ci sono sfumature?

Quali sono le altre metriche statistiche della qualità del modello?

Come determiniamo la capacità di infrastruttura richiesta per il modello?

Il servizio del modello è costantemente in crash e una volta alla settimana vengono inviati clienti — non sembra inefficiente e cosa si può fare?

Come verrà distribuito esattamente il modello — ad esempio, su una macchina virtuale? Dove esattamente?

Cosa succede ai dati dopo che il modello li ha valutati?

Cosa bisogna verificare/monitorare oltre il rispetto della scadenza durante l'esecuzione di un job batch?

Il tasso della Banca centrale cambia, di conseguenza cambiano le condizioni del prestito (importo, tasso) — cosa potrebbe cambiare nel modello/campagna in questo processo?

Come interagisce il modello con i dati quando è già in produzione?