Filme porno

Categorii

Advertising

Lista de verificare a completitudinii codului ML

Anul trecut Joelle Pineau a lansat lista de verificare a reproductibilitatii pentru a facilita cercetarea reproductibila prezentata la conferintele majore ML (NeurIPS, ICML, …). Majoritatea articolelor din lista de verificare se concentreaza pe componentele hartiei.

Un element din acea lista de verificare este „furnizati un link catre codul sursa”, dar putine indrumari au fost oferite dincolo de aceasta. La Papers with Code gazduim cea mai mare colectie de implementari de hartie intr-un singur loc, asa ca am strans cele mai bune practici pe care le-am vazut folosite de cele mai populare depozite de cercetare.

Array

Am rezumat aceste cele mai bune practici in ML Cod integralitatii Lista de verificare , care este acum parte a procesului de NeurIPS oficiale 2020 depunere de cod , si va fi disponibil pentru examinatorilor sa foloseasca la discretia lor.

Cu scopul de a imbunatati reproductibilitatea si de a permite altora sa se bazeze mai usor pe lucrarile publicate, introducem Lista de verificare a completitudinii codului ML.

Lista de verificare a integritatii codului ML evalueaza un depozit de cod pe baza scripturilor si a artefactelor care au fost furnizate in cadrul acestuia. Verifica un depozit de coduri pentru:

  1. Dependente – un depozit are informatii despre dependente sau instructiuni despre cum sa configurati mediul?
  2. Scripturi de instruire – un depozit contine o modalitate de a antrena / potrivi modelul (modelele) descris (e) in lucrare?
  3. Scripturi de evaluare – un depozit contine un script pentru a calcula performanta modelului (modelelor) instruit (e) sau pentru a rula experimente pe modele?
  4. Modele preinstruite – un depozit ofera acces gratuit la greutatile modelelor preinstruite ?
  5. Rezultate – un depozit contine un tabel / grafic de rezultate principale si un script pentru a reproduce aceste rezultate?

Fiecare depozit poate obtine intre 0 (nu are niciunul) si 5 (are toate) capuse. Mai multe detalii despre criteriile pentru fiecare articol pot fi gasite in depozitul nostru github.

Comunitatea foloseste de obicei stelele GitHub ca proxy pentru utilitatea depozitului. Prin urmare, ne asteptam ca depozitele care obtin punctaje mai mari in lista de verificare a gradului de completare a codului ML ar trebui, de asemenea, sa aiba mai multe stele GitHub.

Pentru a verifica aceasta ipoteza, am selectat 884 de depozite GitHub trimise ca implementari oficiale catre lucrarile NeurIPS 2019. Am selectat aleatoriu un subset de 25% din aceste 884 de depozite si le-am marcat manual in lista de verificare a completitudinii codului ML.

Am grupat acest esantion de depozite NeurIPS 2019 GitHub in functie de numarul de capuse pe care le au in lista de verificare a completitudinii codului ML si am reprezentat stelele mediane GitHub din fiecare grup. Rezultatul este mai jos:

Depozitele NeurIPS 2019 cu 0 capuse aveau o mediana de 1,5 stele GitHub. In schimb, depozitele cu 5 capuse aveau o mediana de 196,5 stele GitHub . Doar 9% din depozite aveau 5 capuse, iar majoritatea depozitelor (70%) aveau 3 capuse sau mai putin.

De asemenea, am efectuat testul sumei de rang Wilcoxon si am constatat ca numarul de stele din clasa 5-tick este semnificativ (valoarea p <1e-4) mai mare la toate celelalte clase, cu exceptia 5 vs 4 (unde valoarea p. Este la limita la 0,015). Puteti vedea datele si codul din spatele acestei cifre in depozitul nostru github.

Pentru a examina daca aceasta relatie este mai larga, am creat un script pentru a automatiza calculul listei de verificare din depozitul README si codul sau asociat. Apoi am repetat analiza pe intregul set de 884 de depozite NeurIPS 2019 si, de asemenea, pe un set mai larg de depozite de coduri 8926 pentru toate lucrarile ML publicate in 2019. In ambele cazuri, am obtinut calitativ acelasi rezultat, cu stelele mediane crescand monoton cu capuse intr-un mod semnificativ statistic (p.valor <1e-4). In cele din urma, folosind o regresie liniara robusta, am constatat ca modelele si rezultatele pre-antrenate au cel mai mare impact pozitiv asupra stelelor GitHub.

Consideram ca aceasta este o dovada utila ca incurajarea cercetatorilor sa includa toate componentele stipulate in Lista de verificare a completitudinii codului ML va duce la depozite mai utile si ca scorul listei de verificare indica trimiteri de calitate superioara.

In acest moment, nu sustinem ca cele 5 articole de lista de verificare sugerate sunt singurii sau chiar cei mai mari contribuabili la popularitatea depozitului. Este posibil ca alti factori sa influenteze popularitatea, cum ar fi: dimensiunea contributiei stiintifice, marketingul (de exemplu, postarile de blog si Twitter), documentatia (README cuprinzatoare, tutoriale si documentatia API), calitatea codului si lucrarile anterioare.

Cateva exemple de depozite NeurIPS 2019 cu 5 capuse sunt:

https://github.com/kakaobrain/fast-autoaugment

https://github.com/bknyaz/graph_attention_pool

https://github.com/eth-sri/eran

https://github.com/NVlabs/selfsupervised-denoising

https://github.com/facebookresearch/FixRes

Recunoastem ca, in timp ce ne-am propus sa facem lista de verificare cat mai generala posibil, s-ar putea sa nu fie pe deplin aplicabila tuturor tipurilor de lucrari, de exemplu lucrari teoretice sau de date. Cu toate acestea, chiar daca obiectivul principal al unei lucrari este introducerea unui set de date, acesta poate beneficia in continuare de lansarea modelelor de baza, cu scripturi de instruire, scripturi de evaluare si rezultate.

Pentru a face mai usor pentru recenzori si utilizatori sa inteleaga ceea ce este inclus in depozit si pentru ca noi sa il punctam corect, oferim o colectie de cele mai bune practici in ceea ce priveste scrierea fisierelor README.md, specificarea dependentelor, eliberarea de modele pre-antrenate, seturi de date si rezultate.

Recomandarea noastra este sa stabiliti in mod clar aceste 5 elemente in depozitul dvs. si sa va conectati la orice resurse externe, cum ar fi lucrarile si clasamentele, pentru a oferi mai mult context si claritate utilizatorilor dvs.

Acestea sunt recomandarile oficiale de trimitere a codurilor la NeurIPS 2020.

Faceti clic aici pentru a vedea sablonul README.md si pentru a incepe

Sa lucram impreuna pentru a imbunatati reproductibilitatea in domeniul nostru si pentru a ajuta la avansarea stiintei!

Video Description:

Anul trecut Joelle Pineau a lansat lista de verificare a reproductibilitatii pentru a facilita cercetarea reproductibila prezentata la conferintele majore ML (NeurIPS, ICML, ...). Majoritatea articolelor din lista de verificare se concentreaza pe componentele hartiei.Un element din acea lista de verificare este „furnizati un link catre codul sursa”, dar putine indrumari au fost oferite dincolo de aceasta. La Papers with Code gazduim cea mai mare colectie de implementari de hartie intr-un singur loc, asa ca am strans cele mai bune practici pe care le-am vazut folosite de cele mai populare depozite de cercetare. Array Am rezumat aceste cele mai bune practici in ML Cod integralitatii Lista de verificare , care este acum parte a procesului de NeurIPS oficiale 2020 depunere de cod , si va fi disponibil pentru examinatorilor sa foloseasca la discretia lor.Cu scopul de a imbunatati reproductibilitatea si de a permite altora sa se bazeze mai usor pe lucrarile publicate, introducem Lista de verificare a completitudinii codului ML.Lista de verificare a integritatii codului ML evalueaza un depozit de cod pe baza scripturilor si a artefactelor care au fost furnizate in cadrul acestuia. Verifica un depozit de coduri pentru:Dependente - un depozit are informatii despre dependente sau instructiuni despre cum sa configurati mediul?Scripturi de instruire - un depozit contine o modalitate de a antrena / potrivi modelul (modelele) descris (e) in lucrare?Scripturi de evaluare - un depozit contine un script pentru a calcula performanta modelului (modelelor) instruit (e) sau pentru a rula experimente pe modele?Modele preinstruite - un depozit ofera acces gratuit la greutatile modelelor preinstruite ?Rezultate - un depozit contine un tabel / grafic de rezultate principale si un script pentru a reproduce aceste rezultate?Fiecare depozit poate obtine intre 0 (nu are niciunul) si 5 (are toate) capuse. Mai multe detalii despre criteriile pentru fiecare articol pot fi gasite in depozitul nostru github.Comunitatea foloseste de obicei stelele GitHub ca proxy pentru utilitatea depozitului. Prin urmare, ne asteptam ca depozitele care obtin punctaje mai mari in lista de verificare a gradului de completare a codului ML ar trebui, de asemenea, sa aiba mai multe stele GitHub. youtubeuse porno alqlist.com porno italien vintage okworld.info vieux film porno aksteelonline.net africa porno cedarwoodassociates.net my hero academia porno vtvacu.com petite porno deanmartinonline.com porno mario www.hornyteenstube.com parodie porno gitdec.biz petite fille porno d0t.crystaldecisons.com porno coqnu www.verifactsdata.net porno dominatrice yowhatup.com jade laroche porno o2orange.com kim glow porno wagersmart.com video porno gay black searchreinvented.com porno bordel oxmail.com porno jeunes gay thedraxgroup.com cap d agde porno pussy.ee-club.com porno petite fille www.docspace.com film porno complet francais obriensworldwide.com comment devenir acteur porno eeslindia.in Pentru a verifica aceasta ipoteza, am selectat 884 de depozite GitHub trimise ca implementari oficiale catre lucrarile NeurIPS 2019. Am selectat aleatoriu un subset de 25% din aceste 884 de depozite si le-am marcat manual in lista de verificare a completitudinii codului ML.Am grupat acest esantion de depozite NeurIPS 2019 GitHub in functie de numarul de capuse pe care le au in lista de verificare a completitudinii codului ML si am reprezentat stelele mediane GitHub din fiecare grup. Rezultatul este mai jos:Depozitele NeurIPS 2019 cu 0 capuse aveau o mediana de 1,5 stele GitHub. In schimb, depozitele cu 5 capuse aveau o mediana de 196,5 stele GitHub . Doar 9% din depozite aveau 5 capuse, iar majoritatea depozitelor (70%) aveau 3 capuse sau mai putin.De asemenea, am efectuat testul sumei de rang Wilcoxon si am constatat ca numarul de stele din clasa 5-tick este semnificativ (valoarea p <1e-4) mai mare la toate celelalte clase, cu exceptia 5 vs 4 (unde valoarea p. Este la limita la 0,015). Puteti vedea datele si codul din spatele acestei cifre in depozitul nostru github.Pentru a examina daca aceasta relatie este mai larga, am creat un script pentru a automatiza calculul listei de verificare din depozitul README si codul sau asociat. Apoi am repetat analiza pe intregul set de 884 de depozite NeurIPS 2019 si, de asemenea, pe un set mai larg de depozite de coduri 8926 pentru toate lucrarile ML publicate in 2019. In ambele cazuri, am obtinut calitativ acelasi rezultat, cu stelele mediane crescand monoton cu capuse intr-un mod semnificativ statistic (p.valor <1e-4). In cele din urma, folosind o regresie liniara robusta, am constatat ca modelele si rezultatele pre-antrenate au cel mai mare impact pozitiv asupra stelelor GitHub.Consideram ca aceasta este o dovada utila ca incurajarea cercetatorilor sa includa toate componentele stipulate in Lista de verificare a completitudinii codului ML va duce la depozite mai utile si ca scorul listei de verificare indica trimiteri de calitate superioara.In acest moment, nu sustinem ca cele 5 articole de lista de verificare sugerate sunt singurii sau chiar cei mai mari contribuabili la popularitatea depozitului. Este posibil ca alti factori sa influenteze popularitatea, cum ar fi: dimensiunea contributiei stiintifice, marketingul (de exemplu, postarile de blog si Twitter), documentatia (README cuprinzatoare, tutoriale si documentatia API), calitatea codului si lucrarile anterioare.Cateva exemple de depozite NeurIPS 2019 cu 5 capuse sunt:https://github.com/kakaobrain/fast-autoaugment https://github.com/bknyaz/graph_attention_pool https://github.com/eth-sri/eran https://github.com/NVlabs/selfsupervised-denoising https://github.com/facebookresearch/FixResRecunoastem ca, in timp ce ne-am propus sa facem lista de verificare cat mai generala posibil, s-ar putea sa nu fie pe deplin aplicabila tuturor tipurilor de lucrari, de exemplu lucrari teoretice sau de date. Cu toate acestea, chiar daca obiectivul principal al unei lucrari este introducerea unui set de date, acesta poate beneficia in continuare de lansarea modelelor de baza, cu scripturi de instruire, scripturi de evaluare si rezultate.Pentru a face mai usor pentru recenzori si utilizatori sa inteleaga ceea ce este inclus in depozit si pentru ca noi sa il punctam corect, oferim o colectie de cele mai bune practici in ceea ce priveste scrierea fisierelor README.md, specificarea dependentelor, eliberarea de modele pre-antrenate, seturi de date si rezultate.Recomandarea noastra este sa stabiliti in mod clar aceste 5 elemente in depozitul dvs. si sa va conectati la orice resurse externe, cum ar fi lucrarile si clasamentele, pentru a oferi mai mult context si claritate utilizatorilor dvs.Acestea sunt recomandarile oficiale de trimitere a codurilor la NeurIPS 2020.Faceti clic aici pentru a vedea sablonul README.md si pentru a incepeSa lucram impreuna pentru a imbunatati reproductibilitatea in domeniul nostru si pentru a ajuta la avansarea stiintei!

Categorie:
Taguri:
Data adaugarii: