Nrog lub hom phiaj ntawm kev ua kom rov ua tau dua tshiab thiab ntxiv dag zog rau lwm tus los tsim kev tshaj tawm ua haujlwm tau yooj yim dua, peb nthuav qhia ML cov ntawv ua tiav tiav. Cov lej Kev Tshawb Nrhiav ML Code ntsuas kev ua tiav cov khw muag khoom raws li cov ntawv sau thiab cov khoom cuav uas muab rau hauv.
Taw qhia
Tsaib no, Joel Pino tau tshaj tawm daim ntawv txheeb xyuas qhov rov ua dua tshiab los pab txhawb cov kev tshawb fawb txog kev kawm tshawb fawb tau hauv cov rooj sib tham loj OA (NeurIPS, ICML,…). Feem ntau ntawm cov khoom ntawm daim ntawv kuaj xyuas tsom rau cov Cheebtsam ntawm daim ntawv. Ib yam nyob rau ntawm daim ntawv txheeb no yog “muab qhov txuas rau ntawm qhov chaws,” tab sis dhau ntawm qhov ntawd, tau hais qhia me ntsis.
Cov kev coj ua tau zoo tau muab coj los piav qhia nyob rau hauv ML Code Ua tiav Cov Ntawv Tshawb, uas tam sim no yog ib feem ntawm kev ua haujlwm NeurIPS 2020 tus lej xa mus thiab yuav muaj rau siv los ntawm cov kuaj xyuas thaum lawv pom zoo.
ML Kev Ntsuam Xyuas Ua Kom tiav
Tus lej M Code Ua Daim Ntawv Sau Nyiaj Tshawb Xyuas qhov chaws khaws rau:
- Kev Nyuaj Siab - Cov chaw cia khoom puas muaj cov ntaub ntawv nyob nrog lossis cov lus qhia txog kev teeb tsa ib puag ncig zoo li cas?
- Cov xwm txheej qhia kev cob qhia - Cov chaw cia khoom puas muaj txoj kev qhia / ua qauv rau cov qauv uas tau piav qhia hauv cov ntaub ntawv?
- Kev Ntsuam Xyuas Kev Ntsuam Xyuas - Cov chaw cia khoom puas muaj ib tsab ntawv rau kev xam qhov kev ua haujlwm ntawm cov qauv kev kawm lossis cov kev sim khiav ntawm cov qauv?
- Pretrained Cov Qauv - Puas yog qhov chaw cia khoom pub dawb rau kev nkag mus rau cov qauv hnyav coj los hnyav?
- Cov txiaj ntsig - cov chaw cia khoom puas muaj ib lub rooj / teeb ntawm cov txiaj ntsig tseem ceeb thiab ib tsab ntawv los tsim cov kev xav tau?
Txhua lub chaw cia khoom tuaj yeem tau txais los ntawm 0 (tsis muaj hlo li) txog 5 (muaj tagnrho) zuam. Cov lus qhia ntxiv txog cov qauv rau txhua yam khoom muaj nyob hauv Github lub chaw cia khoom.
Cov ntaub ntawv pov thawj twg uas txheeb xyuas cov khoom ua rau muaj chaw sau npe tseem ceeb dua?
Zej zog feem ntau siv GitHub hnub qub ua tus sawv cev rau qhov tseem ceeb ntawm cov chaw cia khoom. Yog li ntawd, repos nrog cov qhab nia siab dua ntawm ML tiav kev kuaj xyuas kev cia siab tseem xav tias yuav muaj ntau GitHub cov hnub qub. Txhawm rau ntsuas qhov kev xav no, muaj 884 GitHub repos xa los ua cov kev tsim hauv cov ntawv NeurIPS 2019. 25% qhov seem ntawm cov 884 repos tau raug xaiv thiab tau txheeb xyuas hauv ML tiav kev kuaj xyuas. Lawv tau tso pawg ua qauv no NeurIPS 2019 GitHub repos los ntawm tus naj npawb ntawm cov zuam uas lawv muaj nyob rau hauv ML code ua tiav kev kuaj xyuas thiab tau kos tus hnub qub nruab nrab GitHub hauv txhua pawg. Qhov tshwm sim hauv qab yog:
NeurIPS 2019 repos nrog 0 checkboxes muaj qhov nruab nrab ntawm 1.5 hnub qub ntawm GitHub. Hauv kev sib piv, repos nrog 5 checkboxes muaj qhov nruab nrab ntawm 196.5 GitHub hnub qub. Tsuas yog 9% ntawm lub repos muaj 5 zuam, thiab feem ntau ntawm repos (70%) muaj 3 zuam lossis tsawg dua. Kev ntsuas qeb ntawm Wilcoxon tau ua tiav thiab pom tias muaj pes tsawg lub hnub qub hauv 5 chav kawm zuam yog qhov tseem ceeb (p.value <1e-4) siab dua hauv lwm cov chav kawm tshwj tsis yog 5 piv rau 4 (qhov twg p.value yog tus ciam). ntawm 0.015). Koj tuaj yeem pom cov ntaub ntawv thiab tus lej rau daim duab no hauv Github lub chaw cia khoom.
Txhawm rau kuaj yog tias qhov kev sib raug zoo no tau nthuav dav ntxiv, ib tsab ntawv raug tsim los kom kho qhov kev suav ntawm daim ntawv txheeb xyuas los ntawm README qhov chaw cia thiab cov chaws cuam tshuam. Peb tom qab ntawd rov txheeb xyuas tag nrho cov txheej txheem ntawm 884 NeurIPS 2019 lub chaw cia khoom, ntxiv rau qhov teeb tsa ntau ntawm 8926 qhov chaw khaws cia rau tag nrho ML cov khoom luam tawm xyoo 2019. Hauv ob qho xwm txheej no, cov kws tshaj lij tau txais cov txiaj ntsig zoo sib xws nrog cov hnub qub nruab nrab monotonically nce los ntawm cov zuam nyob rau hauv txoj kev txheeb cais (p.value <1e-4). Thaum kawg, siv cov kab tawm uas muaj zog, peb pom cov qauv ua ntej thiab qhov txiaj ntsig tau muaj qhov cuam tshuam zoo tshaj plaws rau GitHub hnub qub.
Qhov no suav tias yog cov pov thawj muaj txiaj ntsig los ntawm cov kws tshuaj ntsuam uas txhawb cov kws tshawb fawb kom suav tag nrho cov kev tiv thaiv uas yuav tsum tau ua tiav los ntawm ML cov ntawv txheeb xyuas tiav yuav ua rau cov chaw muaj txiaj ntsig zoo dua ntxiv, thiab cov qhab nia nyob hauv daim ntawv txheeb xyuas pom zoo dua cov kev xa tawm zoo.
Tam sim no, cov kws tshaj lij tsis lees tias cov ntawv thov 5 daim ntawv txheeb tau yog tib qho lossis tseem ceeb tshaj plaws hauv kev muaj npe nrov ntawm cov chaw cia khoom. Lwm yam tuaj yeem cuam tshuam cov koob npe nrov, xws li: kev tawm tswv yim loj dua, kev ua lag luam (piv txwv li cov ntawv blog thiab Twitter cov ntaub ntawv), cov ntaub ntawv (cov ntaub ntawv zoo tag nrho READMEs, tutorials, thiab API cov ntaub ntawv), kev ua haujlwm zoo, thiab kev ua haujlwm dhau los.
Qee cov qauv ntawm NeurIPS 2019 lub chaw cia khoom nrog 5 kab kos:
Cov kws tshaj lij pom tau hais tias txawm hais tias lawv tau sim los ua cov ntawv txheeb xyuas dav dav li qhov ua tau, nws yuav siv tsis tau txhua yam ntawm cov ntaub ntawv, piv txwv li theoretical lossis cov ntawv pov thawj. Txawm li cas los xij, txawm hais tias lub hom phiaj tseem ceeb ntawm cov ntawv yog los sawv cev cov ntawv sau, nws tseem tuaj yeem tau txais txiaj ntsig los ntawm qhov kev tshaj tawm ntawm cov qauv hauv paus, suav nrog kev qhia ua haujlwm, kev ntsuas qhov ntsuas, thiab cov txiaj ntsig.
Pib siv
Txhawm rau nws yooj yim dua rau cov neeg tshuaj xyuas thiab cov neeg siv kom nkag siab qhov twg hauv lub chaw cia khoom thiab rau cov kws tshaj lij los soj ntsuam nws kom raug, kev sib sau ntawm cov kev coj ua zoo tshaj plaws yog muab rau kev sau ntawv README.md cov ntaub ntawv, txhais cov vam khom, thiab tso cov qauv ua ntej, cov ntawv sau thiab cov txiaj ntsig. Nws raug nquahu kom koj hais meej txog 5 yam hauv koj lub chaw cia khoom thiab txuas lawv mus rau lwm qhov kev pabcuam sab nraud xws li cov ntaub ntawv thiab cov thawj coj los qhia ntau lub ntsiab lus thiab qhov meej rau koj cov neeg siv. Cov no yog cov lus qhia raug cai rau kev xa cov lej ntawm NeurIPS 2020.
