prompting是什么意思？用法、例句，吴恩达：超越测试集——prompting改变了机器学习

大家好，关于prompting是什么意思？用法、例句很多朋友都还不太明白，今天小编就来为大家分享关于吴恩达：超越测试集——prompting改变了机器学习的知识，希望对各位有所帮助！

1、几周前，我撰写了一篇关于LandingAI团队在视觉提示方面所做工作的文章。随着通过文本提示和视觉提示构建机器学习应用程序的速度加快，我看到了不使用测试集来构建和部署模型的趋势。这是加速将模型投入生产的一个重要部分。

2、测试集一直是机器学习发展的一个神圣方面。在学术的机器学习工作中，测试集是算法基准测试和发布科学结论的基石。测试集也被用于商业机器学习应用程序，以判断和提高性能，并确保系统在部署前后的准确性。

3、归功于基于提示的开发——你可以简单通过提供文本提示（例如“将以下文本按具有积极或消极情绪分类”）或视觉提示（通过标记少量像素向模型传达你想要分类的对象）来构建模型——我们有可能构建一个具有很少样本（少样本学习）或根本没有样本（零样本学习）的像样的机器学习模型。

4、此前，如果我们需要10,000个标记过的训练样本，那么收集1,000个测试样本所产生的额外成本似乎并不繁重。但是，在基于提示开发的驱动下，零样本学习和少样本学习的兴起使测试集的收集成为一个瓶颈。

5、因此，我看到越来越多的团队使用如下的开发和部署流程:

6、●使用提示来开发模型。这可能需要花费几分钟到几个小时。

7、●将模型部署到生产环境中，并在实时数据上快速而安全地运行它，这也许可以在“影子模式”下运行。在这种模式下，模型的推理被存储和监视，但尚未被使用。(详见下文。)

8、●如果模型的性能是可以接受的，就让它开始做出真正的决策。

9、●只有在模型投入生产后，并且只有当我们需要更仔细地进行基准测试时（例如，尽力维持几个百分点的性能改进），才会为进一步的实验和开发创建更仔细的基准测试而收集测试数据。但如果系统运行得足够好，就不必为此费心了。

10、我对这个过程感到兴奋，它大大缩短了构建和部署机器学习模型所需的时间。然而，这里有一个重要的警示：在某些应用程序中，测试集对于管理危害风险很重要。许多部署不会造成重大伤害风险；例如，智能手机工厂的视觉检查系统最初会配备一名人工检查员（其检查结果没有被直接使用）。但是，如果我们开发的系统将涉及医疗保健、刑事司法、金融、保险等决策，那么不准确的输出或偏见可能会造成重大伤害。所以在允许模型做出相应决策之前，收集严格的测试集并深入验证模型的性能仍至关重要。

11、概念漂移和数据漂移的出现会使“测试集”这个概念在实际应用中出现问题，因为保存用于测试的数据不再与输入数据的真实分布相匹配。因此，最好的测试数据是生产数据。对于不使用测试集就可以安全合理地部署的应用程序，我很高兴看到它加快了机器学习应用程序的开发和部署。

12、Afewweeksago,IwroteaboutmyteamatLandingAI’sworkonvisualprompting.Withthespeedofbuildingmachinelearningapplicationsthroughtextpromptingandvisualprompting,I’mseeingatrendtowardbuildinganddeployingmodelswithoutusingatestset.Thisispartofanimportanttrendofspeedingupgettingmodelsintoproduction.

13、Thetestsethasalwaysbeenasacredaspectofmachinelearningdevelopment.Inacademicmachinelearningwork,testsetsarethecornerstoneofalgorithmbenchmarkingandpublishingscientificconclusions.Testsetsarealsousedincommercialmachinelearningapplicationstomeasureandimproveperformanceandtoensureaccuracybeforeandafterdeployment.

14、Butthankstoprompt-baseddevelopment,inwhichyoucanbuildamodelsimplybyprovidingatextprompt(suchas“classifythefollowingtextashavingeitherapositiveornegativesentiment”)oravisualprompt(bylabelingahandfulofpixelstoshowthemodelwhatobjectyouwanttoclassify),itispossibletobuildadecentmachinelearningmodelwithveryfewexamples(few-shotlearning)ornoexamplesatall(zero-shotlearning).

15、Previously,ifweneeded10,000labeledtrainingexamples,thentheadditionalcostofcollecting1,000testexamplesdidn’tseemonerous.Buttheriseofzero-shotandfew-shotlearning—drivenbyprompt-baseddevelopment—ismakingtestsetcollectionabottleneck.

16、ThusI'mseeingmoreandmoreteamsuseaprocessfordevelopmentanddeploymentthatlookslikethis:

17、Usepromptingtodevelopamodel.Thiscantakeminutestohours.

18、Deploythemodeltoproductionandrunitonlivedataquicklybutsafely,perhapsbyrunningin“shadowmode,”wherethemodel’sinferencesarestoredandmonitoredbutnotyetused.(Moreonthisbelow.)

19、Ifthemodel’sperformanceisacceptable,letitstartmakingrealdecisions.

20、Onlyafterthemodelisinproduction,andonlyifweneedtobenchmarkmorecarefully(say,toekeoutafewpercentagepointsofperformanceimprovement),collecttestdatatocreateamorecarefulbenchmarkforfurtherexperimentationanddevelopment.Butifthesystemisdoingwellenough,don’tbotherwiththis.

21、I’mexcitedbythisprocess,whichsignificantlyshortensthetimeittakestobuildanddeploymachinelearningmodels.However,thereisoneimportantcaveat:Incertainapplications,atestsetisimportantformanagingriskofharm.Manydeploymentsdon’tposeasignificantriskofharm;forexample,avisualinspectionsysteminasmartphonefactorythatinitiallyshadowsahumaninspectorandwhoseoutputsaren’tuseddirectlyyet.Butifwe'redevelopingasystemthatwillbeinvolvedindecisionsabouthealthcare,criminaljustice,finance,insurance,andsoon,whereinaccurateoutputsorbiascouldcausesignificantharm,thenitremainsimportanttocollectarigoroustestsetanddeeplyvalidatethemodel’sperformancebeforeallowingittomakeconsequentialdecisions.

22、Theoccurrenceofconceptdriftanddatadriftcanmaketheverynotionofa“testset”problematicinpracticalapplications,becausethedatasavedfortestingnolongermatchestherealdistributionofinputdata.Forthisreason,thebesttestdataisproductiondata.Forapplicationswhereit’ssafeandreasonabletodeploywithoutusingatestset,I’mexcitedabouthowthiscanspeedupdevelopmentanddeploymentofmachinelearningapplications.

关于prompting是什么意思？用法、例句到此分享完毕，希望能帮助到您。