簡(jiǎn)介

初創(chuàng)企業(yè)將一些最具創(chuàng)新性的產(chǎn)品和服務(wù)推向市場(chǎng)，但通常要少量工具、手動(dòng)操作以及不斷拓展專業(yè)知識(shí)的人員。人工智能 (AI)，尤其是機(jī)器學(xué)習(xí) (ML) 和深度學(xué)習(xí) (DL)，正在通過(guò)自動(dòng)化流程和減少工作量，助力初創(chuàng)企業(yè)解決這些難題及其他問(wèn)題。在這類初創(chuàng)企業(yè)當(dāng)中，AI不是產(chǎn)品的一部分，它的實(shí)施最終是為了幫助初創(chuàng)企業(yè)解決業(yè)務(wù)問(wèn)題、改進(jìn)流程和提升企業(yè)的潛在價(jià)值。

有時(shí)，自動(dòng)化可以建立在以人為主導(dǎo)的流程的專業(yè)知識(shí)之上手動(dòng)執(zhí)行。但是，當(dāng)可用數(shù)據(jù)的數(shù)量、復(fù)雜性或可變性使得這種方法捉襟見(jiàn)肘時(shí)，機(jī)器學(xué)習(xí)可以帶來(lái)真正的實(shí)惠。本文旨在深度剖析如何確定AI輸入和輸出、使用數(shù)據(jù)集、探索數(shù)據(jù)可能性以及最終確定AI模型（圖1）。

圖1：這些步驟強(qiáng)調(diào)運(yùn)用機(jī)器學(xué)習(xí)解決初創(chuàng)企業(yè)常見(jiàn)問(wèn)題的過(guò)程。（圖源：作者）

第1步：識(shí)別輸入、輸出和指標(biāo)

該過(guò)程的第一步是確定算法的輸入和輸出，以及選擇正確的指標(biāo)衡量其性能。這些決策應(yīng)該受到業(yè)務(wù)目標(biāo)和技術(shù)限制的影響。例如，數(shù)據(jù)的可用性和數(shù)量以及隱私要求會(huì)影響數(shù)據(jù)輸入，文件格式的一致性和存儲(chǔ)數(shù)據(jù)的需求也會(huì)帶來(lái)影響。

在大多數(shù)情況下，數(shù)據(jù)輸入淺顯易懂，例如文本、圖像或數(shù)字值，在使用前只需進(jìn)行少量的預(yù)處理。然而，可能需要對(duì)結(jié)果數(shù)據(jù)進(jìn)行預(yù)處理，以產(chǎn)生單個(gè)值來(lái)標(biāo)記每個(gè)輸入數(shù)據(jù)點(diǎn)。例如，一家企業(yè)可能希望對(duì)通過(guò)電子郵件收到的客戶服務(wù)投訴進(jìn)行分類，或者可能希望根據(jù)買(mǎi)家購(gòu)物車中的商品推薦其他商品。無(wú)論哪種情況，結(jié)果數(shù)據(jù)都需要進(jìn)行調(diào)整，以標(biāo)記這些電子郵件投訴的緊急程度，或者識(shí)別與產(chǎn)品圖像匹配的產(chǎn)品代碼。

可以基于數(shù)據(jù)特定結(jié)果達(dá)到一定準(zhǔn)確性的重要性，來(lái)選擇衡量模型成功與否的正確指標(biāo)（圖2）。盡管追求高精度似乎合乎邏輯，卻并非金標(biāo)準(zhǔn)。例如，在欺詐檢測(cè)中，識(shí)別潛在的欺詐比正確預(yù)測(cè)出每個(gè)事件更為重要。根據(jù)經(jīng)驗(yàn)，如果選擇的指標(biāo)有利于提升一類鮮少發(fā)生事件的準(zhǔn)確性，許多非事件也可能會(huì)標(biāo)記出來(lái)。在這種情況下，為避免損害檢測(cè)欺詐性交易的能力，人機(jī)協(xié)同 (HitL) 最終敲定結(jié)果可能會(huì)有所幫助。

在選擇指標(biāo)時(shí)，值得調(diào)查其他人做了什么和推薦什么，以及開(kāi)始數(shù)據(jù)聚合和清洗過(guò)程。在某些情況下，數(shù)據(jù)尚未處于您需要的狀態(tài)，或者可以調(diào)整數(shù)據(jù)收集，使之更加“適合AI”。

第二步：數(shù)據(jù)準(zhǔn)備工作

通常，AI模型期望數(shù)據(jù)始終處于特定格式。這一步需要清洗和轉(zhuǎn)換數(shù)據(jù)，以滿足AI模型和目標(biāo)所需的標(biāo)準(zhǔn)，整個(gè)過(guò)程無(wú)比費(fèi)時(shí)，且異常復(fù)雜。通常會(huì)請(qǐng)一名數(shù)據(jù)工程師，處理基礎(chǔ)架構(gòu)、存儲(chǔ)空間和用于數(shù)據(jù)提取的管道。

首先，每個(gè)輸入都需要一個(gè)您想要預(yù)測(cè)的對(duì)應(yīng)標(biāo)簽或目標(biāo)。例如，如果有100張狗的圖像，則需要將每張圖像標(biāo)識(shí)為一條狗。這可以通過(guò)簡(jiǎn)單的方法來(lái)實(shí)現(xiàn)，例如，使用CSV文件或?qū)⑺鼈兇鎯?chǔ)在稱為“狗”的單獨(dú)文件夾中。幾乎所有的分類算法都認(rèn)為預(yù)測(cè)目標(biāo)也是數(shù)值，二進(jìn)制或離散類別。“是或否”是二進(jìn)制類別的示例，而對(duì)象預(yù)測(cè)中的許多類（例如，狗、貓或鳥(niǎo)）則是離散類別的示例。預(yù)測(cè)值而不是類別（稱為回歸），必須將目標(biāo)標(biāo)準(zhǔn)化為0或1。復(fù)雜的AI方法也需要同樣復(fù)雜的類別，但是無(wú)論如何，所有內(nèi)容都必須保持一致，且研究相應(yīng)的數(shù)據(jù)結(jié)構(gòu)非常重要。

此外，數(shù)據(jù)點(diǎn)也需要進(jìn)行標(biāo)準(zhǔn)化。對(duì)于圖像，這意味著它們至少大小相同，且不會(huì)大到無(wú)法用AI模型處理。對(duì)于文本，這可能意味著縮短或填充短語(yǔ)，使它們具有相同的長(zhǎng)度，也可能意味著短語(yǔ)標(biāo)記化，即，用數(shù)字替換每個(gè)單詞。在此階段，考慮分類和數(shù)據(jù)的各種選項(xiàng)以確保在最初選擇的輸入和輸出未能產(chǎn)生有意義的結(jié)果或證明噪聲太大的情況下，可以其他方式使用數(shù)據(jù)。

最后，應(yīng)該清洗數(shù)據(jù)集，以確保數(shù)據(jù)正確、一致和可用。這可能包括識(shí)別和糾正數(shù)據(jù)集的損壞、不完整、重復(fù)或不相關(guān)的部分。數(shù)據(jù)清洗通常比開(kāi)發(fā)新算法要花費(fèi)更多的時(shí)間，因此，請(qǐng)記住80-20規(guī)則：80％的數(shù)據(jù)需要20％的工作量。在項(xiàng)目的初始階段，應(yīng)當(dāng)使數(shù)據(jù)易于處理，而不必?fù)?dān)心需要強(qiáng)大的系統(tǒng)清洗每一條數(shù)據(jù)。

第3步：瀏覽數(shù)據(jù)并確認(rèn)選擇

探索性數(shù)據(jù)分析 (EDA) 旨在識(shí)別底層模式，發(fā)現(xiàn)異常并檢查數(shù)據(jù)集中的假設(shè)。EDA可以作為數(shù)據(jù)準(zhǔn)備工作的一部分完成；但是，其通常伴隨著數(shù)據(jù)清洗。EDA中最重要的任務(wù)包括分析

數(shù)據(jù)缺失，這可能影響模型的性能。根據(jù)必填字段中缺失的百分比，可能丟棄這些數(shù)據(jù)點(diǎn)，執(zhí)行值的插值，或者在沒(méi)有足夠有用的信息時(shí)放棄使用該信息。

異常數(shù)據(jù)：區(qū)分異常數(shù)據(jù)是噪聲還是您想要捕捉的實(shí)際事件至關(guān)重要。例如，將過(guò)高或過(guò)低的錯(cuò)誤值與數(shù)據(jù)看起來(lái)也頗為相似的罕見(jiàn)值（如欺詐或機(jī)器故障）進(jìn)行比較。

數(shù)據(jù)標(biāo)簽噪聲：標(biāo)簽噪聲來(lái)自錯(cuò)誤標(biāo)記的數(shù)據(jù)點(diǎn)，會(huì)妨礙AI學(xué)習(xí)數(shù)據(jù)和目標(biāo)之間適當(dāng)相關(guān)性的能力。

根據(jù)數(shù)據(jù)量的不同，或能糾正這些錯(cuò)誤，但有時(shí)可能需要選擇不同的選項(xiàng)作為預(yù)測(cè)目標(biāo)。

第4步：研究算法并準(zhǔn)備資源

接下來(lái)，需要研究AI本身。始終對(duì)可能適合該任務(wù)的可用算法進(jìn)行初步調(diào)查（圖3）。借助大量資源，包括預(yù)先訓(xùn)練好的模型和詳細(xì)說(shuō)明特定任務(wù)算法的研究文章，可以充分利用現(xiàn)有的資源，而不必重復(fù)別人的勞動(dòng)、做無(wú)用功。

圖3： 不同機(jī)器學(xué)習(xí)目標(biāo)的算法/方法類型的可視化指南。（圖源：Toward Data Science）

此外，根據(jù)每一類可用的數(shù)據(jù)量，決定需要機(jī)器學(xué)習(xí) (ML) 算法還是深度學(xué)習(xí) (DL) 算法。通常，深度學(xué)習(xí)效果最好是每個(gè)類標(biāo)簽有5,000多個(gè)示例。如果每個(gè)類的例子較少，該模型可能只會(huì)學(xué)習(xí)您的訓(xùn)練數(shù)據(jù)，而無(wú)法根據(jù)新的真實(shí)世界信息正確預(yù)測(cè)結(jié)果。在DL出現(xiàn)之前，ML已使用了很長(zhǎng)時(shí)間，且在較小的數(shù)據(jù)集上產(chǎn)生了非常好的結(jié)果；但是，數(shù)據(jù)點(diǎn)需要更多的人工工作，這個(gè)過(guò)程通常稱為特征工程。

根據(jù)數(shù)據(jù)集和每個(gè)數(shù)據(jù)點(diǎn)的大小（請(qǐng)記住，即使是300 × 300像素的圖像也需要花費(fèi)很長(zhǎng)時(shí)間進(jìn)行訓(xùn)練！），您應(yīng)該投資提升一些算力：通過(guò)現(xiàn)有平臺(tái)或添置內(nèi)部圖形處理器 (GPU)。通常，對(duì)于初次接觸的項(xiàng)目，建議使用前者，因?yàn)槿绻?xiàng)目行不通，您還可以終止訪問(wèn)。鑒于Amazon Web Services (AWS)、Google Cloud Platform (GCP) 和Microsoft Azure等平臺(tái)上可用的AI服務(wù)的成熟性和完整性，在沒(méi)有專門(mén)的“AI人員”甚至沒(méi)有任何編碼的情況下，也可以渡過(guò)這一階段。它們對(duì)特定任務(wù)所產(chǎn)生的效果，將影響您決定是否為項(xiàng)目聘請(qǐng)外援。

第5步：基準(zhǔn)測(cè)試、迭代和最終確定模型

無(wú)論采用何種機(jī)器學(xué)習(xí)類型（輸入型還是學(xué)習(xí)型），Model Zoo、Tensorflow Hub，Google Cloud Platform或AWS等網(wǎng)站都可能有經(jīng)過(guò)預(yù)先訓(xùn)練的解決方案，并已經(jīng)學(xué)會(huì)了根據(jù)數(shù)據(jù)進(jìn)行一些預(yù)測(cè)。重要的是，還可以通過(guò)微調(diào)執(zhí)行類似的任務(wù)（稱為轉(zhuǎn)移學(xué)習(xí)）重用這些模型，例如，使用經(jīng)過(guò)訓(xùn)練的模型預(yù)測(cè)圖像中的對(duì)象，以便在給定較少數(shù)據(jù)的情況下只預(yù)測(cè)家具的類型，即使它在第一輪訓(xùn)練中沒(méi)有看到這些物品。轉(zhuǎn)移學(xué)習(xí)是一種非常常見(jiàn)的方法，可以在利用他人工作的同時(shí)獲得巨大的效益，而不需要如此豐富的數(shù)據(jù)。通常，使用這些解決方案需要掌握Python的基本編程技能，但也需要其他技能。

您還可以在數(shù)據(jù)特征的子集上使用更簡(jiǎn)單的機(jī)器學(xué)習(xí)算法，作為確定數(shù)據(jù)中信號(hào)的粗略方法。一旦確定了開(kāi)箱即用方法的工作效果，就可以開(kāi)始迭代過(guò)程。具體是要改進(jìn)嘗試的模型還是嘗試定制模型，取決于初創(chuàng)企業(yè)要求的閾值，以確保此任務(wù)的準(zhǔn)確性。

第六步：準(zhǔn)備交工！

典型的AI項(xiàng)目流程到此結(jié)束。簡(jiǎn)而言之，就是您需要選擇輸入、輸出和性能指標(biāo)，然后按順序獲取數(shù)據(jù)并完成探索性數(shù)據(jù)分析，繼而確認(rèn)您在第一步中的選擇。 之后，開(kāi)始模型開(kāi)發(fā)和迭代階段。 一旦對(duì)模型性能感到滿意，且其得到了所需的結(jié)果，初創(chuàng)企業(yè)就可以開(kāi)始付諸生產(chǎn)，享受這種新發(fā)現(xiàn)的自動(dòng)化功能所帶來(lái)的利好。

生產(chǎn)本身就是一個(gè)過(guò)程，也需要多個(gè)步驟和流程。您需要確定如何彌合模型性能和所需精度之間的差異，如數(shù)據(jù)部分所述。其他考慮因素包括加強(qiáng)數(shù)據(jù)清洗軟件，決定數(shù)據(jù)集和模型的版本控制過(guò)程或工具。敬請(qǐng)關(guān)注第2部分，深度探秘在生產(chǎn)中交付AI所需的一切！

審核編輯：郭婷